ubuntu配置scrapy手記

注意:我是在root權限下運行下面的命令的,請根據自己的需要確定是否要在命令前面加上『sudo』以root身份運行~

首先安裝python= =
apt-get install python
然後安装setuptools(一個python的設置工具。。)
wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py -O - | python
然後安裝scrapy的各種支持庫
pip install w3lib
pip install twisted
pip install cssselect
pip install pyOpenSSL
apt-get install libxml2 libxslt python-lxml
安裝主角:scrapy
pip install scrapy
然後輸入scrapy看看是否安裝成功:
正常的話得到以下類似信息:

Scrapy 0.22.0 – no active project

Usage:
scrapy <command> [options] [args]

Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy

[ more ] More commands available when run from project directory

Use “scrapy <command> -h” to see more info about a command

New Project!准备写一个新番提醒系统

一直以来都容易忘记东西,我一个季度基本要追10部以上的新番,基本都会忘记去看,有时碰巧遇上,更多的时候都是被我遗忘在岁月长河中……(远望……

一直想找一个能够新番出了提醒我,{自动}记录哪集是我看过的,或者哪集是我看到一半坑掉的……之类的.

没找到?!(有的话请务必留言告诉我)

好吧,那我就自主研发……

在没找到合适的APP来做这个事情之前,我就弄一个吧!

想了一下,按照我自己的意愿,我想有以下功能:

  • 自动更新节目表
  • 最新集数自动更新
  • 邮件(App推送提醒)提醒
  • [考虑中]Chrome插件,自动记录看过的集数
  • [考虑中]干脆把B站的播放器弄进去好了……?!
  • [考虑中]B站个人账号播放记录抓取,自动更新看过的番
  • ……

想法很美好,实现有点困难.

首先在选用哪个语言来做爬虫,抓取新番数据呢?!

又或者,选择哪个网站来抓取新番数据呢?!

B站吗?还是迅雷看看?(←貌似有人提供了一个成品?? https://gist.github.com/RicterZ/8134886  )

貌似python的数据处理能力很牛逼,但是我对这个语言不怎么熟悉……

PHP貌似也能勉强干活……?

好吧,整理下思路,:

爬虫抓取新番数据→数据库→网页端选择要关注的新番→[爬虫]新番出现→按照预先设定的通知方式通知

Chrome插件这个貌似也可以有:

设置bilibili.tv域名触发器→获取浏览器地址[标题]→判断该视频是否为新番→将数据写入数据库

假如进展顺利还可以考虑把这些东西整理到一些GTD App(或者TDL App)之类的……?!

 

多想,总是好的.

#########

果然爬虫还是用python写好了,在解析html上面实在比PHP方便太多……

换上新主题了

制作这个主题的工作量超乎我想象的大…太费神了,可能是一开始架构没有确定好的原因,到了后面各种奇奇怪怪的问题都出来了 Orz

因为到现在为止我花在上面的时间太长了,不得不强制终止这个计划,应该是烂尾了吧?不过电脑端看上去没有什么太显眼的BUG(Chrome)所以就这样吧~∩•̀ω•́∩

主题托管在Github上了,基于LGPL协议发布(使用).

[repo path=”auzeonfung/Wordpress_Theme_3″]

############

忘记开发留言版块了ε=ε=(ノ≧∇≦)ノ(逃跑..

制作主题·吐槽B

主题就要完工了,为了解决主循环那里重复出现的文章花了我好多时间,最后用了个蛋疼的方法解决,但也算是解决了…

现在正在全心全意地调整CSS,用的特效也算比较多的了

Time DIV

 

其中花的心思最多的就是这个post的日期div了……

用了很多奇奇怪怪的东西,本想着能只在chrome里面正常显示就很好了,结果让我惊奇的是IE9也能正常显示!(泪流满面

竟然既然IE也能支持的话那就兼容性基本是没问题了吧?呵呵

还有就是本来想弄个整个页面横向滚动的,(最近好像经常看到别人这么搞啊?难道这是设计趋向?!)但是又想通过「←」「→」这两个键换页,这样一来就又会出现一些奇奇怪怪的问题,再加上最近朋友圈里有几个人都这么搞了Orz免得别人吐槽说我抄袭什么的….就算了吧……

本来还想加个模糊特效的,结果自己的机子跑起来也卡,就算了吧……(´•ω•`)

##########

新主题看起来好少女(・∀・)ニパ ……

WordPress排除最新的那篇文章

在做新主题,最新的那篇文章已经单独抽出来用特别的样式显示在首页那儿了.

但是可恶的是,因为是单独输出的,主循环那里又把最新的那篇文章再输出一次……

这是多么的蛋疼!

暂时不知道要怎么搞……

尼玛Wordpress官方的文件涉及到这个的都是英文啊,看得头晕眼花的……

感觉我整个人都不好了.

 

#######################

……

好想死啊,还是想不出来,只好将重复出现的那篇文章用CSS隐藏了…… Orz

谁有更好的方法麻烦告知,谢谢……

審美疲勞了,該換主題了

這個主題是大概半年前自己修改的,半年過去了,越來越不喜歡這個色調的,想要小清新一點的,上網找了下,一時沒有找到非常適合自己的,打算自己從零寫個主題吧!

目標:

  • 帶邊欄的
  • 有評論的
  • 有頭像的
  • 看起來很屌的
  • 帶後台設置頁面的
  • 可後台自定義文字顏色的
  • 不兼容IE6╭( ・ㅂ・)و ̑̑
  • 有華麗的CSS3動畫效果
  • 帶搜索功能的
  • 。。。。