Scrapy 是一个python下的网络爬虫工具，目前只有python2.x的版本。安装 Scrapy需要的支持库比较多，安装时挺繁琐的，测试直接用easy_install 或者 pip安装会自动下载安装需要的支持库，但是因为网络或其他种种原因总是安装失败，最好还是各个安装包分开安装。下载安装Mi....
分类：
编程语言 时间：
2014-12-02 20:30:18
阅读次数：
204
最近在看国外的文档，有些生词不认识。就用谷歌翻译来理解，用着用着闲来无事就按F12查看了下页面的源代码。发现可以用python简单的实现下谷歌翻译的页面功能。于是先上网搜下有没有类似的文章博客，发现几篇不错的，于是参考其他代码与自己的思路，简单的实现了下翻译的功能，代码如下：
import re
import urllib,urllib2
#----------模拟浏览器的行为，向谷...
分类：
编程语言 时间：
2014-08-03 20:39:45
阅读次数：
338
最近，为了微信公众号的图文，上网疯狂的收集和看了一些有深度的新闻和有趣的引人深思的文字评论，并选择了几篇极品发布出去。但感觉一篇一篇的看实在是麻烦死了。想找一个简单的解决办法，看能不能自动把网上的资料收集起来，然后自己用统一筛选。不巧，最近准备学习下网络爬虫相关知识，于是按照网上的教程自己学着试写了一个小小的爬虫，嘻嘻，是用来爬韩寒博客的。
先把完整的代码贴上来，如果朋友们需要试验下，请...
分类：
编程语言 时间：
2014-07-06 10:11:48
阅读次数：
325
发现科大网页的源码中还有文章的点击率，何不做一个文章点击率的降序排行。简单，前面入门（1）基本已经完成我们所要的功能了，本篇我们仅仅需要添加：一个通过正则获取文章点击率的数字；再加一个根据该数字的插入排序。ok，大功告成！简单说一下本文插入排序的第一个循环，找到列表中最大的数，放到列表 0 的位置做...
分类：
编程语言 时间：
2014-07-01 14:01:14
阅读次数：
245
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok，开始，首先你需要一点python基础，一点点基础就可以，找一本薄薄的书过一遍，可以上这来找找http://wiki.woodpecke...
分类：
编程语言 时间：
2014-07-01 11:47:07
阅读次数：
316
