最近闲着没事想看小说，找到一个全是南派三叔的小说的网站，决定都下载下来看看，于是动手，在很多QQ群里高手的帮助下（本人正则表达式很烂，程序复杂的正则都是一些高手指导的），花了三四天写了一个脚本需要 BeautifulSoup 和 requests 两个库（我已经把注释写得尽量详细）这个程序的执行速度...
分类：
编程语言 时间：
2014-11-07 09:48:22
阅读次数：
227
任务分配如下：姓名今日任务明日任务黄新越学习UI设计提取爬取网页的关键字并输出到接口刘垚鹏注释的总结与上传、多线程学习程序总架构的修改与多线程的学习王骜对总体开发日程的规划与多线程学习多线程学习安康学习UI设计学习UI设计林旭鹏学习UI设计学习UI设计马佐霖 爬虫程序如何完善的思考与测试爬虫程序现....
分类：
其他好文 时间：
2014-11-06 21:24:55
阅读次数：
174
import urllib.request as requestimport urllib.parse as parseimport stringprint("""+++++++++++++++++++++++ name:cphmvp version: python3.3++++++++++++.....
分类：
编程语言 时间：
2014-11-06 16:36:55
阅读次数：
128
用WebCollector爬取网站的图片。
我们爬取一个美食网站，获取里面所有的图片。...
分类：
Web程序 时间：
2014-11-06 00:48:25
阅读次数：
303
用Python爬取色情网站的图片，技术宅的小玩具。在这里我将会向你详细介绍用Python下载一个色情网站图片的全部步骤，你会从中看到Python的简洁以及技术宅的无聊。
首先你应该应该有一个色情网站的网址，当然我不会给你的，自己找！！！我会告诉你其中的规律：
http://www.*****.com/htm/piclist【1】/【2】.htm一个色情网站的图片区中，URL不同的只有【1】...
分类：
编程语言 时间：
2014-11-05 21:30:35
阅读次数：
389
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。一些智能的搜索引擎爬虫的爬取...
分类：
Web程序 时间：
2014-11-05 18:54:11
阅读次数：
213
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！
回到用Python写爬虫的话题。...
分类：
编程语言 时间：
2014-11-05 10:59:13
阅读次数：
265
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不...
分类：
其他好文 时间：
2014-11-05 10:30:05
阅读次数：
139
一、网络爬虫的定义
网络爬虫，即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，
然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如...
分类：
编程语言 时间：
2014-11-05 00:27:37
阅读次数：
338
开发的一个系统中其中有一个抓取第三方网站信息的功能，但是，系统运行一段时间后，被对方服务器拒绝抓取。解决办法，只要我们伪装成浏览器。即可继续正常运行。1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4....
分类：
其他好文 时间：
2014-11-05 00:19:18
阅读次数：
270
