xpath的多线程爬虫 #encoding=utf-8 ''' pool = Pool(4) cpu的核数为4核 results = pool.map(爬取函数，网址列表) ''' from multiprocessing.dummy import Pool as ThreadPool import
分类：
其他好文 时间：
2016-03-06 12:52:33
阅读次数：
154
1.项目架构 2.详细技术点 1.解析，（依赖注入） 2，使用queue队列实现循环抓取 3.实现优先级队列并提取接口 4.使用log4j实现配置检查及日志打印 5.实现多线程爬虫并提取接口 6.实现url调度器 7.使用queue队列实现url随机榨取 8.使用redis队列实现url 随机抓取 ...
分类：
其他好文 时间：
2015-09-19 22:41:02
阅读次数：
295
当写一个任务较多的爬虫时需要用到线程，如果说我有一群虫子，我把它分成4队，每一队虫子都有自己的任务，互相执行自己的任务而不干扰。线程分为串行线程和并行线程，串行线程是线程1执行完执行线程2，并行线程是线程3和线程4同时进行，加快任务完成速度。 目标网站：http://jandan.net/，爬取网站...
分类：
编程语言 时间：
2015-07-05 07:08:16
阅读次数：
175
这个编码格式真的是很闹心啊，看来真的得深入学习一下编码格式，要不这各种格式错误。
这个编码还和编辑器有关系，最开始的时候实在sublime Text里编辑的代码，运行起来卡卡的，特别顺畅，但突然发现它不支持raw_input和input，所以令临时换到了python官方提供的idle中。之后就出现了各种奇葩编码错误。。。。。。
程序大概意思就是，你输入一个城市的拼音，它就会返回这个城市的空气污...
分类：
编程语言 时间：
2015-05-09 16:40:09
阅读次数：
623
写了个抓取appstore的，要抓取大量的app，本来是用httpclient，但是效果不理想，于是直接调用wget下载，但是由于标准输出、错误输出的原因会导致卡住，另外wget也会莫名的卡住。所以我采用：一、独立线程读取输出信息；二、自己实现doWaitFor方法来代替api提供的waitFor(...
分类：
编程语言 时间：
2015-01-28 19:12:01
阅读次数：
453
用jsoup抓取百度网盘资源链接，并用java实现多线程抓取，提高效率...
分类：
编程语言 时间：
2014-10-28 10:26:17
阅读次数：
299
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
分类：
编程语言 时间：
2014-05-26 15:41:47
阅读次数：
394
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下：分析网页结构，选取自己感兴趣的部分;建立两个Buffer，一个用于保存已经访问.....
分类：
编程语言 时间：
2014-05-26 13:13:56
阅读次数：
318
