Scrapy的整个数据处理流程由Scrapy引擎进行控制，其主要的运行方式为：引擎打开一个域名，蜘蛛处理这个域名，然后获取第一个待爬取的URL。引擎从蜘蛛那获取第一个需要爬取的URL，然后作为请求在调度中进行调度。引擎从调度那获取接下来进行爬取的页面。调度将下一个爬取的URL返回给引擎，引擎将他们通...
分类：
其他好文 时间：
2014-10-01 08:08:30
阅读次数：
427
一个网站只有爬虫抓取了，才能被收录、有快照、有排名。所以搜索引擎爬虫对网站的抓取情况直接决定了一个网站seo的成败。今天笔者就从网站内部本身来分析一下那些因素将影响到搜索引擎爬虫的爬取： 1、网站速度影响爬虫访问 机房—DNS服务器—CDN—出口带宽--硬件—操作系统—服务器软件—程序 机房的...
分类：
Web程序 时间：
2014-09-30 17:03:59
阅读次数：
210
申明：转载请注明作者（byChenReason）及出处，谢谢。最近在学python，首先就想找个小功能来试着实现以下当作练手，最后决定就以爬取京东商品的缺货记录作为目标。要爬京东数据，当然要从分析京东的商品页面开始。我们先以京东的手机频道为例。不然发现，有个【仅显示有货】按..
分类：
其他好文 时间：
2014-09-29 03:45:47
阅读次数：
225
申明：转载请注明作者（by?ChenReason）及出处，谢谢。 最近在学python，首先就想找个小功能来试着实现以下当作练手，最后决定就以爬取京东商品的缺货记录作为目标。 要爬京东数据，当然要从分析京东的商品页面开...
分类：
其他好文 时间：
2014-09-29 00:26:18
阅读次数：
271
本文利用WebCollector内核的解析，来描述如何设计一个网络爬虫。
WebCollector使用了Nutch的爬取逻辑（分层广度遍历），Crawler4j的的用户接口（覆盖visit方法，定义用户操作）,以及一套自己的插件机制，设计了一套爬虫内核。...
分类：
Web程序 时间：
2014-09-27 13:36:09
阅读次数：
687
环境：python2.7以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的...
分类：
编程语言 时间：
2014-09-25 10:38:58
阅读次数：
388
在使用python抓取网页图片的时候，偶尔会遇到403错误。这可能是因为服务器禁止了爬虫。这种情况下如果想继续爬取图片的时候，就需要在请求中加入header信息，伪装成浏览器。如果你使用的是python3.4版本，那么如果你想在网上找到在请求中加入header的方法，估计要费些周折。经过一番实验，确...
分类：
编程语言 时间：
2014-09-24 18:32:07
阅读次数：
378
两个方法 一个获得Url的网页源代码getUrlContentString，另外一个从源代码中得到想要的地址片段，其中需要用到正则表达式去匹配
得到网页源代码的过程：
地址为string，将地址转换为java中的url对象
url的openConnection方法返回urlConnection
ur...
分类：
编程语言 时间：
2014-09-24 10:59:26
阅读次数：
212
两个方法一个获得Url的网页源代码getUrlContentString，另外一个从源代码中得到想要的地址片段，其中需要用到正则表达式去匹配得到网页源代码的过程：地址为string，将地址转换为java中的url对象url的openConnection方法返回urlConnectionurlConnection的connect方法建立连接新..
分类：
编程语言 时间：
2014-09-24 04:07:46
阅读次数：
378
很多企业要求利用爬虫去爬取商品信息，但是他们大多数并没有选择nutch、crawler4j这样的爬虫框架，而是自己重新开发一套爬虫。其实nutch、crawler4j这种基于广度遍历的框架是完全可以完成商品爬取这种业务的，只需要通过简单的转换既可。...
分类：
编程语言 时间：
2014-09-22 15:47:02
阅读次数：
4678
