在分析和处理选择内容时，还需注意页面的JS可能会修改DOM树结构。 （一）GitHub的使用 ????由于之前使用Win，没使用过shell的。目前只是了解。以后再补充。找到几个不错的教程 ? ? ????GitHub超...
分类：
编程语言 时间：
2014-08-21 09:55:44
阅读次数：
251
你的网站内容很有价值，希望被google，百度等正规搜索引擎爬虫收录，却不想让那些无节操的山寨爬虫把你的数据扒走坐享其成。本文将探讨如何在网站中加入优雅的反爬虫策略。 【思路】 反爬虫策略要考虑以下几点： ...
分类：
Web程序 时间：
2014-08-20 19:45:53
阅读次数：
298
官方文档： http://doc.scrapy.org/en/latest/ ??? github例子： https://github.com/search?utf8=%E2%9C%93&q=scrapy ????剩下的待会再整理...... 买饭去......?????? --2014年08月20日19:...
分类：
编程语言 时间：
2014-08-20 19:45:13
阅读次数：
243
（1）创建scrapy项目 scrapy?startproject?getblog ????（2）编辑 items.py #?-*-?coding:?utf-8?-*-
#?Define?here?the?models?for?your?scraped?items
#
#?See?documentation?i...
分类：
编程语言 时间：
2014-08-20 07:06:56
阅读次数：
262
Scrapy框架，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 ????刚开始学习这个框架。不...
分类：
编程语言 时间：
2014-08-20 04:00:06
阅读次数：
302
python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。 ????基本模块使用的是 urllib，urllib2，re，等模块 （一）基本用法，例子 ????（1）进行基本GET请求，获取网页html #!coding...
分类：
编程语言 时间：
2014-08-20 00:10:25
阅读次数：
376
这几天正好有需求实现一个爬虫程序，想到爬虫程序立马就想到了python，python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了，正好发现了python有一个开源库scrapy，正是用来实现爬虫框架的，于是果断采用这个实现。下面就先安装scrapy，决定在windows下面安...
Bloom Filter是由Bloom在1970年提出的一种快速查找算法，通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
它相比hash容器的一个优势就是，不需要存储元素的实际数据到容器中去来一个个的比较是否存在。
只需要对应的位段来标记是否存在就行了，所以想当节省内存，特别适合海量的数据处理。并且由于省去了存储元素和比较...
分类：
其他好文 时间：
2014-08-18 18:37:02
阅读次数：
339
阅读背景： 如果您对爬虫，或则web前端不够了解，请自行google。 代码前提：您需要参阅本ID 所写的前面两篇博文：? Storm【实践系列-如何写一个爬虫】 - Fetcher 本章主题： ParserBolt 如何完成的解析，并且如何...
分类：
其他好文 时间：
2014-08-18 16:37:42
阅读次数：
376
