通过爬虫识别网站页面多线程可控制线程的最大数量可控制爬虫爬取的页面可忽略指定文件扩展名可设置GET、POST方式支持SSL支持代理支持google搜索的站点列表支持bing搜索的站点列表支持扩展插件（动态测试、静态测试、压力测试）多语言支持支持GUI界面目录检查，类似wwwscan,可发..
分类：
Web程序 时间：
2015-02-02 16:13:04
阅读次数：
236
没有那么难的，嘿嘿，说起来呢其实挺简单的，或者不能叫爬虫，只需要将自己的数据加载到程序里再进行解析就可以了，如果说你的Qzone是向所有人开放的，那么就有一个JSONP的接口，这么说来就简单了，也就不用我们再利用phantomjs，缓慢的爬了。其实程序还没有做的太过完美，只是简单地可以打印出来说说的...
分类：
数据库 时间：
2015-02-01 12:04:45
阅读次数：
210
做图像处理的朋友，都时常需要收集整理大量的图像数据集。做科研时有各种现有的标准数据集大家都直接拿来用，但是工程上却经常需要自己收集图片，从网上爬取图片便成了比较常见的任务。为了用python完成这个任务，需要解决如下两个问题：
1. 图片素材源自哪里呢？第一直觉就是搜索引擎里的图片，比如要收集手机的图片，则进入搜索引擎搜索关键字即可得到大量相关图片。
2. 动态网站的内容往往是通过aj...
分类：
编程语言 时间：
2015-01-31 00:34:34
阅读次数：
860
上一篇博文介绍了如何用selenium+python在诸如soso、谷歌、好搜等搜索引擎上爬取图片的方法，但是却没用提到百度，因为百度的情况比较特殊。首先，百度图片的数据更好，因为每幅图片都有“data-desc”描述可以作为图像很好的语义标签，此外基于百度较强的技术其查询搜索得到的图片相关性较高，后续人工筛选工作较少；其次，百度图片的数据不容易爬取，如果像前一篇文章中的方法取img标签的src值...
分类：
编程语言 时间：
2015-01-31 00:27:51
阅读次数：
633
关于nutch的基础知识能够參考lemo的专栏nutch支持二次开发，为了满足搜索的准确率的问题，考虑只将网页正文的内容提取出来作为索引的内容，相应的是parse_text的数据。我使用的事nutch1.4 版本号，在cygwin下运行crawl命令进行爬取。bin/nutch crawl urls...
分类：
其他好文 时间：
2015-01-30 15:37:06
阅读次数：
250
探查目标信息 1、子域名检索。 layer 2、同IP域名检索。 layer/站长工具IP反查 3、探查同IP所有web应用。 Nmap 检索web应用内容 1、手动代理+自动爬取。burp spider/awvs/... 2、字典式强制浏览。御剑扫描 3、推测式强制浏览+自动爬取。burp dis...
分类：
其他好文 时间：
2015-01-27 21:49:05
阅读次数：
247
在网上看到有人利用python+beautifulsoup爬取豆瓣Top250试着自己模仿这个做了个爬取IMDB的，可惜只能爬取到11个。后来检查了超久，才发现，soup=BeautifulSoup(contents)这里，内容不完整，只能到11个电影为止。代码如下：import urllib2fr...
分类：
数据库 时间：
2015-01-26 21:03:15
阅读次数：
228
本文禁止任何爬虫爬取!来源：http://www.cnblogs.com/sciencefans/ 一直都持有一个观点，思考是最佳的学习途径（当然信息的获取是必不可少的），就像神经网络里，看书就是训练set的训练，思考则是最重要的求梯度BP的过程。2014年是一个神奇的一年，在这一年中发生了很多事情...
分类：
其他好文 时间：
2015-01-26 06:29:51
阅读次数：
284
Scrapy介绍
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加...
分类：
其他好文 时间：
2015-01-25 18:16:58
阅读次数：
212
本文禁止任何爬虫爬取!来源：http://www.cnblogs.com/sciencefans/ 一直都持有一个观点，思考是最佳的学习途径（当然信息的获取是必不可少的），就像神经网络里，看书就是训练set的训练，思考则是最重要的求梯度BP的过程。2014年是一个神奇的一年，在这一年中发生了很多事....
分类：
其他好文 时间：
2015-01-20 06:11:37
阅读次数：
191
