在编写案例之前首先理解几个问题，1：什么是爬虫2：为什么说python是门友好的爬虫语言？3：选用哪种框架编写爬虫程序 一：什么是爬虫？ 爬虫 webSpider 也称之为网络蜘蛛，是使用一段编写好的代码所生成的应用程序使其游弋于互联网这个庞大的体系中，帮助我们将想要的内容从目标服务器中搬到我们本地 ...
分类：
其他好文 时间：
2019-01-26 23:49:08
阅读次数：
303
环境配置问题可能一直会让我们头疼，包括如下几种情况。 我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。 其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。 我们需要同时管理不同版本的Scrapy项 ...
分类：
编程语言 时间：
2018-10-11 17:05:39
阅读次数：
1011
scrapy crawl nbzj 执行结果如下 ...
分类：
其他好文 时间：
2018-09-26 14:21:02
阅读次数：
157
什么是网络爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。via百度百科网络爬虫网络蜘蛛（Webspider）也..
分类：
编程语言 时间：
2017-10-16 12:12:25
阅读次数：
249
首先新建一个控制台应用程序WebSpider 这里我选用控制台应用程序，使用控制台非常简单，为了方便监控把抓取到的一些信息给打印出来。 实体设计 BookClass Book 这两个实体是一对多的关系，一个BookClass有很多的Book,一个Book只有一个BookClass 安装Entity ...
分类：
其他好文 时间：
2016-11-27 13:41:15
阅读次数：
118
Demo源码地址 https://github.com/CHUNL09/tornado/tree/master/demos/webspider 这个Demo的作用是用来获取特定URL的网页中的链接（链接是以特定URL作为开头的，比如设置了base_url="http://www.baidu.com" ...
分类：
Web程序 时间：
2016-10-11 18:37:22
阅读次数：
220
JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：jspider [URL] [ConfigName]URL一定要加上协议名称，如：http://，否则会报错。如果省掉ConfigName，则采用默认配置。JSpider 的行为是由配置文件具体配置的，比如采用什么...
分类：
编程语言 时间：
2015-08-11 07:14:26
阅读次数：
158
近日做实验时，搞到w3af扫描工具时，用到discoverywebSpider命令，发现怎么也找不到discovery模块，文件搜不到，官网也没有discovery下载，后来发现，新版本的discovery改名为Crawl，如果有用到一些discovery发现模块，直接改去Crawl执行就好。
分类：
其他好文 时间：
2015-04-17 15:56:11
阅读次数：
172
如何通过jsoup网络爬虫工具爬取网页数据,并通过jxl工具导出到excel...
分类：
Web程序 时间：
2015-02-11 14:37:34
阅读次数：
274
python网络爬虫学习笔记
By 钟桓
9月 4 2014 更新日期:9月 4 2014
文章目录
1. 介绍：2. 从简单语句中开始:3. 传送数据给服务器4. HTTP头—描述数据的数据5. 异常
5.0.1. URLError5.0.2. HTTPError5.0.3. 处理异常5.0.4. info和geturl
6. Opener和Handler7. Ba...
分类：
编程语言 时间：
2014-09-04 15:04:19
阅读次数：
357
