Scrapy，一个网络爬虫的框架，首先第一步肯定是安装。参考网上的文章。安装过程中需要用到pip工具，请自行安装。1.安装python这个是必须的，既然都用到scrapy了，肯定已经安装了python,这个略过。2.安装pywin32下载地址：http://sourceforge.net/proje...
网上好多抓取贴吧的小爬虫都失效了，原因是百度贴吧的编码格式变了，或者是html代码变了，像这种简单的读取源代码的爬虫，只要网页源代码改变之后就得重新修改。
请诸位大牛指点。# -*- coding:utf8 -*-
"""
程序就是读取网页的源代码，如果想获取相应的内容就找到其特定的格式，再利用正则表达式来获取。
"""
import string
import urllib2
import r...
分类：
编程语言 时间：
2015-04-24 09:06:46
阅读次数：
177
HTTP即超文本传输协议（Hyper Text Transfer Protocol），客户端（User Agent）通过WEB浏览器或网络爬虫等工具向服务器（网站）上指定端口（默认为80）以URL（统一资源定位符，即网址）的形式发起一个HTTP请求（一般为GET、POST），服务器监听到这一请求后会回复一个状态行+响应消息的主体，从而形成了一个完整的HTTP“请求—响应”过程，而这一过程是建立在TCP连接之上的数据透明传输过程。...
分类：
Web程序 时间：
2015-04-23 20:02:29
阅读次数：
183
现在做网络爬虫很容易，最常使用到的应该莫过于Python，类库丰富开发方便，简单。当然还有其他的，我没有接触的东西也很多，今天就说一下我两年前接触的一个项目中的很小一部分——模仿浏览器访问网站，大名网络机器人。 其实前一段时间看过一篇文章《在浏览器中输入网址后都发生了什么》，这是一篇很好的文章...
分类：
其他好文 时间：
2015-04-23 01:59:16
阅读次数：
105
转载.Net开源网络爬虫Abot介绍.Net中也有很多很多开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://code.google.com/p/abot/对于爬取的Html，使用的分析工具是CsQuery, CsQuery可以...
分类：
Web程序 时间：
2015-04-21 20:02:52
阅读次数：
139
分类分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同..
分类：
编程语言 时间：
2015-04-20 13:20:07
阅读次数：
168
分类分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地...
分类：
编程语言 时间：
2015-04-20 11:06:08
阅读次数：
229
Java 网络爬虫实现网络抓取图片数据、流式布局、响应式布局、懒加载、动态切换加载技术...
分类：
编程语言 时间：
2015-04-18 22:01:38
阅读次数：
344
百度不支持用tornado请求，可以用美团开放API 测试。 1 import tornado.httpclient 2 3 def fetch(url): 4 http_header={'User-Agent':'Chrome'} 5 http_request=tornado.httpclien....
分类：
Web程序 时间：
2015-04-14 01:55:29
阅读次数：
912
