题记: 1024,今天是个程序猿的节日 ，哈哈，转为正题，从事了一线网络爬虫开发有近1000天。简单阐述下个人对网络爬虫的理解。提纲： 1：是什么 2：能做什么 3：怎么做 4：综述 1：是什么 wiki释义：网络蜘蛛（Web spider）也叫网络爬虫（Web crawler）...
分类：
其他好文 时间：
2014-10-24 12:24:26
阅读次数：
208
reference: http://www.52nlp.cn/python-%e7%bd%91%e9%a1%b5%e7%88%ac%e8%99%ab-%e6%96%87%e6%9c%ac%e5%a4%84%e7%90%86-%e7%a7%91%e5%ad%a6%e8%ae%a1%e7%ae%97-%...
分类：
编程语言 时间：
2014-10-24 10:33:17
阅读次数：
430
版本号：Python2.7.5，Python3改动较大。所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取...
分类：
编程语言 时间：
2014-10-24 01:32:31
阅读次数：
232
一、网络爬虫的定义网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
编程语言 时间：
2014-10-24 00:11:57
阅读次数：
276
这两天发现了一个叫看知乎的网站，是知乎大牛苏莉安做的，其中爬虫使用的 Node.js。这里就针对上一篇博客中的美剧小爬虫，改用 nodejs 进行实现一下，体验一下强大的 Node.js。如果之前没有用过 JavaScript，不妨到 http://www.codecademy.com/ 做一下 JavaScript 和 jQuery 的入门练习，快速熟悉一下基本语法，有其他语言基础的话一天时间足够。对其有基本的了解后，就会发现 JavaScript 的两大特点：使用基于原型（prototype）的方式来...
分类：
Web程序 时间：
2014-10-23 22:43:19
阅读次数：
305
案例：页面中的一个链接，审核元素得到的地址是“http://iphone.myzaker.com/l.php?l=54472e161bc8e0fd4a8b4573” ，点击之后页面自动跳转到另一个地址“http://mp.weixin.qq.com/s?__biz=MjM5NjExNjI4MA=.....
分类：
Web程序 时间：
2014-10-23 18:54:19
阅读次数：
165
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄...
分类：
其他好文 时间：
2014-10-23 12:53:57
阅读次数：
174
一，利用网络爬虫来下载韩寒博客文章，主要需要用到以下知识要点：1，简要了解HTML标记语言，熟悉HTTP协议，发现HTML规律2，熟悉urllib模块3，熟悉python在此我利用的是ie8的开发者工具，当然也可以使用比较出名的firebug，这是火狐的一个插件，十分好用。中心思想：获取URL链..
分类：
编程语言 时间：
2014-10-23 06:57:58
阅读次数：
333
序言：在不知道jsoup框架前，由于项目需求，需要定时抓取其他网站上的内容，便想到用HttpClient方式获取指定网站的内容，这种方法比较笨，就是通过url请求指定网站，根据指定网站返回文本解析。说白了HttpClient充当一下浏览器的角色，返回的文本需要自己处理，一般都是用string.indexOf或者string.subString方法处理。
当有一天发现jsoup这个...
分类：
Web程序 时间：
2014-10-23 00:11:44
阅读次数：
181
