一，获取整个页面数据Urllib模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:urllib.urlopen()方法用于打开一个URL地址。read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下..
分类：
编程语言 时间：
2016-05-09 18:57:37
阅读次数：
232
从Apache2.2.X到Apache2.4.X，在配置上稍微有点不同，需要特别注意。现在记录下关于访问控制的配置。 经过苦苦搜索，终于配置成功。参考了这篇文章：http://www.cnblogs.com/leoyu/p/apache24_use_require_for_access_contro ...
分类：
Web程序 时间：
2016-05-07 23:42:14
阅读次数：
2832
爬虫程序定时执行和监控示例
简介
我们的爬虫程序在执行过程中，可能需要满足以下条件：
1、可以每天定时执行，爬取指定电商等网站内容。
2、可以对分布式爬虫进行监控，当爬虫程序挂掉之后，可以通知管理员。
下面我们来介绍如何实现这两个功能。
注意：
这里我们主要演示定时执行和监控功能，所以爬虫程序只是伪代码。如果想要详细了解如何实现网络爬虫，可以参考如...
分类：
其他好文 时间：
2016-05-07 08:15:15
阅读次数：
278
玩python的同学都避免不了想写个爬虫玩玩，并且一般都以抓取XX图片为主，当然楼主也不例外~~ 这里先用比较原始的方式：urllib2 + 正则表达式，后面再尝试requests 背景：假设有个网站，是关于一些艺术家及其作品介绍的，登陆进去后，每一页是艺术家的头像和名字列表（由于艺术家很多，所以有 ...
分类：
Web程序 时间：
2016-05-06 00:08:52
阅读次数：
189
爬取京东本周热卖商品基本信息存入MySQL
网络爬虫介绍
概述
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
产生背景
随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息...
分类：
数据库 时间：
2016-05-02 02:26:02
阅读次数：
423
当网络爬虫将网页下载到磁盘上以后，需要对这些网页中的内容进行抽取，为索引做准备。一个网页中的数据大部分是HTML标签，索引肯定不会去索引这些标签。也就是说，这种信息是没有用处的信息，需要在抽取过程中过滤掉。另外，一个网页中一般会存在广告信息、锚文本信息，还有一些我们不感兴趣的信息，都被视为垃圾信息， ...
分类：
Web程序 时间：
2016-04-30 23:50:52
阅读次数：
480
很久以前，很喜欢泡贴吧，因为那里有自己牵挂的人和事一转眼过去好多年了......一个简单的学习爬虫的例子，爬百度贴吧帖子内容代码如下：
#-*-coding:utf-8-*-
#importurllib
importurllib2
importre
#功能性类，过滤掉html标签的类
classTool:
#去除img标签,7位长空格
remov..
分类：
编程语言 时间：
2016-04-30 01:14:51
阅读次数：
185
参考文献：自己动手写网络爬虫，罗刚，王振东著（我感觉这本书对我还是蛮有用的，爬虫大杂烩啊） 前面写了一篇利用HttpClient来获取单个网页的灌水文，现在希望在此基础之上可以通过一个种子网页能够爬更多的相关网页。 由于互联网的页面上都是相互链接的，可以看成一个超级大的图，每个页面都可以看成是一个节... ...
分类：
其他好文 时间：
2016-04-29 22:08:33
阅读次数：
214
1、爬虫的定义
爬虫：自动抓取互联网数据的程序。
2、爬虫的主要框架...
分类：
编程语言 时间：
2016-04-28 17:09:30
阅读次数：
271
前几天在做数据库实验时，总是手动的向数据库中添加少量的固定数据，于是就想如何向数据库中导入大量的动态的数据？在网上了解了网络爬虫，它可以帮助我们完成这项工作，关于网络爬虫的原理和基础知识，网上有大量的相关介绍，本人不想在累述，个人觉得下面的文章写得非常的好（网络爬虫基本原理一、网络爬虫基本原理二）。 ...
分类：
Web程序 时间：
2016-04-27 18:31:19
阅读次数：
242
