首先爬虫是什么？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 根据我的经验，要学习Python爬虫，我们要学习的共有以下几点： Python基础知识 Python中urllib和urllib2库的用 ...
分类：
编程语言 时间：
2017-08-15 10:17:32
阅读次数：
166
为什么要使用Cookie呢？ Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密） 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib2库保存我们登录的Cookie，然后再抓取其他 ...
分类：
编程语言 时间：
2017-08-07 15:22:04
阅读次数：
224
一，爬虫是什么？ 爬虫就是获取网络上各种资源，数据的一种工具。具体的可以自行百度。 二，如何写简单爬虫 1，获取网页内容 可以通过 Python(3.x) 自带的 urllib,来实现网页内容的下载。实现起来很简单 还可以使用三方库 requests ，实现起来也非常方便，在使用之前当然你需要先安装 ...
分类：
移动开发 时间：
2017-07-06 20:54:35
阅读次数：
500
【urllib and urllib2】 这是两个python的网络模块 内置的 提供很好的网络访问的功能。 ...
分类：
编程语言 时间：
2017-07-04 20:23:36
阅读次数：
137
源码：链接：http://pan.baidu.com/s/1dEK82hb 密码：9flo创建项目 scrapy startproject tutorial爬取 scrapy crawl dmoz爬取并保存为json格式 scrapy ... ...
分类：
编程语言 时间：
2017-05-22 15:08:44
阅读次数：
172
作用：用于读取来自网上(服务器上)的数据基本方法：urllib.request.urlopen(url,data=None,[]timeout]*,cafile=None,cadefault=False,context=None)url:需要打开的网址data:Post提交的数据timeout:设置... ...
分类：
编程语言 时间：
2017-05-21 23:26:32
阅读次数：
343
下载集成包链接：http://pan.baidu.com/s/1pKD2zBP 密码：f75b因为没有支持python3的Scrapy,所以这里采用python2.7.9安装步骤：1.安装python2.7（默认安装即可）2.打开“运行”，输入cmd.执行以下命令设置环境变量 C:\Python27... ...
分类：
编程语言 时间：
2017-05-21 23:21:39
阅读次数：
238
正则表达式search //匹配第一次遇到符合规则的匹配IP地址import rere.search(r'(([01]{0,1}\d{0,1}\d|2[0-4]\d|25[0-5])\.){3}([01]{0,1}\d{0,1}\d|2[0-4]\d|25[0-5])','192.168.1.1')... ...
分类：
编程语言 时间：
2017-05-21 23:18:29
阅读次数：
368
1. 廖雪峰Python3教程 2. 汪海的实验室:Python爬虫入门教程 3. 静觅: Python爬虫学习系列教程 ...
分类：
编程语言 时间：
2017-05-13 11:25:58
阅读次数：
145
（以下是崔庆才的博客粘的） 首先爬虫是什么？ 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 根据我的经验，要学习Python爬虫，我们要学习的共有以下几点： Python基础知识 Python中url ...
分类：
编程语言 时间：
2017-04-17 14:07:38
阅读次数：
206
