一、获取一个有登录信息的Cookie模拟登陆 下面以人人网为例，首先使用自己的账号和密码在浏览器登录，然后通过抓包拿到cookie，再将cookie放到请求之中发送请求即可，具体代码如下： 这样就可以访问登录后才会呈现的页面。 二、使用cookielib库 和 HTTPCookieProcessor ...
分类：
编程语言 时间：
2017-10-04 20:22:43
阅读次数：
287
一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。在Python中，可以使用urllib2中的Pro ...
分类：
编程语言 时间：
2017-10-04 16:18:34
阅读次数：
164
程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。 过程分析： 一、进入斗鱼首页http://www.douyu.com/directory/all 进入平台首页，来到页面底部点击下一页，发现url地址没有发生变化，这样的话再使用urllib2发送请求将 ...
分类：
编程语言 时间：
2017-10-01 23:06:05
阅读次数：
478
python爬虫实例详细介绍之爬取大众点评的数据一．Python作为一种语法简洁、面向对象的解释性语言，其便捷性、容易上手性受到众多程序员的青睐，基于python的包也越来越多，使得python能够帮助我们实现越来越多的功能。本文主要介绍如何利用python进行网站数据的抓取工作。我看..
分类：
编程语言 时间：
2017-07-11 15:58:23
阅读次数：
3912
对python自动化比较熟的同学，很多都懂一些爬虫方法，有些还研究的很深，下面呢我介绍一个简单的爬虫实例，供大家参考。当然里面有很多需求是可以再学习的，下载进度的显示、下载完成的提示等等。一、首先我们要研究爬虫网站的架构，我这里已ring.itools.cn为例，我需要爬的是..
分类：
编程语言 时间：
2017-04-28 23:39:48
阅读次数：
166
前言 Python非常适合用来开发网页爬虫，理由如下：1、抓取网页本身的接口相比与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好... ...
分类：
编程语言 时间：
2017-04-10 15:19:32
阅读次数：
357
下面是我写的一个简单爬虫实例 1.定义函数读取html网页的源代码 2.从源代码通过正则表达式挑选出自己需要获取的内容 3.序列中的htm依次写到d盘 运行程序结果： ...
分类：
编程语言 时间：
2016-11-19 09:53:13
阅读次数：
170
python2.7.6urllib:发送报文并得到responseBeautifulSoup：解析报文的body（html）#encoding=UTF-8
frombs4importBeautifulSoup
fromurllibimporturlopen
importurllib
list_no_results=[]#没查到的银行卡的list
list_yes_results=[]#已查到的银行卡的list
#解析报文，以字典..
分类：
编程语言 时间：
2014-12-05 19:49:25
阅读次数：
233
