2016-6-18 --今天实现了第一个用urllib2实现的爬虫程序。 --过程中发现 总是报错： 主要原因在于 url 地址错误。 例如：http://www.neihan8.com/wenzi/index_1.html 这个网址打开的是404网页错误。 但是 http://www.neihan ...
分类：
编程语言 时间：
2016-06-18 18:27:12
阅读次数：
120
爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3 ...
分类：
编程语言 时间：
2016-06-17 19:26:36
阅读次数：
199
【urllib2】 1、urllib2.urlopen()，参数可填url字符串，或者一个Request对象。 2、Request对象的set_proxy(proxy, type)可以设置代理。 3、urlopen的返回值的read()方法，可以body内容读取出来。 参考：https://docs ...
分类：
Web程序 时间：
2016-06-17 17:21:22
阅读次数：
156
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 一、urllib简介 python3中的urllib模块相对于Python2做了很大的改变，原来的urllib、urllib2、urlparse和robo ...
分类：
编程语言 时间：
2016-06-16 01:29:16
阅读次数：
581
第一次写博客笔记，讲一下近来学习的接口自动化测试。网上查阅了相关资料，最后决定使用python语言写接口测试，使用的是python的第三方库requests.虽然python本身标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能。但requests更好用简单。果断入门学习。 新手 ...
分类：
编程语言 时间：
2016-06-15 22:26:48
阅读次数：
287
实例：importurllib2importbase64,loggingdefhttpDownload(testModule,var):testModule=testModule+‘.zip‘url=var[‘HttpRes‘]+‘/‘+testModule########此url为下载路径request=urllib2.Request(url)downDir=‘/home/Elves/agent/module/‘file=downDir+testModulebase64string=bas..
分类：
编程语言 时间：
2016-06-15 00:07:13
阅读次数：
152
最近学校快要选课了，所以想用python写一个抢课的脚本思路是不断地post请求数据一开始先post一次数据进行试验可是发现中途遇到一个问题，输入验证码登陆到主页之后，这里还是正常的可是一旦post请求抢课的数据到另一个网页之后，print出来的response就显示要输入验证码了而且最..
分类：
编程语言 时间：
2016-06-03 15:55:20
阅读次数：
377
在python学习群里发现很多学习网络爬虫技术的童靴都搞不懂python爬虫框架scrapy的安装配置，在学习python网络爬虫初级阶段的时候我们利用urllib和urllib2库以及正则表达式就可以完成了，不过遇到更加强大的爬虫工具——爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。
分类：
编程语言 时间：
2016-05-30 14:55:58
阅读次数：
405
原文地址：python实现带验证码网站的自动登陆作者：TERRY-V 早听说用python做网络爬虫非常方便，正好这几天单位也有这样的需求，需要登陆XX网站下载部分文档，于是自己亲身试验了一番，效果还不错。 本例所登录的某网站需要提供用户名，密码和验证码，在此使用了python的urllib2直接登 ...
分类：
编程语言 时间：
2016-05-29 19:56:33
阅读次数：
164
1.分分钟爬一个网页下来 怎么爬网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是他的衣服。所以最重要部分是 ...
分类：
编程语言 时间：
2016-05-24 20:56:41
阅读次数：
163
