之前在寒假的时候，学习了python基础。在慕课网上看的python入门：http://www.imooc.com/learn/177 python进阶：http://www.imooc.com/learn/317 其实好多知识都是学了忘，忘了学的。 最近因为要使用爬虫爬去数据和照片，所以现在开始学 ...
分类：
编程语言 时间：
2017-04-08 14:04:04
阅读次数：
784
Python爬虫学习系列教程 Python爬虫学习系列教程 大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家 ...
分类：
编程语言 时间：
2017-03-01 20:47:38
阅读次数：
202
基于python2.7 get与post： 开发者工具中form表单的method选项为post，那么必须使用post方法。 urllib： 拼接链接格式 urllib2： ...
分类：
编程语言 时间：
2017-01-19 19:50:32
阅读次数：
194
通过GET请求获取返回的网页，其中加入了User-agent信息，不然会抛出"HTTP Error 403: Forbidden"异常， 因为有些网站为了防止这种没有User-agent信息的访问，会验证请求信息中的UserAgent(它的信息包括硬件平台、系统软件、应用软件和用户个人偏好)，如果U ...
分类：
编程语言 时间：
2017-01-12 19:02:57
阅读次数：
222
上一节中我们学习了selenium，用python来操作浏览器，在做网页自动化测试的时候最好不过了 。如果我们来做爬虫用一个带界面的浏览器似乎不太好吧，那可咋办呢？别着急，下来我们要介绍的就是一款不带界面的浏览器--PhantomJS。其是一个无界面的,可脚本编程的WebKit浏览器引擎，支持多种w ...
分类：
编程语言 时间：
2016-11-23 16:24:24
阅读次数：
392
1 简介以及安装 Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动 ...
分类：
编程语言 时间：
2016-11-22 23:43:39
阅读次数：
790
恢复内容开始 #python2 import urllib2 #python3 import urllib.request html=urllib.request.urlopen('http://www.sogou.com')print (html) #<http.client.HTTPRespon ...
分类：
编程语言 时间：
2016-11-12 22:30:28
阅读次数：
164
Requests函数库是学习Python爬虫必备之一, 能够帮助我们方便地爬取. 本文主要参考了其官方文档. Requests安装: requests目前的版本是v2.11.1, 在WINDOWS上可以通过命令行窗口(运行cmd命令), 利用pip进行自动地安装(很方便): 向网站发送请求:requ ...
分类：
编程语言 时间：
2016-10-26 19:14:04
阅读次数：
1479
