今天开始学习Python写个爬虫。首先，从百度找个实例来看看。1importurllib.request,re,sys,os2defget_bing_backphoto():3if(os.path.exists('photos')==False):4os.mkdir('photos')5foriin...
分类：
编程语言 时间：
2015-09-10 11:03:12
阅读次数：
220
1. 正则表达式 正则表达式是可以匹配文本片段的模式。 1.1 通配符 正则表达式能够匹配对于一个的字符串，可以使用特殊字符创建这类模式。（图片来自cnblogs） 1.2 特殊字符的转义 由于在正则表达式中，有时需要将特殊字符作为普通字符处理，就需要用‘\’进行转义，例如‘python\\.org...
分类：
编程语言 时间：
2015-08-30 21:04:21
阅读次数：
258
1. Beautiful Soup简介 Beautiful Soup是将数据从HTML和XML文件中解析出来的一个python库，它能够提供一种符合习惯的方法去遍历搜索和修改解析树，这将大大减少爬虫程序的运行时间。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为u...
分类：
编程语言 时间：
2015-08-29 10:58:50
阅读次数：
162
1. urllib2的opener和handler概念 1.1Openers： 当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。正常情况下，我们使用默认opener：通过urlopen。但你能够创建个性的openers。可以用build_ope.....
分类：
编程语言 时间：
2015-08-21 22:57:00
阅读次数：
195
接着上一篇笔记这次将该blog的所有文章都下载下来思路为根据dict中的url去解析网页并将其中的博文部分获取并下载下来#coding=utf-8import urllib2import urllibfrom bs4 import BeautifulSoupimport sysreload(sys)...
分类：
编程语言 时间：
2015-08-18 13:37:21
阅读次数：
134
经过一段时间的学习，终于入了门先爬一个csdn 的blog练练手整体思路是首先判断某个blog有多少页然后根据页数 去获得相应的url再爬出每一页的title和对应的url这里使用了BeautifulSoup来解析页面#coding=utf-8import urllib2from bs4 impor...
分类：
编程语言 时间：
2015-08-17 19:02:09
阅读次数：
146
#coding:utf-8#author:Blood_Zero''' 1、获取网页信息 2、解决编码问题，通过charset库(默认不安装这个库文件)'''import urllibimport urllib2url = "http://192.168.1.135/myself/"htm...
分类：
编程语言 时间：
2015-07-15 18:35:16
阅读次数：
146
加入实验室，要写爬虫，以前写过java的，新学python练练手首先是发包程序，框架如下:首先是POST方式，代码如下: 1 import urllib 2 import urllib2 3 url='http://someserver.com/cgi-bin/register.cgi' 4 use...
分类：
编程语言 时间：
2015-05-30 23:57:40
阅读次数：
181
开始学习python，在网上找了一个扒糗事百科精华的爬虫，自己稍许的修改了一下，就可以正常的扒拉糗百精华，别人的代码不敢独占，就贴出来分享给大家，废话没有上代码： #?-*-?coding:?utf-8?-*-??
???
...
分类：
编程语言 时间：
2015-05-13 01:01:54
阅读次数：
209
http://cuiqingcai.com/1052.html大家好哈，我呢最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大...
分类：
编程语言 时间：
2015-02-23 06:28:08
阅读次数：
224
