1. urllib2的opener和handler概念 1.1Openers： 当你获取一个URL你使用一个opener(一个urllib2.OpenerDirector的实例)。正常情况下，我们使用默认opener：通过urlopen。但你能够创建个性的openers。可以用build_ope.....
分类：
编程语言 时间：
2015-08-21 22:57:00
阅读次数：
195
接着上一篇笔记这次将该blog的所有文章都下载下来思路为根据dict中的url去解析网页并将其中的博文部分获取并下载下来#coding=utf-8import urllib2import urllibfrom bs4 import BeautifulSoupimport sysreload(sys)...
分类：
编程语言 时间：
2015-08-18 13:37:21
阅读次数：
134
经过一段时间的学习，终于入了门先爬一个csdn 的blog练练手整体思路是首先判断某个blog有多少页然后根据页数 去获得相应的url再爬出每一页的title和对应的url这里使用了BeautifulSoup来解析页面#coding=utf-8import urllib2from bs4 impor...
分类：
编程语言 时间：
2015-08-17 19:02:09
阅读次数：
146
#coding:utf-8#author:Blood_Zero''' 1、获取网页信息 2、解决编码问题，通过charset库(默认不安装这个库文件)'''import urllibimport urllib2url = "http://192.168.1.135/myself/"htm...
分类：
编程语言 时间：
2015-07-15 18:35:16
阅读次数：
146
作为初学者，首先贴出自己看到的一个教程所提供的实例。。后边会讲解我自身所完成的项目说明。
我自己所做项目下载地址为：Scrapy爬虫项目
自己项目说明：
爬取某网站流行时尚网页项目，并对具体项目内容进行二次爬取，将爬取到的内容拼接成为新的静态html,存入自身Ftp服务器，并将信息提交到某接口。。（接口中进行数据操作。接口部分未上传
示例
scrapy爬取了链接之后，如...
分类：
其他好文 时间：
2015-06-29 09:57:21
阅读次数：
101
爬虫学习一系列：urllib2抓取网页内容所谓网页抓取，就是把URL地址中指定的网络资源从网络中读取出来，保存到本地。我们平时在浏览器中通过网址浏览网页，只不过我们看到的是解析过的页面效果，而通过程序获取的则是程序源代码。我们通过使用Python中urllib2来获取网页的URL资源，最简单方法就是...
分类：
Web程序 时间：
2015-06-17 00:36:34
阅读次数：
195
加入实验室，要写爬虫，以前写过java的，新学python练练手首先是发包程序，框架如下:首先是POST方式，代码如下: 1 import urllib 2 import urllib2 3 url='http://someserver.com/cgi-bin/register.cgi' 4 use...
分类：
编程语言 时间：
2015-05-30 23:57:40
阅读次数：
181
为了方便，在Windows下我用了PyCharm，个人感觉这是一款优秀的python学习软件。爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。学习python爬虫前，先学习下其他..
分类：
编程语言 时间：
2015-05-27 19:27:07
阅读次数：
206
一个简单网络爬虫的实现
——抓取网易新闻
这次来指定一个信息量稍大一点的抓取目标——网易新闻(国内新闻) http://news.163.com/domestic/
这次要达到的目标：
1. 提取有用文本信息
2. 将新闻中所包含的图片信息保存在本地
3. 构建新的HTML文件，其中只包含有新闻主体内容与对应的图片信息...
分类：
其他好文 时间：
2015-05-26 10:43:35
阅读次数：
173
#coding:utf-8#version: 0.1#note:实现了查找0daydown最新发布的10页资源。import urllib.requestfrom bs4 import BeautifulSoupfor i in range(1,11): url = "http://www.0day...
分类：
其他好文 时间：
2015-05-16 14:42:12
阅读次数：
130
