标签：
概要：利用python进行web数据抓取简单方法和实现。
1、python进行网页数据抓取有两种方式：一种是直接依据url链接来拼接使用get方法得到内容，一种是构建post请求改变对应参数来获得web返回的内容。
一、第一种方法通常用来获取静态页面内容，比如豆瓣电影内容分类下动画对应的链接：
http://www.douban.com/tag/%E5%8A%A8%E7%94%BB/?focus=movie
纪录片对应的链接：
http://www.douban.com/tag/%E7%BA%AA%E5%BD%95%E7%89%87/?focus=movie
tag 与 /?foucus中间的代表关键字，每次将页面对应的关键字进行替换就能抓取到相应的页面。
二、第二种方法是通过使用post请求来进行获取web内容抓取，由于许多网站是动态网站，每次请求返回的对应链接都是无变化，所以不能直接使用get方法来抓取网站内容，基本思路是只能依据每次发送的post数据请求观察其中的参数，并模拟构造post请求实现相应的页面获取。
2、python简易代码实现web抓取：
1 #coding=utf-8 2 3 import urllib,urllib2 4 5 #继续以抓取豆瓣电影分类链接为例 6 7 movie_list = [‘%E7%BA%AA%E5%BD%95%E7%89%87‘,‘%E6%96%87%E8%89%BA‘,‘%E5%8F%B2%E8%AF%97‘] 8 9 for i in movie_list: 10 url = http://www.douban.com/tag/%E5%8F%B2%E8%AF%97/?focus=movie 11 url = url.replace(‘%E5%8F%B2%E8%AF%97‘,i) 12 request = urllib2.Request(url) 13 html = urllib2.open(request)
标签：
原文地址：http://www.cnblogs.com/starsea/p/5021801.html
