码迷,mamicode.com
首页 > 编程语言 > 详细

继续Python爬虫

时间:2015-01-11 16:04:12      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:

先贴上代码

# coding:utf-8
import urllib2
import urllib
import re

gjc = urllib.quote(‘你好‘)
url = ‘http://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word=‘+gjc
header = {
                    ‘GET‘:url,
                    ‘Host‘:‘sug.so.360.cn‘,
                    ‘User-Agent‘:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36‘,
                    ‘Referer‘:‘http://www.haosou.com‘
                    
           
          }
req = urllib2.Request(url)
for key in header:
    req.add_header(key,header[key])
r = urllib2.urlopen(req).read()
uu = re.findall(‘\"(.*?)\"‘,r)
for i in uu:
    print i

  今天这个是跟着视频学的,查了下Python官网的API,主要有几点:

1urillib的quote把字符转变成一段特殊的贴在URL后面的字符。

2防止被网站拉黑需要用到add_header,虽然我也不晓得具体啥意思。。。

3如果不用最后的for循环的话打印的时一个字母列表,需要用这个循环来转换成自然语言。

继续Python爬虫

标签:

原文地址:http://www.cnblogs.com/bestkayle/p/4216576.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!