码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫之采集——360联想词W2版本

时间:2014-06-16 21:28:53      阅读:265      评论:0      收藏:0      [点我收藏+]

标签:style   class   blog   code   http   tar   

http://blog.csdn.net/recsysml/article/details/30541197,我的这个博文介绍了相应的简单的方法做一个联想词的爬虫,而且还承诺了以下优化:

下一版本的优化考虑:

1.让用户自助输入关键i词,不要事先定义关键词列表

2.按回车进行下一个关键词输入

3.输出结果保存txt文本

4.用户输入exit,程序退出

开工:

1.让用户输入关键词,首先想到raw_input(),这个很好解决

2.回车进行下一个关键词输入,这个其实用一个print打印你的引导就行,现在实现的是只要不输入exit按回车都能进行下一个关键词录入,进入循环

3.输出结果保存txt文本,输入一个词,把结果放到相应的txt文本下,如输入“博客”,则保存本地为“博客.txt”

4.用户输入exit,程序退出,设置一个布尔标志变量,True/False,当用户输入exit时,变量值为False,终止循环

大体框架还是上一个博文写的那样,只是基于以前的代码进行修改,具体代码如下:

# -*- coding: utf-8 -*-
"""
Created on Sat Jun 16 15:54:42 2014

@author: 416
"""
#---------------------
#   程序:爬虫采集360搜索关联词
#   语言:python2.7
#   版本:w2
#   时间:2014-06-14@PM
#   作者:wxx
#---------------------

import urllib
import urllib2
import re
import time
import codecs
from random import choice

class Related_Model:
    def __init__(self,word):
        self.word = word
        self.enable = False#传说中的标志位
        self.datas = []#存放关联词的列表
        print u'已启动关联词抓取,嘿咻嘿咻。。'
        
    def GetWord(self): 
        quote_word = urllib.quote(self.word)
        print u'你输入的关键词是:',self.word
        url = "http://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word="+str(quote_word)
        #头信息
        headers = {
                    "GET":url,
                    "Host":"sug.so.360.cn",
                    "Referer":"http://www.so.com/",
                    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36 QIHU 360SE"
                    }
                    
        iplist = ["14.29.117.36:80","222.66.115.229:80","59.46.72.245:8080"]
        ip = choice(iplist)
        #使用IP代理服务器
        proxy_handler = urllib2.ProxyHandler({'http': 'http://'+ip})
        opener = urllib2.build_opener(proxy_handler)
        urllib2.install_opener(opener)    
        req = urllib2.Request(url)
        for key in headers:
            req.add_header(key,headers[key])
        html = urllib2.urlopen(req).read()
        #将其他编码变成unicode编码
        unicodeWord = html.decode("utf-8") 
        #正则表达式,findall方法返回一个列表
        ss = re.findall('"word":\"(.*?)\"',unicodeWord)
        for item in ss:
            self.datas.append(item+'\t')
                
    def SaveWord(self):
        f = codecs.open(self.word+'.txt', 'w', 'utf-8') 
        #f = open('word.txt','w')
        for item in self.datas:
            print type(item)   #item的类型         
            f.write(item)
            time.sleep(0.2)#要不要无所谓
        f.close()
        
        print u'文件已经打包成txt保存到本地'
        print u'按exit退出或按回车继续'
        
        myInput = raw_input()
        if myInput == 'exit':
            self.enable = False
        else:
            self.word = raw_input(u'请输入关键词:')
            #列表要清零,不然上一个关键词的关联词依然在列表中,又要重写进txt中
            self.datas = []
            self.Start()
            
            
    def Start(self):
        self.enable = True
        print u'正在搜索中。。。'
        while self.enable:            
            self.GetWord()            
            self.SaveWord()
    
            
#-------- 程序入口处 ------------------
print u"""#---------------------------------------
#   程序:爬虫采集360搜索关联词
#   版本:w2
#   作者:wxx
#   日期:2014-06-16@PM
#   语言:Python 2.7
#   操作:用户输入关键词,程序返回相关关联词并保存到本地文件
#   功能:将用户输入的关键词的联想词打包txt存储到本地。
#---------------------------------------
"""
word = raw_input(u'请输入关键词:')
print u'输入的是:',word
myModel = Related_Model(word)
myModel.Start()
运行结果:

bubuko.com,布布扣

文本如下:

bubuko.com,布布扣

我们打开一个看看:

bubuko.com,布布扣

验证下:

bubuko.com,布布扣

是对的,但是,有个问题,我要说下,就是中文输入的时候,会抓不到。。。也不是抓不到,就是用户输入中文关键词时,根本就显示不了中文,博主最近事多,不能花很多精力各种调,但是为何上一个版本没有问题,想不懂,等下一篇博文解决这个bug,截图看下中文情况:

bubuko.com,布布扣

红框中应该有科学俩字啊,在我测试之后,发现首先输入英文再输入中文,有时候能正常,有时候不行,凌乱啊

下一篇博客我会修正这些bug,大家有啥好建议,或者看出来bug在哪里,给我留言啊!




python爬虫之采集——360联想词W2版本,布布扣,bubuko.com

python爬虫之采集——360联想词W2版本

标签:style   class   blog   code   http   tar   

原文地址:http://blog.csdn.net/recsysml/article/details/31359219

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!