码迷,mamicode.com
首页 > 其他好文 > 详细

3-百度贴吧爬虫

时间:2018-07-12 21:44:48      阅读:104      评论:0      收藏:0      [点我收藏+]

标签:range   highlight   并且   调用   with   trident   from   encode   main   

被写文件坑了一晚上,因为自己写了writeFile(),但是调用的是WriteFile()刚好python里面有WriteFile()所以刚好不报错!!!!!

#_*_ coding: utf-8 _*_

‘‘‘
Created on 2018 7月12号
@author: sss
类型:get请求
功能:爬取百度贴吧的页面,可以分页

‘‘‘
from pip._vendor.distlib.compat import raw_input
import urllib
import urllib.parse
import urllib.request
from tokenize import endpats
from fileinput import filename
from _winapi import WriteFile
from ctypes.wintypes import PINT

def loadPage(url, filename):
    """
        作用:根据url发送请求,获取服务器相应的文件
     url: 需要爬取得url地址
     filename: 文件名
    """
    print(‘正在下载‘ + filename)
    
    headers = {‘User-Agent‘: "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
    
    request = urllib.request.Request(url, headers = headers)
    response = urllib.request.urlopen(request )
    
    return response.read()
    
def WriteFile(html, filename):   #python里面自带WriteFile所以注意自己调用的是谁写的,调用自己的是否函数名一致了
    """
        作用:保存服务器响应文件到本地磁盘文件
     html:服务器相应文件
     filename: 本地磁盘文件名
    """
    with open(filename, ‘wb+‘) as f:
        f.write(html)
#     f = open(filename, ‘wb+‘)
#     f.write(html)
#     f.close
    print(‘已写入:‘ + filename)

def tiebaSpider(url, beginPage, endPage):
    """
            作用:负责处理url,分配每个url去发送请求
       url: 需要处理的第一个url
       beginPage: 爬虫执行的其实页面
       endPage: 爬虫执行的截止页面
    """
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        
        filename = ‘第‘ + str(page) + ‘页.html‘
        #组合完整的url,并且pn每次增加50
        fullurl = url + "&pn=" + str(pn)
        print(fullurl)
        
        #调用loadPage()发送请求获取html页面
        html = loadPage(fullurl, filename)
        #将获得的html页面写入本地磁盘文件
        WriteFile(html, filename)         
    print(‘完成!‘)

if __name__ == "__main__":
    kw = raw_input("请输入需要爬取的贴吧")
    #输入起始页和终止页,str转为int类型
    beginPage = int(raw_input(‘请输入起始页‘))
    endPage = int(raw_input(‘请输入终止页‘))

    url = "http://tieba.baidu.com/f?"
    key = urllib.parse.urlencode({"kw": kw})
    
    #组合后的url示例:http://tieba.baidu.com/f?kw=lol
    url = url + key
    
    tiebaSpider(url, beginPage, endPage)  


        

    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

  

3-百度贴吧爬虫

标签:range   highlight   并且   调用   with   trident   from   encode   main   

原文地址:https://www.cnblogs.com/zhumengdexiaobai/p/9301824.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!