3-百度贴吧爬虫

#_*_ coding: utf-8 _*_

‘‘‘
Created on 2018 7月12号
@author: sss
类型：get请求
功能：爬取百度贴吧的页面，可以分页

‘‘‘
from pip._vendor.distlib.compat import raw_input
import urllib
import urllib.parse
import urllib.request
from tokenize import endpats
from fileinput import filename
from _winapi import WriteFile
from ctypes.wintypes import PINT

def loadPage(url, filename):
    """
        作用：根据url发送请求，获取服务器相应的文件
     url: 需要爬取得url地址
     filename: 文件名
    """
    print(‘正在下载‘ + filename)
    
    headers = {‘User-Agent‘: "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
    
    request = urllib.request.Request(url, headers = headers)
    response = urllib.request.urlopen(request )
    
    return response.read()
    
def WriteFile(html, filename):   #python里面自带WriteFile所以注意自己调用的是谁写的，调用自己的是否函数名一致了
    """
        作用：保存服务器响应文件到本地磁盘文件
     html：服务器相应文件
     filename: 本地磁盘文件名
    """
    with open(filename, ‘wb+‘) as f:
        f.write(html)
#     f = open(filename, ‘wb+‘)
#     f.write(html)
#     f.close
    print(‘已写入：‘ + filename)

def tiebaSpider(url, beginPage, endPage):
    """
            作用：负责处理url,分配每个url去发送请求
       url: 需要处理的第一个url
       beginPage: 爬虫执行的其实页面
       endPage: 爬虫执行的截止页面
    """
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        
        filename = ‘第‘ + str(page) + ‘页.html‘
        #组合完整的url,并且pn每次增加50
        fullurl = url + "&pn=" + str(pn)
        print(fullurl)
        
        #调用loadPage()发送请求获取html页面
        html = loadPage(fullurl, filename)
        #将获得的html页面写入本地磁盘文件
        WriteFile(html, filename)         
    print(‘完成！‘)

if __name__ == "__main__":
    kw = raw_input("请输入需要爬取的贴吧")
    #输入起始页和终止页，str转为int类型
    beginPage = int(raw_input(‘请输入起始页‘))
    endPage = int(raw_input(‘请输入终止页‘))

    url = "http://tieba.baidu.com/f?"
    key = urllib.parse.urlencode({"kw": kw})
    
    #组合后的url示例：http://tieba.baidu.com/f?kw=lol
    url = url + key
    
    tiebaSpider(url, beginPage, endPage)