ulrlib案例-爬取百度贴吧

 1 from urllib import request,parse
 2 import time
 3 import random
 4 import os
 5 
 6 kw = input(‘请输入贴吧名称：‘)
 7 start = input(‘请输入起始页：‘)
 8 end = input(‘请输入结束页：‘)
 9 
10 # 构建请求字符串
11 qs = {
12 　　‘kw‘:kw
13 }
14 qs = parse.urlencode(qs)
15 
16 # 构建贴吧链接地址
17 base_url = ‘https://tieba.baidu.com/f?‘ + qs
18 
19 start = (int(start) - 1) * 50
20 end = (int(end) - 1) * 50 + 1
21 
22 for pn in range(start,end,50):
23 　　# pn 分页数字
24 　　# 文件名
25 　　fname = str((pn//50 + 1)) + ‘.html‘
26 　　fullurl = base_url + ‘&pn=‘ + str(pn)
27 　　print(fullurl)
28 　　response = request.urlopen(fullurl)
29 　　data = response.read().decode(‘utf-8‘)
30 
31 　　# 自动创建目录
32 　　path = ‘./tieba/‘ + kw
33 　　if not os.path.exists(path):
34 　　os.makedirs(path)
35 
36 　　with open(os.path.join(path,fname),‘w‘,encoding=‘utf-8‘) as f:
37 　　　　f.write(data)
38 
39 　　# 加入请求间隔
40 　　time.sleep(random.random() * 2)