标签：gif eve 开始 结束 color 分享 opened tle ==
python爬虫(按贴吧和帖子主题关键词筛选帖子的URL)
1 #!/usr/bin/env python 2 # -*- coding :utf-8 -*- 3 import urllib.request 4 from urllib.request import urlopen 5 from bs4 import BeautifulSoup 6 7 8 def writeAl(all_nr_print): 9 with open(‘%s.txt‘ % kw2, ‘a‘) as f: 10 f.write(all_nr_print+"\n") 11 12 13 def all_nr(full_url): 14 html = urlopen(full_url) 15 bsObj = BeautifulSoup(html, ‘html.parser‘) 16 t1 = bsObj.find_all(‘a‘) 17 for t2 in t1: 18 t3 = str(t2.get(‘href‘)) 19 t31 = str(t2.get(‘title‘)) 20 if len(t3) == 13: 21 if kw2 in t31: 22 all_nr_print = t31 + " " + str(kw2_url) + str(t3) 23 print(all_nr_print) 24 writeAl(all_nr_print) 25 26 27 def tiebaSpider(kw_url, beginPage, endPage): 28 for page in range(beginPage, endPage + 1): 29 pn = (page - 1) * 50 30 full_url = kw_url + "&pn=" + str(pn) 31 print("\n%s"% full_url) 32 all_nr(full_url) 33 # writeAl(full_url) 34 35 36 if __name__ == ‘__main__‘: 37 kw = input(‘请输入贴吧名：‘) 38 beginPage = int(input("请输入起始页：")) 39 endPage = int(input("请输入结束页：")) 40 kw2 = input(‘请输入帖子主题的\"关键词\"：‘) 41 kw_url = "http://tieba.baidu.com/f?" 42 kw2_url = "http://tieba.baidu.com" 43 kw_key = urllib.parse.urlencode({"kw": kw}) 44 full_url = kw_url + kw_key 45 tiebaSpider(full_url, beginPage, endPage)
结果展示
【招募】全年龄广播剧《儿童列车》招募CV http://tieba.baidu.com/p/5962267374 【招募】全一期原创恐怖灵异广播剧《白衣成血》招募sc啦! http://tieba.baidu.com/p/5976285465 【招募】不停与笙社团招新 http://tieba.baidu.com/p/5976567325 分享：【招募】招募后期学徒 http://tieba.baidu.com/p/5977220335 分享：【招募】有偿 http://tieba.baidu.com/p/5977187731 【招募】你猜哪个工作组招募各工种 http://tieba.baidu.com/p/5960617052 【招募】听弦小筑团队招人啦~~~ http://tieba.baidu.com/p/5954552471 【招募】广播剧《狼毫轶事录》求剧后 http://tieba.baidu.com/p/5977050477 【招募】一位无偿画师 《重生之恶少》广播剧第二期 春溪笛晓原著 http://tieba.baidu.com/p/5974780587 【招募】绘音配音2018双十一特别招募开始啦！ http://tieba.baidu.com/p/5946805942 【招募】全一期古风BG广播剧《长歌诀》招募CV，美工 http://tieba.baidu.com/p/5971507781 【招募】全两期科幻耽美广播剧《机器》招募sc啦! http://tieba.baidu.com/p/5973981263 【招募】大型神话广播剧《复遁》招募cv 诛神灭 http://tieba.baidu.com/p/5951882277 【招募】现代架空全一期原创耽美广播剧《魔窟的爱情轮回》招募cv http://tieba.baidu.com/p/5944614573 【招募】现代微悬疑全一期原创bg广播剧《镜面》招募cv http://tieba.baidu.com/p/5962239680 【招募】原创短剧 全一期 现代全年龄 广播剧《相遇》CV招募 http://tieba.baidu.com/p/5953852568 【招募】全一期亲情广播剧《相遇》继续招募CV http://tieba.baidu.com/p/5958363399 【招募】全年龄原创短剧《相遇》 http://tieba.baidu.com/p/5960516165 【招募】音玖广播剧社团招募 http://tieba.baidu.com/p/5422417242 【招募】叮咚~您有一份待签收的邀请函~ http://tieba.baidu.com/p/5972716719 【招募】这里一个萌系短文，招个改编编剧，要求两周内交，扣扣三 http://tieba.baidu.com/p/5976770373 【招募】全一期现代BG广播剧《星辰似你》招募cv http://tieba.baidu.com/p/5949823490 【招募】平声欢社团招新啦！ http://tieba.baidu.com/p/5972804085 【招募】绿叶ACG动漫配音社团招新了！ http://tieba.baidu.com/p/5709436979 【招募】三号广播剧社2018年招新~~来看看这个沉寂了两年的社团吧 http://tieba.baidu.com/p/5739440029 【招募】招募编剧，歌基，CV http://tieba.baidu.com/p/5973923547 【招募】「韵寥幽音原创团队」五周年团队招新啦～～～ http://tieba.baidu.com/p/5959834856 【招募】广播剧，求一萝莉音 http://tieba.baidu.com/p/5961227120 【招募】纯男音微时配音社年末招新（长期） http://tieba.baidu.com/p/5961400299 【招募】夜雨声繁广播剧社招新第六弹 http://tieba.baidu.com/p/5886257950 【招募】《因为风就在那里》剧组招募CV http://tieba.baidu.com/p/5905474046 【耽美广播剧cv龙套招募】全一期现代耽美广播剧《有何不可》 http://tieba.baidu.com/p/5968767308 【招募】708工作室招新~欢迎大可爱小可爱们加入 http://tieba.baidu.com/p/5970854197 【招募】现代写实向广播剧《沉默》招募cv啦 http://tieba.baidu.com/p/5972644325 【招募】流连声色广播剧社招新 http://tieba.baidu.com/p/5513767446 【招募】陌熏熏工作组出品，全12期原创虐心系列之《半生戏》， http://tieba.baidu.com/p/5919689319 【招募】有声小说招募一批主播 http://tieba.baidu.com/p/5869491333 【招募】现代耽美广播剧《天生敌对》下期招募CV请各位踊跃试音！ http://tieba.baidu.com/p/5572391112 【招募】声御轩广播剧社持续招新中 http://tieba.baidu.com/p/5962547207 [招募]工作室招志同道合伙伴 http://tieba.baidu.com/p/5950106274
标签：gif eve 开始 结束 color 分享 opened tle ==
原文地址：https://www.cnblogs.com/huanu/p/10111507.html
