标签：parse txt 点击 encoding 数据保存 链接 ptime 提取 parser
1. 将新闻的正文内容保存到文本文件。
def writeNewsDetail(content): f=open(‘gzccnews.txt‘,‘a‘,encoding=‘utf-8‘) f.write(content) f.close()
2. 将新闻数据结构化为字典的列表:
def getNewsDetail(newurl): #读取一篇新闻的所有信息 resd = requests.get(newurl) resd.encoding = ‘utf-8‘ soupd = BeautifulSoup(resd.text, ‘html.parser‘) #打开新闻详细页并解析 news={}#定义字典 news[‘title‘]=soupd.select(‘.show-title‘)[0].text info=soupd.select(‘.show-info‘)[0].text news[‘dt‘]=datetime.strptime(info.lstrip(‘发布时间:‘)[0:19],‘%Y-%m-%d %H:%M:%S‘) if info.find(‘来源：‘)>0: news[‘source‘]=info[info.find(‘来源：‘):].split()[0].lstrip(‘来源：‘) else: news[‘source‘]=‘none‘ news[‘content‘]=soupd.select(‘.show-content‘)[0].text.strip() #writeNewsDetail(content) # f.write(content) news[‘click‘]=getClickCount(newurl) news[‘newsurl‘]=newurl print(news)
def getListPage(listPageUrl): #一个分页的所有新闻 res = requests.get(listPageUrl) res.encoding = ‘utf-8‘ soup = BeautifulSoup(res.text, ‘html.parser‘) newsList=[] for news in soup.select(‘li‘): if len(news.select(‘.news-list-title‘)) > 0: # 获取新闻模块链接 newsurl=news.select(‘a‘)[0].attrs[‘href‘] #链接 newsList.append(getNewsDetail(newsurl)) return (newsurl)
newsTotal=[] firstPage=‘http://news.gzcc.cn/html/xiaoyuanxinwen/‘ newsTotal.extend(getListPage(firstPage))
3. 安装pandas，用pandas.DataFrame(newstotal)，创建一个DataFrame对象df.
df = pandas.DataFrame(all_news)
4. 通过df将提取的数据保存到csv或excel 文件。
df.to_excel(‘news.xlsx‘)
5. 用pandas提供的函数和方法进行数据分析：
df[[‘clicks‘, ‘title‘, ‘source‘]].head(6)
df[(df[‘clicks‘] > 3000) & (df[‘source‘] == ‘学校综合办‘)]
news_info = [‘国际学院‘, ‘学生工作处‘] df[df[‘source‘].isin(news_info)]
标签：parse txt 点击 encoding 数据保存 链接 ptime 提取 parser
原文地址：https://www.cnblogs.com/tiankongyiluozhiwu/p/8810201.html
