码迷,mamicode.com
首页 > 编程语言 > 详细

60行python代码分析2018互联网大事件

时间:2019-01-02 15:48:32      阅读:278      评论:0      收藏:0      [点我收藏+]

标签:err   代码   val   spl   云图   直接   erro   [1]   展现   

2018年是改革开放四十周年,也是互联网发展的重要一年。经历了区块链,人工智能潮的互联网行业逐渐迎来了冬天。这一年里有无数的事件发生着,正好学了python数据处理相关,那么就用python对18年的互联网事件进行一个简单的记录与分析。这里主要用了wordcloud和jieba。

首先来看一个数据表,这份excel表单几乎就是2018全年互联网圈发生的所有事件了。

技术分享图片

那么现在想要分析着数万条数据,可以用什么方法呢,我们首先会想到用可视化来呈现,图表展示也许会更清晰,但是这里我们选择用python中简单易用的词云来展示。

废话就不多说了,直接贴代码。

 1 #copyright by pricechen
 2 #几个常用库
 3 import xlrd
 4 import jieba
 5 from wordcloud import WordCloud,ImageColorGenerator
 6 import codecs
 7 import imageio
 8 
 9 #先把文件地址写好,对文件保存地址有需求的同学可以自行设置一下输入input
10 Savepath = E:\\pricechen\\data\\
11 filename = 2018大事件记录.xlsx
12 month = [01, 02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12]
13 
14 #对内容进行封装
15 def fileHandle(Savepath,filename,month):
16     #打开excel文件
17     book = xlrd.open_workbook(Savepath+filename)
18     sheet = book.sheet_by_name(Sheet)
19 
20     #处理新闻数据
21     for i in range(0,sheet.nrows):
22         #每一行内容
23         textLine = sheet.row_values(i)
24         # print(textLine)
25         #遍历月份
26         for data in month:
27             if textLine[0][5:7]==data:
28                 #这里进行异常处理
29                 try:
30                     #写入以月份命名的文件夹
31                     with open(Savepath+ data + .txt, a+) as f:
32                         f.write(textLine[1]+ )
33                 except FileNotFoundError:#文件不存在异常
34                     continue
35                 except UnicodeEncodeError:#编码异常
36                     continue
37 
38 def WCHandle(Savepath,month):
39     #处理词云图片
40     for i in range(0,12):
41         imagePath = Savepath + background\\ + month[i] + .jpg
42         textPath = Savepath + month[i] +.txt
43         with codecs.open(textPath) as f:
44             text = f.read()
45             # cut_text = ‘ ‘.join(jieba.cut(text))#使用jieba分词得到词语字符串
         #这里原本使用的是jieba分词,但是后面觉得分词之后展现的数据反而没有那么直观 46 cut_text = .join(text.split(,)) #改用了将每一句话展现到词云里面 47 try: #背景图片选择,这里最后因为序号错误需要加一个异常处理,选择第00张图片 48 background = imageio.imread(imagePath) 49 except FileNotFoundError: 50 background = imageio.imread(E:\\pricechen\\data\\background\\00.jpg) 51 #设置词云参数 52 cloud = WordCloud(font_path = 53 Savepath+WenYue-FangTangTi-NC-2.otf, 54 background_color = white,mask = background,55 max_words=2000,max_font_size = 40,56 scale=10, #清晰度,这里考虑电脑配置,只选择15 57 ) 58 word_cloud = cloud.generate(cut_text) 59 #保存,使用原图保存方式 60 word_cloud.to_file(Savepath+2018\\Chinese+month[i]+.jpg) 61
  #这边就是自动化处理了 62 if __name__==__main__: 63 fileHandle(Savepath,filename,month) 64 WCHandle(Savepath,month)

以上就是所有代码了,一共六十行左右代码,就能处理近六万条数据。

十二个月的数据,每个月都处理为一张词云图,每张词云图都用了一个省的地图作为模板。

来看看处理后的结果,我就直接上图了,因为图片比较大(保存的清晰度较高),这里就只放两张图。

技术分享图片

技术分享图片

需要2018年互联网大事件数据的可以私信我,代码有错误的话欢迎指正哦。

60行python代码分析2018互联网大事件

标签:err   代码   val   spl   云图   直接   erro   [1]   展现   

原文地址:https://www.cnblogs.com/chenprice/p/10206733.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!