中文词频统计及词云制作

标签：lis   list   pre   中软国际   enc   输出   class   ems   close   

1.中软国际华南区技术总监曾老师还会来上两次课，同学们希望曾老师讲些什么内容？（认真想一想回答）

    希望能讲一些大数据相关内容，深入了解一下。

2.中文分词

1. 下载一中文长篇小说，并转换成UTF-8编码。
2. 
3. 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。

   import jieba
   ff=open(‘wdqk.txt‘,‘r‘,encoding=‘utf-8‘)
   wdqk=ff.read()
   for i in ‘,.""?!，。？！“”\n‘:
       wdqk=wdqk.replace(i,‘ ‘)
   wdqk=list(jieba.cut(wdqk))
   zd={}
   paichu={‘我‘,‘是‘,‘你‘,‘他‘,‘她‘,‘在‘,‘有‘,‘的‘,‘了‘,‘也‘,‘这‘,‘那‘,‘ ‘}
   key=set(wdqk)-paichu
   for i in key:
       zd[i]=wdqk.count(i)
   lb=list(zd.items())
   lb.sort(key=lambda x:x[1],reverse=True)
   print(‘频率最高top10：\n‘)
   for i in range(10):
       print(lb[i])
   ff.close()

   

4. **排除一些无意义词、合并同一词。
5. **使用wordcloud库绘制一个词云。

（**两项选做，此次作业要求不能雷同。）

中文词频统计及词云制作

标签：lis   list   pre   中软国际   enc   输出   class   ems   close   

原文地址：http://www.cnblogs.com/bb437601841/p/7590894.html