中文词频统计及词云制作

标签：sort   ...   span   open   ima   使用   building   rom   src   

1.中软国际华南区技术总监曾老师还会来上两次课，同学们希望曾老师讲些什么内容？（认真想一想回答）

 希望老师能讲讲更多关于python的知识，并且讲讲大数据的的另一些方向

2.中文分词

a。下载一中文长篇小说，并转换成UTF-8编码。

b.使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。

import jieba
ff=open(‘wdqk.txt‘,‘r‘,encoding=‘utf-8‘)
wdqk=ff.read()
for i in ‘,.""?!，。？！“”\n‘:
    wdqk=wdqk.replace(i,‘ ‘)
wdqk=list(jieba.cut(wdqk))
zd={}
paichu={‘我‘,‘的‘,‘心‘,‘好‘,‘冷‘,‘在‘,‘有‘,‘了‘,‘浩‘,‘然‘,}
key=set(wdqk)-paichu
for i in key:
    zd[i]=wdqk.count(i)
lb=list(zd.items())
lb.sort(key=lambda x:x[1],reverse=True)
print(‘频率最高top10：\n‘)
for i in range(10):
    print(lb[i])
ff.close()

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\ADMINI~1\AppData\Local\Temp\jieba.cache
Loading model cost 0.723 seconds.
Prefix dict has been built succesfully.
我            575
的          413
心 375
好 286
冷 251
在          198
有          155
了          135
浩          124
然          113

中文词频统计及词云制作

标签：sort   ...   span   open   ima   使用   building   rom   src   

原文地址：http://www.cnblogs.com/hzlhzl/p/7592940.html