码迷,mamicode.com
首页 > 其他好文 > 详细

中文词频统计

时间:2018-03-28 16:52:22      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:[1]   img   blog   中文   txt   item   utf-8   log   jieba   

import jieba


fo=open(aaa.txt,r,encoding = utf-8)

text=fo.read()
text2=list(jieba.lcut(text))

sign={, ,,我们, , 他们, 我的, 他的, 你的, , , ,,,,,,,,?,,,           ,,,,,,,,,,,,,, \n,(,),,,,便,,,,,,那里,           ,一个,,,,,,,,,,,,,,,你们,,}

text3={}
for i in text2:
    text3[i]=text3.get(i,0)+1

for i in sign:
    if i in text3:
        del text3[i]

text4 =sorted(text3.items(),key=lambda x:x[1],reverse=True)
for i in range(20):
    print(text4[i])

技术分享图片

中文词频统计

标签:[1]   img   blog   中文   txt   item   utf-8   log   jieba   

原文地址:https://www.cnblogs.com/lk666/p/8664342.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!