标签:提取 code int word http item 技术分享 lambda 字符串处理
可以下载一长篇的英文小说,进行词频的分析。
1.读入待分析的字符串
2.分解提取单词
3.计数字典
4.排除语法型词汇
5.排序
6.输出TOP(20)
7.对输出结果的简要说明。
fo=open(‘news.txt‘,‘r‘,encoding=‘utf-8‘)#读取文件内容 a=fo.read() fo.close() a = a.lower() #字符串处理 for i in ‘,.‘: a=a.replace(i,‘ ‘) words=a.split(‘ ‘) #单词的列表 exp={‘the‘,‘of‘,‘is‘,‘i‘,‘you‘,‘and‘,‘as‘,‘for‘,‘‘} dic={} keys=set(words)-exp #键的集合 for j in keys: dic[j]=words.count(j) #单词计数字典 d=list(dic.items()) #单词计数元组的列表 d.sort(key=lambda b:b[1],reverse=True) #列表排序 for i in range(20): #输出前20元组 print(d[i])
标签:提取 code int word http item 技术分享 lambda 字符串处理
原文地址:http://www.cnblogs.com/0058kyle/p/7613115.html