标签:支持 col 状态 from sim 数值 用户 func 背景图片
什么是词云
词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。
准备工作:
python开发环境、wordcloud、jieba、matplotlib、numpy 、PIL 等库文件安装好。
wordcloud生成词云的原理简介
wordcloud生成词云的原理其实并不复杂,大体分成5步(具体可自行查看源码):
wordcloud制作词云时,首先要对对文本数据进行分词,使用process_text()方法,这一步的主要任务是去除停用词
2.第二步是计算每个词在文本中出现的频率,生成一个哈希表。词频用于确定一个词的重要性
3.根据词频的数值按比例生成一个图片的布局,类IntegralOccupancyMap 是该词云的算法所在,是词云的数据可视化方式的核心。生成词的颜色、位置、方向等
4.最后将词按对应的词频在词云布局图上生成图片,核心方法是generate_from_frequencies,不论是generate()还是generate_from_text()都最终用到generate_from_frequencies
完成词云上各词的着色,默认是随机着色
5.词语的各种增强功能大都可以通过wordcloud的构造函数实现,里面提供了22个参数,还可以自行扩展。
#coding:utf-8
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator,STOPWORDS
import jieba
import numpy as np
from PIL import Image
#读入背景图片
abel_mask = np.array(Image.open("filepath"))
#读取要生成词云的文件
text_from_file_with_apath = open(‘filepath‘).read()
#通过jieba分词进行分词并通过空格分隔
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)
#my_wordcloud = WordCloud().generate(wl_space_split) 默认构造函数
my_wordcloud = WordCloud(
background_color=‘white‘, # 设置背景颜色
mask = abel_mask, # 设置背景图片
max_words = 200, # 设置最大现实的字数
stopwords = STOPWORDS, # 设置停用词
font_path = C:/Users/Windows/fonts/simkai.ttf‘,# 设置字体格式,如不设置显示不了中文
max_font_size = 50, # 设置字体最大值
random_state = 30, # 设置有多少种随机生成状态,即有多少种配色方案
scale=.5
).generate(wl_space_split)
# 根据图片生成词云颜色
image_colors = ImageColorGenerator(abel_mask)
#my_wordcloud.recolor(color_func=image_colors)
# 以下代码显示图片
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
本文需要的两个Python类库
jieba:中文分词分词工具
wordcloud:Python下的词云生成工具
代码组成简介
第一部分,设置代码运行需要的大部分参数,你可以方便的直接使用该代码而不需要进行过多的修改
第二部分为jieba的一些设置,当然你也可以利用isCN参数取消中文分词
第三部分,wordcloud的设置,包括图片展示与保存
如果你想用该代码生成英文词云,那么你需要将isCN参数设置为0,并且提供英文的停用词表.
# - * - coding: utf - 8 -*-
from os import path
from scipy.misc import imread
import matplotlib.pyplot as plt
import jieba
# jieba.load_userdict("txt\userdict.txt")
# 添加用户词库为主词典,原词典变为非主词典
from wordcloud import WordCloud, ImageColorGenerator
# 获取当前文件路径
# __file__ 为当前文件, 在ide中运行此行会报错,可改为
# d = path.dirname(‘.‘)
d = path.dirname(__file__)
stopwords = {}
isCN = 1 #默认启用中文分词
back_coloring_path = "img/lz1.jpg" # 设置背景图片路径
text_path = ‘txt/lz.txt‘ #设置要分析的文本路径
font_path = ‘D:\Fonts\simkai.ttf‘ # 为matplotlib设置中文字体路径没
stopwords_path = ‘stopwords\stopwords1893.txt‘ # 停用词词表
imgname1 = "WordCloudDefautColors.png" # 保存的图片名字1(只按照背景图片形状)
imgname2 = "WordCloudColorsByImg.png"# 保存的图片名字2(颜色按照背景图片颜色布局生成)
my_words_list = [‘路明非‘] # 在结巴的词库中添加新词
back_coloring = imread(path.join(d, back_coloring_path))# 设置背景图片
# 设置词云属性
wc = WordCloud(font_path=font_path, # 设置字体
background_color="white", # 背景颜色
max_words=2000, # 词云显示的最大词数
mask=back_coloring, # 设置背景图片
max_font_size=100, # 字体最大值
random_state=42,
width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
)
# 添加自己的词库分词
def add_word(list):
for items in list:
jieba.add_word(items)
add_word(my_words_list)
text = open(path.join(d, text_path)).read()
def jiebaclearText(text):
mywordlist = []
seg_list = jieba.cut(text, cut_all=False)
liststr="/ ".join(seg_list)
f_stop = open(stopwords_path)
try:
f_stop_text = f_stop.read( )
f_stop_text=unicode(f_stop_text,‘utf-8‘)
finally:
f_stop.close( )
f_stop_seg_list=f_stop_text.split(‘\n‘)
for myword in liststr.split(‘/‘):
if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:
mywordlist.append(myword)
return ‘‘.join(mywordlist)
if isCN:
text = jiebaclearText(text)
# 生成词云, 可以用generate输入全部文本(wordcloud对中文分词支持不好,建议启用中文分词),也可以我们计算好词频后使用generate_from_frequencies函数
wc.generate(text)
# wc.generate_from_frequencies(txt_freq)
# txt_freq例子为[(‘词a‘, 100),(‘词b‘, 90),(‘词c‘, 80)]
# 从背景图片生成颜色值
image_colors = ImageColorGenerator(back_coloring)
plt.figure()
# 以下代码显示图片
plt.imshow(wc)
plt.axis("off")
plt.show()
# 绘制词云
# 保存图片
wc.to_file(path.join(d, imgname1))
image_colors = ImageColorGenerator(back_coloring)
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis("off")
# 绘制背景图片为颜色的图片
plt.figure()
plt.imshow(back_coloring, cmap=plt.cm.gray)
plt.axis("off")
plt.show()
# 保存图片
wc.to_file(path.join(d, imgname2))
词云的本质是对文本中的词进行词云统计,根据出现频率的多少来按比例展示大小.,现成的词云制作工具也很多:
1.Wordle是一个用于从文本生成词云图而提供的游戏工具.
2.Tagxedo可以在线制作个性化词云.
3.Tagul是一个Web服务,同样可以创建华丽的词云.
4.Tagcrowd还可以输入web的url,直接生成某个网页的词云.
首先先安装wordcloud和jieba
pip install wordcloud
pip install jieba
Python核心代码
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
text_from_file_with_apath =open("/Users/vander/Desktop/dada",encoding="UTF-8").read()
wordlist_after_jieba =jieba.cut(text_from_file_with_apath,cut_all=True)
wl_space_split =" ".join(wordlist_after_jieba)
my_wordcloud =WordCloud(font_path="/Library/Fonts/Songti.ttc").generate(wl_space_split)
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
解析:
1-3行分别导入了画图的库,词云生成库和jieba的分词库.
4行是读取本地的文件.
5-6行使用jieba进行分词,并对分词的结果以空格分隔开.
7行对分词后的文本生成词云.
8-10行用pyplot展示词云图.
标签:支持 col 状态 from sim 数值 用户 func 背景图片
原文地址:http://www.cnblogs.com/tester-l/p/8011663.html