标签:enc uil text arch 范围 coding 使用 控制 原创
首先需要具备gensim包,然后需要一个语料库用来训练,这里用到的是skip-gram或CBOW方法,具体细节可以去查查相关资料,这两种方法大致上就是把意思相近的词映射到词空间中相近的位置。
语料库test8下载地址:
http://mattmahoney.net/dc/text8.zip
这个语料库是从http://blog.csdn.net/m0_37681914/article/details/73861441这篇文章中找到的。
检查语料是否需要做预处理:
将数据下载好了解压出来,在做词向量之前我们需要了解数据的存储结构,判断它是否满足gensim包里word2vec函数对输入数据的形式要求。word2vec函数的输入最好是一整篇文字,不含标点符号以及换行符。那么我们应该检查test8数据是否符合。然而双击打开test8是行不通的,因为文件过大。那么就需要我们用程序打开它。代码如下:
with open(‘/text8‘,‘r‘,encoding=‘utf-8‘) as file:
for line in file.readlines():
print(line)
程序会返回警告,内存不够,打印不出来。明显是因为有一行内容太多导致的。可以进行如下验证:
with open(‘/text8‘,‘r‘,encoding=‘utf-8‘) as file:
for line in file.readlines():
print(len(line))
输出只有一个值,表示数据只有一行,且显示这一行有100000000个字符长度。由于文件内数据结构一致,那么我们没有必要将数据全部输出来看,只需要输出一部分就知道它的数据结构,那么修改代码如下:
a = 0
b = 0
with open(‘/text8‘,‘r‘,encoding=‘utf-8‘) as file:
line = file.read()
for char in line:
b+=1
print(char,end=‘‘)
if b-a == 100:
a = b
print(‘\n‘)
if a == 5000:
break
我们输出前5000个字符来看看,并且每100个字符换一行。
这里只是开头一部分,可以看到数据完全没有标点符号,且之前验证过所有数据都是在同一行,表示没有换行符。那么我们无需对数据进行预处理。接下来是数据处理部分。
数据处理部分:
from gensim.models import word2vec
import logging
logging.basicConfig(format=‘%(asctime)s : %(levelname)s : %(message)s‘, level=logging.INFO)
sentences = word2vec.Text8Corpus(‘/text8‘)
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
model.save(‘/text82.model‘)
print(model[‘man‘])
那么
logging.basicConfig(format=‘%(asctime)s : %(levelname)s : %(message)s‘, level=logging.INFO)
这一行表示我们的程序会输出日志信息,形式(format)为日期(asctime):信息级别(levelname):日志信息(message),信息级别为正常信息(logging.INFO)。关于logging的知识,大家可以去自行学习。https://www.cnblogs.com/bjdxy/archive/2013/04/12/3016820.html点击打开链接
上图就是输出的日志信息。实际工作中,我们也可以不加这个日志,但这么做的前提是我们确定程序一定正确,不会出错,因为一旦出错我们就需要根据日志信息来推断错误发生的可能。
将语料库保存在sentence中
sentences = word2vec.Text8Corpus(‘/text8‘)
生成词向量空间模型
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
这里讲下参数含义:
class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, min_count=5,max_vocab_size=None, sample=0.001,seed=1, workers=3,min_alpha=0.0001, sg=0, hs=0, negative=5, cbow_mean=1,hashfxn=<built-in function hash>,iter=5,null_word=0, trim_rule=None, sorted_vocab=1, batch_words=10000)
参数:
1.sentences:可以是一个List,对于大语料集,建议使用BrownCorpus,Text8Corpus或·ineSentence构建。
2.sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。
3.size:是指输出的词的向量维数,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
4.window:为训练的窗口大小,8表示每个词考虑前8个词与后8个词(实际代码中还有一个随机选窗口的过程,窗口大小<=5),默认值为5。
5.alpha: 是学习速率
6.seed:用于随机数发生器。与初始化词向量有关。
7.min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。
8.max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
9.sample: 表示 采样的阈值,如果一个词在训练样本中出现的频率越大,那么就越会被采样。默认为1e-3,范围是(0,1e-5)
10.workers:参数控制训练的并行数。
11.hs: 是否使用HS方法,0表示不使用,1表示使用 。默认为0
12.negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words
13.cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(default)则采用均值。只有使用CBOW的时候才起作用。
14.hashfxn: hash函数来初始化权重。默认使用python的hash函数
15.iter: 迭代次数,默认为5。
16.trim_rule: 用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。
17.sorted_vocab: 如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。
18.batch_words:每一批的传递给线程的单词的数量,默认为10000
这里再把生成的空间模型保存下来,以便下次使用。
model.save(‘/text8.model‘)
下次使用就不在需要加载语料库和生成模型了。只需要:
‘‘‘
sentences = word2vec.Text8Corpus(‘/text8‘)
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
model.save(‘/text8.model‘)
‘‘‘
model = word2vec.Word2Vec.load(‘/text8.model‘)
最后是查看某个词的词向量:
print(model[‘man‘])
当然model函数还可以做更多的事情,比如查看两个词的相似度等等,想知道的请自行百度
---------------------
作者:lwn556u5ut
来源:CSDN
原文:https://blog.csdn.net/weixin_40292043/article/details/79571346
版权声明:本文为博主原创文章,转载请附上博文链接!
gensim的word2vec如何得出词向量(python)
标签:enc uil text arch 范围 coding 使用 控制 原创
原文地址:https://www.cnblogs.com/jfdwd/p/11089155.html