需求：我有800万的中文词向量，我想要查询其中任意一个向量对应的最邻近的向量是哪些。通常情况下如果向量集比较小的话，几十万个向量（几个G这种），我们都可以用gensim的word2vec来查找，但是880万有16个G，加到内存中就爆炸了，而且gensim中的查找属于暴力搜索，即全都遍历比较余弦相似度 ...
分类：
其他好文 时间：
2018-12-03 22:57:16
阅读次数：
545
分词结果： 分词结果部分数据： 模型： 结果： 分析： 预测结果与训练集数据紧密相关，Word2Vec会根据训练集中各词之间的紧密程度设置不同的相识度，因此，要想获得较好的预测结果，需要有合适的训练集！ ...
分类：
编程语言 时间：
2018-11-21 12:26:23
阅读次数：
318
word2vec是google在2013年推出的NLP工具，特点是将所有的词向量化，这样词与词之间就可以定量地度量 它们之间的关系，挖掘之间的联系。 1. CBOW（输出中心词） CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量 我们上下文大小取值为 ...
分类：
其他好文 时间：
2018-11-20 21:42:50
阅读次数：
137
20017-2018年本书作者Christopher D. Manning 在Bytedance演讲时指出的NLP研究趋势： (1) word2vec -> GloVe词向量 (2) MT问题：SMT->NMT，biLSTM+attention (3) text_summary： first 3 s ...
分类：
编程语言 时间：
2018-11-14 19:47:11
阅读次数：
138
（一）软件功能 实现两个功能：根据主题生成歌词和辅助写歌词 根据用户给定的主题生成一段歌词，歌词表达要流畅，语句通顺，押韵 提供相关的词语和句子供用户选择，使用户在帮助下完成歌词创作 核心模型 主题生成首句模型 相似度计算 + 基于SIF加权的word2vec模型 首句生成整段歌词模型 基本的Seq ...
分类：
其他好文 时间：
2018-11-13 02:56:19
阅读次数：
311
word2vec介绍 word2vec官网：https://code.google.com/p/word2vec/ word2vec是google的一个开源工具，能够根据输入的词的集合计算出词与词之间的距离。 它将term转换成向量形式，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空 ...
分类：
其他好文 时间：
2018-11-05 22:24:57
阅读次数：
852
Wording Embedding 1. word2vec 基于只含有一个隐层的神经网络，隐层的节点数就是embedding的维度。并提出了CBOW和Skip Grams这两种语言模型。并针对词典过大而导致计算softmax分母复杂度太高的问题提出了Hierarchical Softmax和 Neg ...
分类：
编程语言 时间：
2018-11-03 11:21:45
阅读次数：
162
测试文件在result下面， 1、word2vec还需要丰富训练数据，去噪音，加入博客，新增加预处理的方法。 2、建立评估准确率和召回率的机制 3、去除停用词是不是去多了，增加原文打印的结果 4、原文521条，最终应跑出(521*520)/2对 ...
分类：
编程语言 时间：
2018-11-01 11:50:18
阅读次数：
127
1.“句向量”简介word2vec提供了高质量的词向量，并在一些任务中表现良好。 关于word2vec的原理可以参考这几篇论文： https://arxiv.org/pdf/1310.4546.pdfhttps://arxiv.org/pdf/1301.3781.pdf关于如何使用第三方库gensi ...
分类：
其他好文 时间：
2018-10-31 10:35:15
阅读次数：
177
1.有DNN做的word2vec，取隐藏层到softmax层的权重为词向量，softmax层的叶子节点数为词汇表大小 2-3的最开始的词向量是随机初始化的 2.哈夫曼树：左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数)，叶子节 ...
分类：
其他好文 时间：
2018-10-25 19:28:13
阅读次数：
186
