1 概述 word embedding 是现在自然语言处理中最常用的 word representation 的方法，常用的word embedding 是word2vec的方法，然而word2vec本质上是一个静态模型，也就是说利用word2vec训练完每个词之后，词的表示就固定了，之后使用的时候 ...
分类：
其他好文 时间：
2018-12-04 11:29:17
阅读次数：
1675
需求：我有800万的中文词向量，我想要查询其中任意一个向量对应的最邻近的向量是哪些。通常情况下如果向量集比较小的话，几十万个向量（几个G这种），我们都可以用gensim的word2vec来查找，但是880万有16个G，加到内存中就爆炸了，而且gensim中的查找属于暴力搜索，即全都遍历比较余弦相似度 ...
分类：
其他好文 时间：
2018-12-03 22:57:16
阅读次数：
545
1. 数据准备：收集数据与读取 2. 数据预处理：处理数据 3. 训练集与测试集：将先验数据按一定比例进行拆分。 4. 提取数据特征，将文本解析为词向量 。 5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。 6. 测 ...
分类：
其他好文 时间：
2018-12-03 12:01:18
阅读次数：
169
1. 数据准备：收集数据与读取 2. 数据预处理：处理数据 3. 训练集与测试集：将先验数据按一定比例进行拆分。 4. 提取数据特征，将文本解析为词向量 。 5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。 6. 测 ...
分类：
其他好文 时间：
2018-12-03 12:00:56
阅读次数：
226
JuJu团队11月30号工作汇报 JuJu Scrum 团队成员今日工作剩余任务困难 于达 婷婷 恩升 金华 陈灿 和金华，婷婷一起找到并纠正了BiLSTM中的bug 嵌入解码以及词向量矩阵 对Dense这样层的底层实现不熟悉 代码嵌入截屏： PM报告 整个项目的任务量预期为220 people*h ...
分类：
其他好文 时间：
2018-12-01 11:00:59
阅读次数：
125
1.智能玩具的项目描述: 目的:关爱留守儿童, 让玩具成为父母间沟通的媒介, 建立沟通的桥梁,让玩具成为孩子的玩伴 实现无屏社交,依靠孩子的语音指令做出响应,例如我要和爸爸聊天,玩具会提示可以和爸爸聊天了并打开与app通讯的链接 我要听世上只有妈妈好,玩具就会依照指令播放相应的内容 2.说说智能玩具... ...
分类：
其他好文 时间：
2018-11-26 17:26:57
阅读次数：
211
分词结果： 分词结果部分数据： 模型： 结果： 分析： 预测结果与训练集数据紧密相关，Word2Vec会根据训练集中各词之间的紧密程度设置不同的相识度，因此，要想获得较好的预测结果，需要有合适的训练集！ ...
分类：
编程语言 时间：
2018-11-21 12:26:23
阅读次数：
318
word2vec是google在2013年推出的NLP工具，特点是将所有的词向量化，这样词与词之间就可以定量地度量 它们之间的关系，挖掘之间的联系。 1. CBOW（输出中心词） CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量 我们上下文大小取值为 ...
分类：
其他好文 时间：
2018-11-20 21:42:50
阅读次数：
137
20017-2018年本书作者Christopher D. Manning 在Bytedance演讲时指出的NLP研究趋势： (1) word2vec -> GloVe词向量 (2) MT问题：SMT->NMT，biLSTM+attention (3) text_summary： first 3 s ...
分类：
编程语言 时间：
2018-11-14 19:47:11
阅读次数：
138
