简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术: 自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥 ...
分类:
编程语言 时间:
2018-07-06 19:43:33
阅读次数:
517
来自:https://blog.csdn.net/u014595019/article/details/52218249 gensim是一个Python的自然语言处理库,能够将文档根据TF-IDF,LDA,LSI等模型转换成向量模式,此外,gensim还实现了word2vec,能够将单词转换为词向量 ...
分类:
其他好文 时间:
2018-06-16 13:21:00
阅读次数:
437
参考资料:https://radimrehurek.com/gensim/models/word2vec.html接上篇:importjiebaall_list=jieba.cut(xl[‘工作内容‘][0:6],cut_all=True)print(all_list)every_one=xl[‘工作内容‘].apply(lambdax:jieba.cut(x))importtracebackde
分类:
其他好文 时间:
2018-05-29 17:47:33
阅读次数:
266
参考资料:https://radimrehurek.com/gensim/models/word2vec.html接上篇:importjiebaall_list=jieba.cut(xl[‘工作内容‘][0:6],cut_all=True)print(all_list)every_one=xl[‘工作内容‘].apply(lambdax:jieba.cut(x))importtracebackde
分类:
其他好文 时间:
2018-05-29 17:44:58
阅读次数:
404
word2vec训练中文模型 1.准备数据与预处理 首先需要一份比较大的中文语料数据,可以考虑中文的维基百科(也可以试试搜狗的新闻语料库)。中文维基百科的打包文件地址为 https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-art ...
分类:
其他好文 时间:
2018-05-27 16:22:37
阅读次数:
181
环境 Python3, gensim,jieba,numpy ,pandas 原理:文章转成向量,然后在计算两个向量的余弦值。 Gensim gensim是一个python的自然语言处理库,能够将文档根据TF IDF, LDA, LSI 等模型转化成向量模式,gensim还实现了word2vec功能 ...
分类:
其他好文 时间:
2018-05-15 20:59:30
阅读次数:
6067
环境描述 Python环境:Python 3.6.1 系统版本:windows7 64bit 文件描述 一共有三个文件,分别是:file_01.txt、file_02.txt、file_03.txt file_01.txt文件内容: 我吃过糖之后,发现我的牙齿真的很疼 file_02.txt文件内容... ...
分类:
其他好文 时间:
2018-05-06 00:19:47
阅读次数:
412
Tutorial on word2vector Project page: https://radimrehurek.com/gensim/models/word2vec.html 1. install gensim: https://radimrehurek.com/gensim/install. ...
分类:
其他好文 时间:
2018-04-28 19:35:31
阅读次数:
338
使用pip3安装tensorflow以及gensim等时,出现如下错误: 然后我试了很多种方法,而且还根据许多其他答案pip3 install --upgrade pip setuptools等等都不行,最终还是在外文的一个讨论区找到一个,修改了一下,觉得还可以: 具体来说就是编辑文件#2121~2 ...
分类:
编程语言 时间:
2018-03-29 19:13:41
阅读次数:
2138
目的 将gensim输出的格式转化为numpy array格式,支持作为scikit learn,tensorflow的输入 实施 使用nltk库的停用词和网上收集的资料整合成一份新的停用词表,用来过滤文档中的停用词,也去除了数字和特殊的标点符号,最后将所有字母转化为小写形式。 以下是原文: Sub ...
分类:
其他好文 时间:
2018-03-20 15:21:49
阅读次数:
231