2.1词汇表征 (1)使用one-hot方法表示词汇有两个主要的缺点,以10000个词为例,每个单词需要用10000维来表示,而且只有一个数是零,其他维度都是1,造成表示非常冗余,存储量大;第二每个单词表示的向量相乘都为零(正交),导致没能够表示是词汇之间的联系,比如oriange和apple,qu ...
分类:
编程语言 时间:
2018-07-22 20:01:39
阅读次数:
248
NLP的开发环境搭建主要分为以下几步: 1. Python安装 2. NLTK系统安装 Python3.5下载安装 下载链接:https://www.python.org/downloads/release/python 354/ 安装步骤: 1. 双击下载好的python3.5的安装包,如下图; ...
分类:
编程语言 时间:
2018-07-18 21:41:28
阅读次数:
146
在处理英文文本时,由于英文文本天生自带分词效果,可以直接通过词之间的空格来分词(但是有些人名、地名等需要考虑作为一个整体,比如New York)。而对于中文还有其他类似形式的语言,我们需要根据来特殊处理分词。而在中文分词中最好用的方法可以说是jieba分词。接下来我们来介绍下jieba分词的特点、原 ...
分类:
编程语言 时间:
2018-07-18 20:47:32
阅读次数:
1682
TF-IDF算法 TF-IDF(词频-逆文档频率)算法是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。该算法在数据挖掘、文本处理和信息检索等领域得到了广泛的应用,如从一篇 ...
分类:
编程语言 时间:
2018-07-18 20:28:20
阅读次数:
1613
强哥: 50行代码实现人脸检测 基于face_recognition实现人脸识别 Python 2与Python 3的区别 Python也能聊微信 射命丸咲: Python · 神经网络(零)· 简介 第一个机器学习样例 Python:numba 的基本应用 Kenny: 挑战年薪百万-自然语言处理 ...
分类:
其他好文 时间:
2018-07-18 01:15:10
阅读次数:
278
下载地址: "网盘下载" 《Python自然语言处理(影印版)》提供了非常易学的自然语言处理入门介绍,该领域涵盖从文本和电子邮件预测过滤,到自动总结和翻译等多种语言处理技术。在《Python自然语言处理(影印版)》中,你将学会编写Python程序处理大量非结构化文本。你还将通过使用综合语言数据结构访 ...
分类:
编程语言 时间:
2018-07-17 21:42:56
阅读次数:
1385
(转https://blog.csdn.net/gzmfxy/article/details/78994396) 中文分词是中文文本处理的一个基础步骤,也是中文人机自然语言交互的基础模块,在进行中文自然语言处理时,通常需要先进行分词。本文详细介绍现在非常流行的且开源的分词器结巴jieba分词器,并使 ...
分类:
编程语言 时间:
2018-07-16 11:23:13
阅读次数:
195
如何成为一名自然语言处理工程师 成为一名 AI 工程师永远都不晚 ...
分类:
其他好文 时间:
2018-07-15 19:33:58
阅读次数:
127
深度学习 The First|The second : :|: : MLP| CNN| RNN/LSTM| 入门 MLP,CNN,RNN/LSTM 深入 ...
分类:
其他好文 时间:
2018-07-13 22:50:17
阅读次数:
385
1、HMM学习最佳范例全文文档,百度网盘链接: http://pan.baidu.com/s/1pJoMA2B 密码: f7az 2、无约束最优化全文文档 -by @朱鉴 ,百度网盘链接:链接:http://pan.baidu.com/s/1hqEJtT6 密码: qng0 3、PYTHON自然语言 ...
分类:
编程语言 时间:
2018-07-12 18:12:02
阅读次数:
420