《统计自然语言处理》 一些基础理论概念,涉及统计自然语言处理的基本概念、理论方法和新研究进展,内容包括形式语言与自动机及其在自然语言处理中的应用、语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、篇章分析、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘 ...
分类:
其他好文 时间:
2018-04-06 19:33:58
阅读次数:
150
一、简介 1.Natural Language ToolKit(NLTK) 自然语言处理包:是一个用于自然语言处理和文本分析的综合性python库。用于NLP的研究和开发。 2.NLTK 文档和API 可在http://text-processing.com. 查看。 3.Tokenization( ...
分类:
其他好文 时间:
2018-04-02 20:17:05
阅读次数:
1119
数据挖掘150道笔试题单选题 1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准? (A) (a)警察抓小偷,描述警察抓的人中有多 ...
分类:
其他好文 时间:
2018-03-29 22:35:49
阅读次数:
205
一:前言 和拉丁语系不同,亚洲语言是不用空格分开每个有意义的词的。而当我们进行自然语言处理的时候,大部分情况下,词汇是我们对句子和文章理解的基础,因此需要一个工具去把完整的文本中分解成粒度更细的词。 jieba就是这样一个非常好用的中文工具,是以分词起家的,但是功能比分词要强大很多。 二:基本分词函 ...
分类:
其他好文 时间:
2018-03-27 21:57:22
阅读次数:
1318
NLP是什么在计算机领域,NLP(NaturalLanguageProcessing),也就是人们常说的「自然语言处理」,就是研究如何让计算机读懂人类语言。这包括,既要能让计算机理解自然语言文本的意义,也能以自然语言文本来表达给定的深层的意图、思想等。所以,这项技术往往体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了理解自然语言的能力时,机器才算实现了真正的智能。但是,由于中文词语是由
分类:
编程语言 时间:
2018-03-26 16:00:55
阅读次数:
202
学习python快一年了,因为之前学习python全栈时,没有记录学习笔记想回顾发现没有好的记录,目前主攻python自然语言处理方面,把每天的学习记录记录下来,以供以后查看,和交流分享。~~(。?ω?。) ~~ 这一系列主要学习和回顾机器学习的数学部分。 微积分: 一:两边夹定理 二:极限存在定理 ...
分类:
其他好文 时间:
2018-03-17 16:15:16
阅读次数:
221
自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
分类:
编程语言 时间:
2018-03-15 13:12:50
阅读次数:
187
【机器学习】隐马尔可夫模型(hidden Markov model,HMM)是可用于标注问题的统计学习模型,描述由隐藏马尔科夫链随机生成的观测序列的过程,属于生成模型。在语音识别,自然语言处理,生物信息,模式识别有广泛的应用。 ...
分类:
其他好文 时间:
2018-03-09 20:36:16
阅读次数:
432
先介绍一下马尔科夫模型: 马尔可夫模型(Markov Model)是一种统计模型,广泛应用在语音识别,词性自动标注,音字转换,概率文法等各个自然语言处理等应用领域。经过长期发展,尤其是在语音识别中的成功应用,使它成为一种通用的统计工具。 特征:有限视野、时间不变性 隐性马尔可夫模型: HMM(Hid ...
分类:
其他好文 时间:
2018-03-08 00:06:55
阅读次数:
263
作为一种随机采样方法,马尔科夫链蒙特卡罗(Markov Chain Monte Carlo,以下简称MCMC)在机器学习,深度学习以及自然语言处理等领域都有广泛的应用,是很多复杂算法求解的基础。比如我们前面讲到的分解机(Factorization Machines)推荐算法,还有前面讲到的受限玻尔兹 ...
分类:
其他好文 时间:
2018-03-04 15:59:00
阅读次数:
217