word2vec是Google在2013年提出的一款开源工具,其是一个Deep Learning(深度学习)模型(实际上该模型层次较浅,严格上还不能算是深层模型,如果word2vec上层再套一层与具体应用相关的输出层,如Softmax,便更像是一个深层模型),它将词表征成实数值向量,采用CBOW(Continuous Bag-Of-Words Model,连续词袋模型)和Skip-Gram(Con...
分类:
Windows程序 时间:
2015-02-04 23:30:43
阅读次数:
1071
http://www.52nlp.cn/resources资源这里提供一些52nlp博客的一些系列文章以及收集的自然语言处理相关书籍及其他资源的下载,陆续整理中!如有不妥,我会做删除处理!特别推荐系列:1、HMM学习最佳范例全文文档,百度网盘链接:http://pan.baidu.com/s/1pJ...
分类:
编程语言 时间:
2015-02-04 16:05:42
阅读次数:
688
【转载】李航博士的《浅谈我对机器学习的理解》 机器学习与自然语言处理
分类:
编程语言 时间:
2015-01-20 13:31:45
阅读次数:
240
一:HMM解码问题
(1)编程深处无非就是算法和结构,以及各种架构和版本的管理(如Git管理),因此作为程序员算法这一关是绕不过去的;
(2)关于算法,个人比较崇尚的一本书是《算法导论》和ACM实战系类的算法培训;
(3)对于自然语言处理领域或者部分机械学习领域的算法,HMM模型是非常经典的算法之一,非常适合初学者学习和研究;
(4)HMM模型μ=(A,B,π),的状态是不可见...
分类:
其他好文 时间:
2015-01-19 10:53:05
阅读次数:
234
一:HMM解码问题
(1)给定一个观察序列O=O1O2...OT,和模型μ=(A,B,π),如何快速有效地选择在一定意义下“最优”的状态序列Q=q1q2...qT,使该状态最好地解释观察序列。
(2)最可能的隐藏状态序列(Finding most probable sequence of hidden states);对于一个特殊的隐马尔科夫模型(HMM)及一个相应的观察序列,我们常常希望能找...
分类:
其他好文 时间:
2015-01-16 13:11:21
阅读次数:
232
http://www.hankcs.com/nlp/ner/place-names-to-identify-actual-hmm-viterbi-role-labeling.html命名实体识别(Named Entity Recognition)也是自然语言处理中的一个难关,特别是中文这样没有大小写...
分类:
其他好文 时间:
2015-01-14 19:47:46
阅读次数:
279
LDA(Latent Dirichlet Allocation)主题模型是一种用统计进行文本挖掘的方法,它是pLSA(概率潜在语义分析)主题模型基础上加上贝叶斯框架而得到的模型。目前已应用于自然语言处理、计算机视觉、机器学习、信息检索等领域,得到了广泛关注。 LDA模型网上有多个开源代码,...
分类:
其他好文 时间:
2015-01-14 15:31:05
阅读次数:
308
中文分词技术
http://blog.csdn.net/u012637501
一、中文分词技术
1.中文分词:上一篇博文我们谈到利用统计语言模型进行自然语言处理,而这些语言模型主要是建立在词的基础上的,因为词是表达语义的最小单位。对于西方拼音来讲,词之间有明确的分界符,统计和使用语言模型非常直接,如I
love China very much.但是对于中文来说,由于词之间没有明确的分...
分类:
其他好文 时间:
2015-01-10 11:20:46
阅读次数:
1190
从规则到统计与统计语言模型
http://blog.csdn.net/u012637501
一、自然语言处理-从规则到统计
1.基于规则的自然语言处理
在20世纪60年代,摆在科学家面前的问题是怎样才能让机器理解自然语言。当时普遍的认识是首先要做好两件事,即分析语句(语法)和获取语义。由于西方的语言学家们已经对各种自然语言进行了非常形式化的总结,学习语法规则、词性和构词法对于学习西...
分类:
编程语言 时间:
2015-01-09 17:20:12
阅读次数:
386
隐马尔可夫模型(Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及HMM的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,想花一点时间梳理下...
分类:
其他好文 时间:
2015-01-09 12:05:06
阅读次数:
193