一、n-gram是什么wikipedia上有关n-gram的定义：
n-gram是一种统计语言模型，用来根据前(n-1)个item来预测第n个item。在应用层面，这些item可以是音素（语音识别应用）、字符（输入法应用）、词（分词应用）或碱基对（基因信息）。一般来讲，可以从大规模文本或音频语料库生成n-gram模型。
习惯上，1-gram叫unigram，2-gram称为bigram，3-gr...
分类：
编程语言 时间：
2016-04-29 16:05:20
阅读次数：
620
本文旨在基于复旦中文语料库和神经网络模型构建中文的概率语言模型。 统计语言模型的一个目标是找到句子中不同词汇的联合分布，也就是找到一个单词序列出现的概率，一个训练好的统计语言模型可以被应用于语音识别、中文输入法、机器翻译等领域。在神经网络方法被提出之前，一个非常成功的构建语言模型的方法是 n-...
分类：
编程语言 时间：
2015-12-04 00:42:27
阅读次数：
983
N-gram统计语言模型1.统计语言模型自然语言从它产生開始，逐渐演变成一种上下文相关的信息表达和传递的方式。因此让计算机处理自然语言。一个主要的问题就是为自然语言这样的上下文相关特性建立数学模型。这个数学模型就是自然语言处理中常说的统计语言模型，它是今天全部自然语言处理的基础，而且广泛应用与机器翻...
分类：
编程语言 时间：
2015-10-26 10:25:21
阅读次数：
6175
Basic idea 1.一个文档（document）只有一个主题（topic） 2.主题指的是这个主题下文档中词语是如何出现的 3.在某一主题下文档中经常出现的词语，这个词语在这个主题中也是经常出现的。 4.在某一主题下文档中不经常出现的词语，这个词语在这个主题中也是不经常出现的。 5.由...
分类：
编程语言 时间：
2015-10-18 14:08:15
阅读次数：
328
自然语言从产生开始，逐渐演变为一种基于上下文相关的信息表达和传递方式，在计算机处理自然语言时，一个最基本的问题就是为自然语言上下文相关的特性建立数学模型，叫做统计语言模型（Statistical Language Model），它是自然语言处理的基础，广泛应用于机器翻译、语音识别、印刷体或手写体识别、拼音纠错、汉字输入和文献查询等。
对于一句通顺的话，如果改变一些词的顺序，或替换掉一些词，它的意...
分类：
编程语言 时间：
2015-08-06 22:26:55
阅读次数：
282
在之前的札记中，尤其是统计语言模型中，我们常提到贾里尼克的名字，弗里德里克·贾里尼克博士是成功将数学原理应用于自然语言处理领域的大师。 ? ??贾里尼克博士生于1932年11月18日，卒于2010年9月14日...
分类：
编程语言 时间：
2015-06-09 17:53:47
阅读次数：
195
继上次分享了经典统计语言模型，最近公众号中有很多做NLP朋友问到了关于word2vec的相关内容， 本文就在这里整理一下做以分享。 本文分为
概括word2vec
相关工作
模型结构
Count-based方法 vs. Directly predict
几部分，暂时没有加实验章节，但其实感觉word2vec一文中实验还是做了很多工作的，希望大家有空最好还是看一下。...
分类：
其他好文 时间：
2015-06-07 17:33:51
阅读次数：
480
之前的札记中，提到了使用统计语言模型进行自然语言的处理，而这些语言模型是建立在词的基础上，因为词是表达语义的最小单位。西方的拼音语言，词之间有明确的分界符，统计和使用语言模型处理相对简单。而对...
分类：
其他好文 时间：
2015-06-02 11:31:34
阅读次数：
424
本文介绍三个经典统计语言模型， HAL，LSA, 与COALS....
分类：
编程语言 时间：
2015-06-02 00:30:48
阅读次数：
288
统计语言模型（Statistical Language Model）是一个数学模型，它是所有自然语言处理的基础，广泛应用于机器翻译、语音识别等领域，它产生的初衷是为了解决语言识别问题。 ? ? 自然语言处理中，对于如何判...
分类：
编程语言 时间：
2015-05-29 16:05:07
阅读次数：
189
