题目： 给定字符串，以及一个字典，判断字符串是否能够拆分为 字典中的单词。例如：字典为{Hello，World}，给定字符串为HelloHelloWorld，则可以拆分为Hello，Hello，World，都是字典中的单词。 分析： 这样的题目叫做“分词问题”，有点勉强。只是这是自然语言处理，搜索引...
分类：
其他好文 时间：
2014-09-14 15:20:27
阅读次数：
202
语言模型的基本概念 本文介绍一下有关语言模型的基本概念，但是在介绍语言模型之前，先简单回顾一下自然语言处理这个大问题吧。现在自然语言处理的研究绝对是一个非常火热的方向，主要是被当前的互联网发展所带动起来的。在互联网上充斥着大量的信息，主要是文字方面的信息，对这些信息的处理离不开自然语言处理的技术。....
分类：
其他好文 时间：
2014-09-09 18:11:49
阅读次数：
314
刚在网上看了一个牛人的贴子，感触挺深的，自己还自称是爱学习的人，但是和他一比，感觉弱爆了。现在把最近一年的工作作一个总结。（牛人，贴子链接，请看原文）2013年8月28号入学接下来，就是开学，体检各种事，然后是选课、上课，这样过了大约半年。这一学年总共选了十几门课程，其中机器学习、自然语言处理、信息...
分类：
其他好文 时间：
2014-09-09 11:26:28
阅读次数：
234
自然语言处理(3)之条件频率分布条件频率分布式频率分布的集合，每个频率分布有一个不同的条件。从下面的例子就可以看出，cfd就是两个条件(news，romance)的频率分布集合 1 >>> cfd=nltk.ConditionalFreqDist( 2 ... ...
分类：
其他好文 时间：
2014-09-02 22:47:45
阅读次数：
323
特征抽取算是自然语言处理领域一个比较重要的概念了，近期由于需要又要重新回顾下这方面的知识，顺便也总结下所有的方法。特征抽取就是找出一些词来代表文本，表述上既能表达文本所要传递的内容，形式上又要精炼精简。那什么样的词才能代表这篇文本呢？很自然的我们就会想到经常出现的词即词频很高的词。这样又带来一个问题...
分类：
其他好文 时间：
2014-09-01 17:37:53
阅读次数：
216
一年前一个偶然的机会我遇到了一本书 ——《影响力》，看完这本书之后对我们如何思维产生了极大的兴趣，于是在一年的时间里面密集地阅读了以下一些方面的经典著作：社会心理学、认知科学、神经科学、进化心理学、行为经济学、机器学习、人工智能、自然语言处理、问题求解、辩论法（Argumentation Theor...
分类：
其他好文 时间：
2014-08-29 08:20:37
阅读次数：
409
自然语言处理(2)之文本资料库1.获取文本资料库本章首先给出了一个文本资料库的实例：nltk.corpus.gutenberg，通过gutenberg实例来学习文本资料库。我们用help来查看它的类型 1 >>> import nltk 2 >>> help(nltk.corpus.gutenb.....
分类：
其他好文 时间：
2014-08-28 00:41:48
阅读次数：
464
SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。注意...
分类：
编程语言 时间：
2014-08-27 16:14:27
阅读次数：
1561
自然语言处理(1)之NLTK与PYTHON题记: 由于现在的项目是搜索引擎，所以不由的对自然语言处理产生了好奇，再加上一直以来都想学Python，只是没有机会与时间。碰巧这几天在亚马逊上找书时发现了这本《Python自然语言处理》，瞬间觉得这对我同时入门自然语言处理与Python有很大的帮助。所以最...
分类：
编程语言 时间：
2014-08-18 00:08:23
阅读次数：
845
MALLET：基于Java语言的用于统计自然语言处理，文件分类，聚类，主题建模，信息提取，和其他的用于文本的机器学习应用的Java包。
MALLET包括复杂的用于文件分类的工具：
有效的用于转换文本到“特征”的程序，多种多样的算法（包括朴素贝叶斯，最大熵，和决策树）。以及一些通用的指标用于评估分类器性能。
除了分类，MALLET包括序列标注的工具，像从文本...
分类：
其他好文 时间：
2014-08-16 11:15:20
阅读次数：
256
