这周学习了机器学习算法与编程实践第二章——中文文本分类的部分内容。该章以文本挖掘为大背景，以文本分类算法为中心，详细介绍了中文文本分类项目的相关知识点。 一、文本挖掘与文本分类的概念 被普遍认可的文本挖掘的定义如下：文本挖掘是指从大量文本数据中抽取事先未知的、可理解的、最终可用的知识的过程，同时运用 ...
分类：
编程语言 时间：
2017-09-24 23:35:56
阅读次数：
278
前期准备 使用文本向量化的前提是要对文章进行分词，分词可以参考前一篇文章。然后将分好的词进行向量化处理，以便计算机能够识别文本。常见的文本向量化技术有词频统计技术、TF-IDF技术等。 词频统计技术 词频统计技术是很直观的，文本被分词之后。 用每一个词作为维度key，有单词对应的位置为1，其他为0， ...
分类：
编程语言 时间：
2017-08-15 11:28:27
阅读次数：
184
1, tf-idf 计算每个人的词条中的重要度 需要3个mapreduce 的 job执行, 第一个计算 TF 和 n, 第二个计算 DF, 第三个代入公式计算结果值 1, 第一个job reduce partition mainJob 2, 第二个 reduce mainjob 3, 第三个Job ...
分类：
其他好文 时间：
2017-08-12 17:41:23
阅读次数：
610
http://www.ruanyifeng.com/blog/2013/03/tf-idf.html ...
分类：
其他好文 时间：
2017-08-01 14:42:16
阅读次数：
165
转：http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html 有时候，很简单的数学方法，就可以完成很复杂的任务。 这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法， ...
分类：
其他好文 时间：
2017-07-07 17:34:50
阅读次数：
187
转自：http://www.ruanyifeng.com/blog/2013/03/tf-idf.html 这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。 有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请 ...
分类：
其他好文 时间：
2017-07-07 17:28:10
阅读次数：
121
关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。 除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的 ...
分类：
编程语言 时间：
2017-07-02 18:30:01
阅读次数：
457
概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的经常使用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的当中一份文件的重要程度。字词的重要性随着它在文件里出现的次数成正比添加。但同 ...
分类：
编程语言 时间：
2017-06-30 15:47:04
阅读次数：
202
relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度 Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法 Term frequency(TF)：搜 ...
分类：
其他好文 时间：
2017-06-26 10:26:31
阅读次数：
184
Tensorflow聊天机器人 聊天机器人也叫做对话系统，是一个热门领域。微软、facebook、苹果、google、微信、slack都在上面做了大的投入，这是一波新的试图改变人和服务交流的创业浪潮。例如operator x.ai,chatfuel,以及一些库例如botkit，微软的bot开发库。 ...
分类：
其他好文 时间：
2017-06-21 21:57:33
阅读次数：
1034
