具体实现如下，使用python+结巴分词+scikit-learn实现一个简单的文本聚类得到会议室数据，直接从DBA线上数据库得到预约数据，如下所示，共有3列，分别是会议ID，会议标题和会议时间 停用词文件stopwords.txt ...
分类：
编程语言 时间：
2017-09-15 13:57:04
阅读次数：
1778
关键词抽取就是从文本里面把跟这篇文档意义最相关的一些词抽取出来。这个可以追溯到文献检索初期，当时还不支持全文搜索的时候，关键词就可以作为搜索这篇论文的词语。因此，目前依然可以在论文中看到关键词这一项。 除了这些，关键词还可以在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的 ...
分类：
编程语言 时间：
2017-07-02 18:30:01
阅读次数：
457
一．聚类算法： 1.1LDA算法： 算法的目的：对文本进行聚类，得到几簇相似的样本。 算法的流程： 预处理：统计sscCorpus中所有的词、词频、词的标号。 初始化：形成初始的文章-主题和主题-词的矩阵(最开始) Gibbs 采样：使用Gibbs采样得到稳定的文章-主题和主题-词的矩阵 每一簇的主 ...
分类：
编程语言 时间：
2016-12-12 22:05:44
阅读次数：
322
#-*-coding=utf-8-*-
"""
textcategory
"""
fromsklearn.datasetsimportfetch_20newsgroups
fromsklearn.feature_extraction.textimportCountVectorizer
fromsklearn.feature_extraction.textimportTfidfTransformer
fromsklearn.naive_bayesimportMultinomialNB
categories=[‘..
分类：
其他好文 时间：
2016-10-24 03:03:03
阅读次数：
239
在文本聚类、文本分类或者比较两个文档相似程度过程中，可能会涉及到TF-IDF值的计算。这里主要讲述基于Python的机器学习模块和开源工具：scikit-learn。文章包括：一.Scikit-learn概念 1.概念知识 2.安装软件； 二.TF-IDF基础知识 1.TF-IDF 2.举例介绍； 三.TF-IDF调用两个方法 1.CountVectorizer 2.TfidfTransformer 3.示例
希望文章对你有所帮助~...
分类：
编程语言 时间：
2016-08-08 17:43:13
阅读次数：
2975
本人曾做机器学习方向，由于实习需要转做文本聚类、分类的工作，虽然大致相似，但仍是新手，过程和结果也仅供大神指教。本博包含了作者两周的专心研究调试及由数千行测试得到了300余行代码精华，如需转载，请注明出处。
什么是文本聚类？
文本聚类是将一个个文档由原有的自然语言文字信息转化成数学信息，以高维空间点的形式展现出来，通过计算那些点距离比较近来将那些点聚成一个簇，簇的中心叫做簇心。一个...
分类：
其他好文 时间：
2016-07-10 19:15:51
阅读次数：
737
以下内容为聚类介绍，除了红色的部分，其他来源百度百科，如果已经了解，可以直接忽略跳到下一部分。 聚类概念 聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法，同时也是数据挖掘的一个重要算法。聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Mea ...
分类：
编程语言 时间：
2016-06-02 18:06:23
阅读次数：
189
文本挖掘是一个对具有丰富语义的文本进行分析，从而理解其所包含的内容和意义的过程。文本挖掘包含分词、文本表示、文本特征选择、文本分类、文本聚类、文档自动摘要等方面的内容。文本挖掘的具体流程图可下图所示：
我的项目是以复旦大学中文语料库和路透社英文语料库为数据集的，都是有类别的两层目录文本集。
不管你要做什么，你首先都要先读取文本，为了方便后面的操作，我写了几个工具类，这里先将文本读取Reade...
分类：
其他好文 时间：
2016-03-29 10:52:32
阅读次数：
291
这篇文章主要是爬取百度5A景区摘要信息，再利用Jieba分词工具进行中文分词，最后提出文本聚类算法的一些概念知识。一. Selenium爬取百度百科摘要 二. Jieba中文分词 1.安装及入门介绍 2.添加自定义词典 3.关键词提取 4.对百度百科获取摘要分词 5.去除停用词 三. 基于VSM的文...
分类：
编程语言 时间：
2015-12-18 06:49:30
阅读次数：
8948
针对大数量的文本数据，采用单线程处理时，一方面消耗较长处理时间，另一方面对大量数据的I/O操作也会消耗较长处理时间，同时对内存空间的消耗也是很大，因此，本文引入MapReduce计算模型，以分布式方式处理文本数据，以期提高数据处理速率。本文结合Kmeans和DBSCAN算法，对上述算法进行改进，其中...
分类：
其他好文 时间：
2015-11-13 00:45:24
阅读次数：
605
