LDA模型算法简介： 算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要聚类的类别数量m；然后会算法会将每一篇文档 di 在 所有Topic上的一个概率值p；这样每篇文档都会得到一个概率的集合di=（dp1，dp2，..., dpm）；同样的文档中的所有词也会求 ...
分类：
编程语言 时间：
2018-08-30 02:07:57
阅读次数：
298
首先需要明确OOM并不一定会导致程序挂掉,导致服务不可用的是堆内存被耗尽，从而使得主线程直接退出，或者所有工作线程频繁因为OOM异常终止。 。jvm管理的内存大致包括三种不同类型的内存区域：Permanent Generation space（永久保存区域）、Heap space(堆区域)、Java ...
分类：
其他好文 时间：
2018-07-01 10:25:28
阅读次数：
170
NLPIR能够全方位多角度满足应用者对大数据文本的处理需求，包括大数据完整的技术链条：网络采集、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。 ...
分类：
编程语言 时间：
2018-06-22 13:29:29
阅读次数：
215
恢复内容开始 百度风云榜一共有50个关键词，我们先任选其中一个打开看看。 从零基础到项目实战视频群：125240963 一、实验目的 我们的目的是通过百度风云榜，获取相关关键词的新闻内容。（后面会有一篇文章会讲到用咱们今天获取的数据做文本聚类） 运行，结果keyword全部为乱码，没有一点中文的痕迹 ...
分类：
其他好文 时间：
2018-05-12 17:29:27
阅读次数：
219
全文检索概述 数据形式 结构化数据 有固定格式或者固定长度的数据 如通常关系型数据库文件 检索方式：结构化查询语句SQL语句 非结构化数据 没有固定结构的数据,各种文档、图片、视频/音频等都属于非结构化数据。 查询方式：遍历, 全文检索 半结构化数据 半结构化数据是结构化数据的一种形式，它并不符合关 ...
分类：
Web程序 时间：
2018-05-11 00:09:25
阅读次数：
246
简介 查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于Python实现的中文文本聚类（乃至搜索关键词python 中文文本聚类也是如此），网上大部分是关于文本聚类的Kmeans聚类的原理，Java实现，R语言实现，甚至都有一个C++的实现。 正好我写的一些文章，我没能很好的分类，我想 ...
分类：
编程语言 时间：
2018-04-18 23:32:17
阅读次数：
323
NLPIR能够全方位多角度满足应用者对大数据文本的处理需求，包括大数据完整的技术链条：网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。 ...
分类：
其他好文 时间：
2018-04-03 17:17:07
阅读次数：
164
NLPIR能够全方位多角度满足应用者对大数据文本的处理需求，包括大数据完整的技术链条：网络抓取、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。 ...
分类：
编程语言 时间：
2017-12-21 17:22:03
阅读次数：
232
简介一 切词二 去除停用词三 构建词袋空间VSMvector space model四 将单词出现的次数转化为权值TF-IDF五 用K-means算法进行聚类六 总结简介查看百度搜索中文文本聚类我失望的发现，网上竟然没有一个完整的关于python实现的中文文本聚类（乃至搜索关键词python 中文文... ...
分类：
其他好文 时间：
2017-11-11 11:44:06
阅读次数：
237
一 . 文本聚类介绍 文本聚类是文本挖掘(Text Mining)的重要手段和方法，也是数据挖掘的一个重要分支。文本聚类是一种无监督的文档分类，它把一个文本集分成若干称为簇(Cluster) 的子集，每个簇的文本之间具有较大的相似性，而簇间的文本具有较小的相似性。 二 . 文本聚类过程 文本聚类的过 ...
分类：
其他好文 时间：
2017-11-06 21:24:51
阅读次数：
674
