转载： 简介 针对文本相似判定，本文提供余弦相似度和SimHash两种算法，并根据实际项目遇到的一些问题，给出相应的解决方法。经过实际测试表明：余弦相似度算法适合于短文本，而SimHash算法适合于长文本，并且能应用于大数据环境中。 余弦相似度 余弦定理： 图-1 余弦定理图示 性质： 余弦值的范围 ...
分类：
其他好文 时间：
2018-05-19 13:13:28
阅读次数：
226
利用2018年政府工作报告的例子向大家展示一下R语言如何进行文本挖掘的~用到的包有jiebaR和wordcloud2。 1、安装并加载jiebaR 2、以2018年政府工作报告为文本，进行分词 （1）首先要将2018年政府工作报告以txt的形式下载到R语言的工作路径中 读取文本： （2）分词处理： ...
分类：
编程语言 时间：
2018-04-22 12:48:11
阅读次数：
900
计算文档的TF IDF值 参考链接 "英文文本挖掘预处理流程总结" "文本挖掘预处理之向量化" "文本挖掘预处理之TF IDF" 1.TF IDF TF IDF(Term Frequency Inverse Document Frequency, 词频 逆文件频率)。 是一种用于资讯检索与资讯探勘的 ...
分类：
其他好文 时间：
2018-04-15 18:01:58
阅读次数：
304
恢复内容开始 案例1:对主席的新年致辞进行分词,绘制出词云 掌握jieba分词的用法 1.加载包 2.导入数据 3.清洗数据 4.移除感叹词 5.绘制词云 案例2:通过拉勾网的数据进行分析,找出数据分析师相关的城市,薪水,工作年限等信息 数据集下载：链接:https://pan.baidu.com/ ...
分类：
编程语言 时间：
2018-03-27 02:01:09
阅读次数：
957
1、简介 维特比算法是一个通用的求序列最短路径的动态规划算法，也可以用于很多其他问题，比如：文本挖掘、分词原理。既然是动态规划算法，那么就需要找到合适的局部状态，以及局部状态的递推公式。在HMM中，维特比算法定义了两个局部状态用于递推。 第一个局部状态是在时刻i隐藏状态为i所有可能的状态转移路径i1 ...
分类：
编程语言 时间：
2018-03-11 02:39:25
阅读次数：
1848
NLPIR/ICTCLAS分词系统针对互联网内容处理的需要，融合了自然语言理解、网络搜索和文本挖掘的技术，可以支持中英文分词与词性标注，可视化系统可根据词性对不同的分词结果进行区分显示，一般虚词都是浅色，而名词、动词、形容词等实词为显著的颜色。系统还支持在线用户词典的输入，用户可以在右下方添加用户词... ...
分类：
其他好文 时间：
2017-12-04 16:42:05
阅读次数：
204
前言文本挖掘也是机器学习或者说是人工智能最需要处理的一类信息（其它的诸如语音、图像及视频处理等）；随着数字信息化和网络化进程不断深入，用户的在线交流、发布、共享等都被以文字形式记录下来，它们成为分析语言和理解社会的重要素材来源，对于文本的挖掘主要包括文档分..
分类：
其他好文 时间：
2017-11-17 10:43:16
阅读次数：
401
一 . 文本聚类介绍 文本聚类是文本挖掘(Text Mining)的重要手段和方法，也是数据挖掘的一个重要分支。文本聚类是一种无监督的文档分类，它把一个文本集分成若干称为簇(Cluster) 的子集，每个簇的文本之间具有较大的相似性，而簇间的文本具有较小的相似性。 二 . 文本聚类过程 文本聚类的过 ...
分类：
其他好文 时间：
2017-11-06 21:24:51
阅读次数：
674
特征处理 在文本挖掘中做了很大的努力，比如提取关键词、情感分析、word embedding聚类之类都尝试过，但效果都不是很好, 对于文本的特征的建议还是去找出一些除了停用词以外的高频词汇，寻找与这个房屋分类问题的具体联系。 到了头疼的部分了，数据有了，我们得想办法从数据里面拿到有区分度的特征。 比 ...
分类：
其他好文 时间：
2017-10-02 09:31:33
阅读次数：
160
序列模式 1 序列模式 在Web数据挖掘中，从用户浏览网页的顺序中挖掘网站的浏览模式是很有用的；在文本挖掘中，根据词在句子中的顺序挖掘语言模式也是非常重要的。对于这些应用，序列模式挖掘发挥着重要的作用。序列模式挖掘即从序列数据库中发现频繁子序列以作为模式,它是一类重要的数据挖掘问题,有着非常广泛的应... ...
分类：
其他好文 时间：
2017-09-30 13:21:53
阅读次数：
192
