文本挖掘 1. 文本挖掘 1.1. 什么是文本挖掘 文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。 文本挖掘是一个多学科混杂的领域，涵盖了多种技术，包括数据挖掘技术、信息 ...
分类：
其他好文 时间：
2019-09-21 14:34:04
阅读次数：
107
调优概述# 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 ...
分类：
其他好文 时间：
2019-09-16 00:53:54
阅读次数：
209
在文本挖掘与文本分类的有关问题中，文本最初始的数据是将文档表示成向量空间模型的一个矩阵，而这个矩阵所拥有的就是不同的词，常采用特征选择方法。原因是文本的特征一般都是单词(term)，具有语义信息，使用特征选择找出的k维子集，仍然是单词作为特征，保留了语义信息，而特征提取则找k维新空间，将会丧失了语义 ...
分类：
编程语言 时间：
2019-09-01 01:16:49
阅读次数：
99
Twitter是一个流行的社交网络，这里有大量的数据等着我们分析。Twitter R包是对twitter数据进行文本挖掘的好工具。本文是关于如何使用Twitter R包获取twitter数据并将其导入R，然后对它进行一些有趣的数据分析。 第一步是注册一个你的应用程序。 为了能够访问Twitter数据 ...
分类：
编程语言 时间：
2019-06-24 16:36:30
阅读次数：
120
最近发现了snownlp这个库，这个类库是专门针对中文文本进行文本挖掘的。 主要功能： 中文分词（Character-Based Generative Model） 词性标注（TnT 3-gram 隐马） 情感分析（现在训练数据主要是买卖东西时的评价，所以对其他的一些可能效果不是很好，待解决） 文本 ...
分类：
其他好文 时间：
2019-05-12 21:23:58
阅读次数：
211
1、TF-IDF算法介绍 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。 TF-IDF是一种统计方法，用以评估一 ...
分类：
编程语言 时间：
2019-04-23 19:15:58
阅读次数：
230
1. 文本向量化特征的不足 在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章中，我们将下面4个短文本做了词频统计： corpus=["I come to China to travel", "This is a c ...
分类：
其他好文 时间：
2019-04-07 18:07:57
阅读次数：
161
1、词频统计 （1）词频分析是对文章中重要词汇出现的次数进行统计与分析，是文本 挖掘的重要手段。它是文献计量学中传统的和具有代表性的一种内容分析方法，基本原理是通过词出现频次多少的变化，来确定热点及其变化趋势。 （2）安装jieba库 安装说明代码对 Python 2/3 均兼容 全自动安装：eas ...
分类：
其他好文 时间：
2019-04-01 11:52:46
阅读次数：
195
NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。 ...
分类：
其他好文 时间：
2019-03-12 12:03:31
阅读次数：
156
用户画像：通过算法聚合成一类实现用户信息标签化。 构建用户画像 ① 用户画像信息：基本属性，购买能力，行为特征，兴趣爱好，心理特征，社交网络 ② 行为建模：文本挖掘，自然语言处理，机器学习，预测算法，聚类算法 ③ 数据收集：网络日志数据，用户行为数据，网站交易数据 作用：了解用户的行为习惯，个性化营 ...
分类：
其他好文 时间：
2019-02-13 19:33:42
阅读次数：
176
