码迷,mamicode.com
首页 > 编程语言 > 详细

算法总结

时间:2016-12-12 22:05:44      阅读:322      评论:0      收藏:0      [点我收藏+]

标签:并且   文本聚类   时间   举例   训练   变化   向量   设计   结束   

一.聚类算法:

1.1LDA算法:

算法的目的:对文本进行聚类,得到几簇相似的样本。

算法的流程:

预处理:统计sscCorpus中所有的词、词频、词的标号。

初始化:形成初始的文章-主题和主题-词的矩阵(最开始)

Gibbs 采样:使用Gibbs采样得到稳定的文章-主题和主题-词的矩阵

每一簇的主题提取:提取出每一类中的文章,再对每一类中的文章找出主题词。(注:不能将这些doc进行相加,再对其提取关键词,理论可行但是实践不可行。现在的方法是提取出每doc的关键词再取前TOP)

算法的输入和输出:

输入(待聚类的文本):SscCorpus sscCorpus

输出(每一簇是一个Cluster):List<Cluster>

1.2Kmeans算法

1.2.1Kmeans+canopy

 

算法的目的:在没有指定聚类数目的条件下,使用canopy找到聚类的数目K,再根据聚类数目得到K簇结果。

算法的流程:

         预处理:输入的是SscCorpus corpus 输出的是List<CorpusBean> 。目的就是为了转化格式。

         Canopy确定数目:根据所有点的平均距离设为阈值T,使用canopy计算文本大致分为几簇,找到初始的聚类的中心点。确定文本聚类的中心点。(这样可以减少寻找聚类数目K的时间)

         聚类:按照离中心点最近的原则,将点分配到各个簇中,直到其中有一个中心点没有发生变化就可以终止循环。(注:可以设置其他的结束条件,当两次的中心点的大小差距小于阈值时,就终止循环。)

每一簇的主题提取:提取出每一类中的文章,再对每一类中的文章找出主题词。(注:不能将这些doc进行相加,再对其提取关键词,理论可行但是实践不可行。现在的方法是提取出每doc的关键词再取前TOP)

算法的输入和输出:

输入(待聚类的文本):SscCorpus sscCorpus

输出(每一簇是一个Cluster):List<Cluster>

 

1.2.2Kmeans+numberCluster

 

算法的目的:在指定聚类数目K的条件下,将文本聚成K簇。

算法的流程:

预处理:输入的是SscCorpus corpus 输出的是List<CorpusBean> 。目的就是为了转化格式。

         确定聚类中心:根据输入的聚类数目K,找到文本的K个中心,确定文本聚类的中心点。      聚类:按照离中心点最近的原则,将点分配到各个簇中,直到其中有一个中心点没有发生变化就可以终止循环。(注:可以设置其他的结束条件,当两次的中心点的大小差距小于阈值时,就终止循环。)

每一簇的主题提取:提取出每一类中的文章,再对每一类中的文章找出主题词。(注:不能将这些doc进行相加,再对其提取关键词,理论可行但是实践不可行。现在的方法是提取出每doc的关键词再取前TOP)

算法的输入和输出:

输入(待聚类的文本):SscCorpus sscCorpus

输出(每一簇是一个Cluster):List<Cluster>

 

 

Entropy

对于一个聚类i,首先计算。指的是聚类 i 中的成员(member)属于类(class)j 的概率,。其中是在聚类 i 中所有成员的个数,是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为,其中L是类(class)的个数。整个聚类划分的entropy为,其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。

Purity

使用上述Entropy中的定义,我们将聚类 i 的purity定义为。整个聚类划分的purity为,其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。

二.分类算法:

2.1朴素贝叶斯算法

 

算法的目的:根据朴素贝叶斯算法得到文本的分类,主要使用的公式是: 

算法的流程:

         训练模型:得到每个分类中,所有的词及其权重。

         预测文本分类:将文本进行分词,计算分到每个类中的概率,选择概率最大的作为文本的类别。

算法的输入和输出:Doc doc 和NBModel model

计算准确率即可。

2.2 RandomForest

 

算法的目的: 对文本进行分类。

算法的流程:

         训练模型:将文本进行预处理,得到每篇文本的属性的矩阵。构建随机森林的模型

         预测文本分类:将文本转化成需要的矩阵的形式,输入模型进行预测。

算法的输入和输出: Doc doc 和RFModel  model

信息熵: 

信息增益: 

三.关键词提取:

算法的目的:提取每篇文本的重要词语。

算法的流程:

         预处理:将文本进行分词,去停用词。

         整理成活动窗口的形式:

         根据公式进行计算每个词的权重: 

 

         将词的权重进行排序:

         按照规定的数目进行输出:

算法的输入和输出:Doc doc  List<KeywordExtractorBean> result

 

举例说明:

先看看测试数据:

程序员(英文Programmer)是从事程序开发、维护的专业人员。一般将程序员分为程序设计人员和程序编码人员,但两者的界限并不非常清楚,特别是在中国。软件从业人员分为初级程序员、高级程序员、系统分析员和项目经理四大类。

我取出了百度百科关于“程序员”的定义作为测试用例,很明显,这段定义的关键字应当是“程序员”并且“程序员”的得分应当最高。

首先对这句话分词,这里可以借助各种分词项目,比如HanLP分词,得出分词结果:

[程序员/n, (, 英文/nz, programmer/en, ), 是/v, 从事/v, 程序/n, 开发/v, 、/w, 维护/v, 的/uj, 专业/n, 人员/n, 。/w, 一般/a, 将/d, 程序员/n, 分为/v, 程序/n, 设计/vn, 人员/n, 和/c, 程序/n, 编码/n, 人员/n, ,/w, 但/c, 两者/r, 的/uj, 界限/n, 并/c, 不/d, 非常/d, 清楚/a, ,/w, 特别/d, 是/v, 在/p, 中国/ns, 。/w, 软件/n, 从业/b, 人员/n, 分为/v, 初级/b, 程序员/n, 、/w, 高级/a, 程序员/n, 、/w, 系统/n, 分析员/n, 和/c, 项目/n, 经理/n, 四/m, 大/a, 类/q, 。/w]

然后去掉里面的停用词,这里我去掉了标点符号、常用词、以及“名词、动词、形容词、副词之外的词”。得出实际有用的词语:

[程序员, 英文, 程序, 开发, 维护, 专业, 人员, 程序员, 分为, 程序, 设计, 人员, 程序, 编码, 人员, 界限, 特别, 中国, 软件, 人员, 分为, 程序员, 高级, 程序员, 系统, 分析员, 项目, 经理]

之后建立两个大小为5的窗口,每个单词将票投给它身前身后距离5以内的单词:

{开发=[专业, 程序员, 维护, 英文, 程序, 人员],

 软件=[程序员, 分为, 界限, 高级, 中国, 特别, 人员],

 程序员=[开发, 软件, 分析员, 维护, 系统, 项目, 经理, 分为, 英文, 程序, 专业, 设计, 高级, 人员, 中国],

 分析员=[程序员, 系统, 项目, 经理, 高级],

 维护=[专业, 开发, 程序员, 分为, 英文, 程序, 人员],

 系统=[程序员, 分析员, 项目, 经理, 分为, 高级],

 项目=[程序员, 分析员, 系统, 经理, 高级],

 经理=[程序员, 分析员, 系统, 项目],

 分为=[专业, 软件, 设计, 程序员, 维护, 系统, 高级, 程序, 中国, 特别, 人员],

 英文=[专业, 开发, 程序员, 维护, 程序],

 程序=[专业, 开发, 设计, 程序员, 编码, 维护, 界限, 分为, 英文, 特别, 人员],

 特别=[软件, 编码, 分为, 界限, 程序, 中国, 人员],

 专业=[开发, 程序员, 维护, 分为, 英文, 程序, 人员],

 设计=[程序员, 编码, 分为, 程序, 人员],

 编码=[设计, 界限, 程序, 中国, 特别, 人员],

 界限=[软件, 编码, 程序, 中国, 特别, 人员],

 高级=[程序员, 软件, 分析员, 系统, 项目, 分为, 人员],

 中国=[程序员, 软件, 编码, 分为, 界限, 特别, 人员],

 人员=[开发, 程序员, 软件, 维护, 分为, 程序, 特别, 专业, 设计, 编码, 界限, 高级, 中国]}

四.文本相似:(可以基于不同的粒度:character,word)

4.1 Cosine Distance

算法的目的:计算文本之间的相似度。短文本和长文本都是比较好的。

算法的流程:

         预处理:将文本处理成字符串的形式。

         Cosine Distance:根据余弦公式计算两文本之间的距离。

算法的输入和输出:

         输入:Dod doc1  Doc doc2

         输出:Double similarity

4.2 Edit Distance

算法的目的:计算文本之间的相似度。适合短文本或者是句子相似度计算。

算法的流程:

         预处理:将文本处理成字符串的形式。

         Edit Distance:根据两字符串通过增删改的次数计算两文本的相似度。

算法的输入和输出:

输入:Dod doc1  Doc doc2

         输出:Double similarity

4.3 Jaccard Distance

算法的目的:计算文本之间的相似度。适合使用短文本。

算法的流程:

预处理:将文本处理成字符串的形式。

         Jaccard Distance:根据两字符串交集与并集的商值作为文本的相似度。

算法的输入和输出:

输入:Dod doc1  Doc doc2

         输出:Double similarity

4.4 Simhash

算法的目的:simhash算法的主要思想是降维,将高维的特征向量映射成一个f-bit的指纹(fingerprint),通过比较两篇文章的f-bit指纹的Hamming Distance来确定文章是否重复或者高度近似。

算法的流程:

算法的输入和输出:

实现方式:

1. 首先基于传统的IR方法,将文章转换为一组加权的特征值构成的向量。

2.初始化一个f维的向量V,其中每一个元素初始值为0。

3.对于文章的特征向量集中的每一个特征,做如下计算:

利用传统的hash算法映射到一个f-bit的签名。对于这个f- bit的签名,如果签名的第i位上为1,则对向量V中第i维加上这个特征的权值,否则对向量的第i维减去该特征的权值。

4.对整个特征向量集合迭代上述运算后,根据V中每一维向量的符号来确定生成的f-bit指纹的值,如果V的第i维为正数,则生成f-bit指纹的第i维为1,否则为0。

 

 

五.交叉验证

算法的目的:

算法的流程:

算法的输入和输出:

 

算法总结

标签:并且   文本聚类   时间   举例   训练   变化   向量   设计   结束   

原文地址:http://www.cnblogs.com/angel1314/p/6165673.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!