在机器学习中，随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法，因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随机森林时，其实就是让每一颗决策树进行分类，最后取所有决策树中分类结果最多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器，并且其输出的类别...
分类：
其他好文 时间：
2014-09-04 18:34:39
阅读次数：
275
常用的分类算法主要有决策树，贝叶斯，KNN，SVM，神经网络以及基于规则的分类算法。本文主要对各种分类算法的特性做一下总结。1. 决策树算法决策树算法是一种构建分类模型的非参数方法，它不要求任何先验假设，不假定类和其他属性服从一定的概率分布。找到最佳决策树是NP完全问题，许多决策树算法都采取启发式的...
分类：
其他好文 时间：
2014-09-02 10:16:54
阅读次数：
341
本章节主要证明对包含n个元素的输入序列来说，任何比较排序在最坏情况下都要经过omega(nlgn)次比较。从而证明归并排序和堆排序是渐近最优的。同时，介绍了三种线性时间复杂度的排序算法：计数排序、基数排序和桶排序。1. 排序算法的下界在确定排序算法的下界时，借助决策树模型。决策树模型是一棵完全二叉树...
分类：
其他好文 时间：
2014-08-29 18:01:18
阅读次数：
239
信息熵很亮的是在你知道一个事件的结果后，平均会带给你多大的信息量，当事件的不确定性越大，那么要搞清它所需要的信息量也就越大，也就是信息熵越大，是无序性，不确定性的度量指标。
信息熵的计算：
-p[i]logp[i]，底数为2
public static double calcEntropy(int p[]) {
double entropy = 0;
// 用来计算总的样本数量，p[...
分类：
其他好文 时间：
2014-08-25 15:01:05
阅读次数：
293
决策树（DecisionTree）又称为判定树，是运用于分类的一种树结构。当中的每一个内部结点（internalnode）代表对某个属性的一次測试，每条边代表一个測试结果，叶结点（leaf）代表某个类（class）或者类的分布（classdistribution），最上面的结点是根结点。决策树分为分...
分类：
其他好文 时间：
2014-08-23 16:31:11
阅读次数：
181
与KNN比较：KNN是计算未知类型数据与已知类型数据之间的距离，与数值计算相关。Decision Tree 先是在已知数据集上构造好一棵决策树，树中的每个分叉会用到一个特征，这就需要用到信息熵的概念，对每个特征计算信息熵 来使得分叉处选取到最好的特征对数据进行分类，（训练集选取好最佳特征，测试集就按...
分类：
其他好文 时间：
2014-08-23 15:22:50
阅读次数：
210
Euclid's GameTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 2074Accepted Submission(s): 924Proble...
分类：
其他好文 时间：
2014-08-23 15:13:11
阅读次数：
214
机器学习就是把无序的数据转换成有用的信息。
机器学习的主要任务就是分类，通过通过训练数据训练算法，最终可以将实际的数据分到合适的类别中
监督学习算法：预测目标变量的值
k-means算法，线性回归
朴素贝叶斯算法，局部加权线性回归
支持向量机，ridge回归
决策树，lasso最小回归系数估计
无监督学习算法：不需要预测目标变量的值
k-均值，最大期望算法
DBS...
分类：
其他好文 时间：
2014-08-22 14:28:59
阅读次数：
340
1：简单概念描述
Adaboost是一种弱学习算法到强学习算法，这里的弱和强学习算法，指的当然都是分类器，首先我们需要简单介绍几个概念。
1：弱学习器：在二分情况下弱分类器的错误率会高于50%。其实任意的分类器都可以做为弱分类器，比如之前介绍的KNN、决策树、Naïve Bayes、logiostic回归和SVM都可以。这里我们采用的弱分类器是单层决策树，它是一个单节点的决策树。...
分类：
其他好文 时间：
2014-08-18 22:07:03
阅读次数：
334
MALLET：基于Java语言的用于统计自然语言处理，文件分类，聚类，主题建模，信息提取，和其他的用于文本的机器学习应用的Java包。
MALLET包括复杂的用于文件分类的工具：
有效的用于转换文本到“特征”的程序，多种多样的算法（包括朴素贝叶斯，最大熵，和决策树）。以及一些通用的指标用于评估分类器性能。
除了分类，MALLET包括序列标注的工具，像从文本...
分类：
其他好文 时间：
2014-08-16 11:15:20
阅读次数：
256
