决策树是对数据进行分类，以此达到预測的目的。该决策树方法先依据训练集数据形成决策树，假设该树不能对全部对象给出正确的分类，那么选择一些例外添?到训练集数据中，反复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每一个分支是一...
分类：
其他好文 时间：
2014-09-09 17:44:29
阅读次数：
215
课程简介：
本视频为机器学习系列课程第5章。主要定量研究训练与测试之间的关系，并引入学习模型中的一个重要概念--断点。课程深入浅出，从正射线、正区间和凸集三个具体例子入手，寻找突破点，从而得出训练集与测试集的关系。...
分类：
其他好文 时间：
2014-09-01 19:38:03
阅读次数：
158
Boosting简单介绍分类中通常使用将多个弱分类器组合成强分类器进行分类的方法，统称为集成分类方法（Ensemble Method）。比較简单的如在Boosting之前出现Bagging的方法，首先从从总体样本集合中抽样採取不同的训练集训练弱分类器，然后使用多个弱分类器进行voting，终于的结果...
分类：
其他好文 时间：
2014-08-24 10:16:42
阅读次数：
199
与KNN比较：KNN是计算未知类型数据与已知类型数据之间的距离，与数值计算相关。Decision Tree 先是在已知数据集上构造好一棵决策树，树中的每个分叉会用到一个特征，这就需要用到信息熵的概念，对每个特征计算信息熵 来使得分叉处选取到最好的特征对数据进行分类，（训练集选取好最佳特征，测试集就按...
分类：
其他好文 时间：
2014-08-23 15:22:50
阅读次数：
210
获取数据，放到List中 将数据集划分为训练集、验证集、测试集 新建RBM对象，确定可见层、隐含层的大小 训练RBM 新建线程集 public static void train(SGDBase sgd, List samples, SGDTrainConfig config) { int xy_n...
分类：
其他好文 时间：
2014-08-22 20:58:59
阅读次数：
224
Linear Regreesion 线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。 Cost Function的...
分类：
其他好文 时间：
2014-08-21 22:34:24
阅读次数：
349
在上一篇博文中，我们对KNN算法思想及流程有了初步的了解，KNN是采用测量不同特征值之间的距离方法进行分类，也就是说对于每个样本数据，需要和训练集中的所有数据进行欧氏距离计算。这里简述KNN算法的特点：优点：精度高，对异常值不敏感，无数据输入假定缺点：计算复杂度高，空间复杂度高适用数据范围：数值.....
分类：
编程语言 时间：
2014-07-26 14:52:00
阅读次数：
361
虽然SVM本身算法理论，水比较深，很难懂 但是基本原理却非常直观易懂，就是找到与训练集中支持向量有最大间隔的超平面 形式化的描述： 其中需要满足m个约束条件，m为数据集大小，即数据集中的每个数据点function margin都是>=1，因为之前假设所有支持向量，即离超平面最近的点，的functio...
分类：
其他好文 时间：
2014-07-24 21:45:22
阅读次数：
332
1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展（logistic回归解决的是二分类问题）。 对于训练集，有。 对于给定的测试输入，我们相拥假设函数针对每一个类别j估算出概率值。也就是说，我们估计得每一种分类结果出现的概率。因此我们的假设函数将...
分类：
其他好文 时间：
2014-07-24 12:09:45
阅读次数：
335
1，Exclusive OR（XOR）Booleanfunction问题
布尔量AND和OR是线性可分的
2，两层感知器
对Figure4.1中A类和B类，首先能想到的是画两条直线。如图Figure4.4.
① 两层感知器的分类能力
3，三层感知器
4，基于训练集精确分类的算法...
分类：
其他好文 时间：
2014-07-18 12:35:59
阅读次数：
281
