决策树分类 1，概念 2，决策树算法 2.1，特征选择： 熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比 2.2，决策树生成算法 1，ID3算法 2，c4.5算法 3，实例说明 4，CART决策树算法 4.1 决策树生成 回归树生成 分类树生成 举个例子： 第一 ...
分类：
其他好文 时间：
2017-09-02 22:32:39
阅读次数：
182
朴素贝叶斯分类 1，基本概念 2，算法流程 关键点：理解先验概率，条件概率，最大后验概率，下面是以极大似然估计的 3，算法改进（贝叶斯估计） 上述用极大似然估计可能会出现所要估计的概率值为0的情况，改进方法: 先验概率贝叶斯估计：K表示类别数，λ为参数：0时为极大似然估计；1时为拉普拉斯平滑 条件概 ...
分类：
其他好文 时间：
2017-09-02 20:48:16
阅读次数：
184
统计学习方法由三个要素组成：方法=模型+策略+算法 模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有：0-1损失函数、残差损失函 ...
分类：
其他好文 时间：
2017-08-31 16:46:53
阅读次数：
168
声明： 1。本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用。欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记，因此为了弄懂当中的内容查阅了非常多资料，所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我，我会将您的 ...
分类：
编程语言 时间：
2017-08-20 14:07:09
阅读次数：
241
1. 什么是统计学习？ 统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。具有以下特点： （1）以计算机和网络为平台；（2）以数据为对象，数据驱动的学科；（3）目的是对数据进行预测和分析；（4）以方法为中心，统计学习方法 ...
分类：
其他好文 时间：
2017-08-19 15:54:39
阅读次数：
206
最近学习基础算法《统计学习方法》，看到利用EM算法估计高斯混合模型(GMM)的时候，发现利用贝叶斯的来理解高斯混合模型的应用其实非常合适。 首先，假设我们对于贝叶斯比较熟悉，对高斯分布也熟悉。本文将GMM用于聚类来举例。 除了简单的高斯分布，理论上通过组合多个不同的高斯分布可以构成任意复杂的分布函数 ...
分类：
其他好文 时间：
2017-08-09 16:49:39
阅读次数：
221
一、K近邻算法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入实例的特征向量，输出实例的类别，其中类别可取多类 二、k近邻模型 2.1 距离度量 距离定义： （1）当p=1,称为曼哈顿距离 （2）当p=2，称为欧式距离 （3）当p取无穷大时，它是各个坐标距离 ...
分类：
编程语言 时间：
2017-07-30 20:07:30
阅读次数：
247
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用。欢迎转载。但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记，因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的 ...
分类：
其他好文 时间：
2017-07-22 14:42:14
阅读次数：
229
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记，所以为了弄懂当中的内容查阅了非常多资料，所以里面应该会有引用其它帖子的小部分内容。假设原作者看到能够私信我。我会将您的 ...
分类：
其他好文 时间：
2017-07-20 20:58:53
阅读次数：
138
第一章 统计学习方法概论 学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习 监督学习：从训练数据集中学习模型，对测试数据进行预测 回归问题：输入变量与输出变量均为连续变量的预测问题 分类问题：输出变量为有限个离散变量的预测问题 标注问题：输入变量与输出变量均为变量序列的预测问题 损失函 ...
分类：
其他好文 时间：
2017-07-20 17:24:19
阅读次数：
225
