统计学习方法 模型 k近邻(knn):kd树 朴素贝叶斯： 决策树： 逻辑回归与最大熵模型： SVM： CRF： ...
分类：
其他好文 时间：
2017-11-26 16:54:14
阅读次数：
136
Step1-知识准备： 1. 数学：线性代数，概率论和统计，高数 2. 程序语言：Matlab R 或 Python（只用于学习入门，不是实现的最佳语言） 3. 推荐书籍：选择一到两本公式较少、浅显易懂的介绍机器学习算法类型的书 1）中文-《机器学习》（周志华）、《统计学习方法》（李航）、《机器学习 ...
分类：
其他好文 时间：
2017-11-11 21:28:50
阅读次数：
136
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post % 感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29 close allclear allclcX=[3,3;4,3;1,1];Y=[1,1,- ...
分类：
编程语言 时间：
2017-11-05 13:10:56
阅读次数：
197
提升(boosting) 方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性的提升算法AdaBoost; 然后通过训练误差分析探讨AdaBoost 为什么能够提高学习精度 ...
分类：
其他好文 时间：
2017-10-29 22:02:51
阅读次数：
188
李航博士的《统计学习方法》毋庸置疑是机器学习的经典入门书籍之一，本文是针对其中KNN算法中的KD树进行更细致的分析。由于鄙人学识尚浅（是真的很浅），所以如果有误，希望大家指正。 关于KNN近邻算法请参考《统计学习方法》中的叙述，这里不再重复凑字数叙述了。 KD树的构建亦可以参考《统计学习方法》中的叙 ...
分类：
其他好文 时间：
2017-10-17 15:35:33
阅读次数：
218
决策树(decision tree) 是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习 ...
分类：
其他好文 时间：
2017-10-07 19:43:10
阅读次数：
135
朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。 ...
分类：
其他好文 时间：
2017-10-01 12:25:30
阅读次数：
170
boosting 算法： 通过改变训练样本的权重，学习多个分类器，并将多个分类器线性组合，提升分类性能。（对于一个复杂任务，将多个专家的判断进行适当的综合得出的判断，要比任一一个单独的判断好） 将弱学习方法boost 为强学习算法。因为弱学习算法相对容易求得。提升算法就是从弱学习算法，出发反复学习， ...
分类：
其他好文 时间：
2017-09-10 13:28:15
阅读次数：
196
逻辑回归分类 1，概念 2，算法流程 3，多分类逻辑回归 4，逻辑回归总结 优点： 1）预测结果是界于0和1之间的概率； 2）可以适用于连续性和类别性自变量； 3）容易使用和解释； 缺点： 1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符 ...
分类：
其他好文 时间：
2017-09-03 17:08:56
阅读次数：
319
