适用场景：有隐变量的时候特别适用。 EM算法主要分为两个步骤：E步和M步。 输入：选择参数的初值theta，进行迭代。 E步： 每次迭代改变初值。定义Q函数。Q函数为迭代的期望值。 M步： 求使E步得到的Q函数最大的theta值。 最后，重复进行E步和M步。直到最终theta值变化较小...
分类：
编程语言 时间：
2015-04-24 22:26:07
阅读次数：
244
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。
方法概述
学习（参数估计）
实现：朴素贝叶斯下的文本分类
模型概述
朴素贝叶斯方法，是指
朴素：特征条件独立贝叶斯：基于贝叶斯定理
根据贝叶斯定理，对一个分类...
分类：
其他好文 时间：
2015-04-13 01:46:03
阅读次数：
356
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
在机器学习-李航-统计学习方法学习笔记之感知机(1)中我们已经知道感知机的建模和其几何意义。相关推导也做了明确的推导。有了数学建模。我们要对模型进行计算。 感知机学习的目的是求的是一个能将正实例和负实例完全分开的分离超平面。也就是去求感知机模型中的参数w和b.学习策略也就是求解途径就是定义...
分类：
其他好文 时间：
2015-03-19 23:47:25
阅读次数：
1014
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
感知机应该是机器学习里面最简单的模型了。读一遍文章也能理解作者想表达的意思。因为以前像梯度下降，多项式拟合，神经网络都在Andrew Ng的公开课上看过了。但是真正关于书中的公式却不怎么理解。一些简单的作者也没有推导。毕竟这是机器学习，不是微积分，或者线性代数，或者概率论。微积分，概率论，...
分类：
其他好文 时间：
2015-03-17 21:34:04
阅读次数：
296
2.3两种简单的预测方法：最小二乘和最近邻
在本节中我们详细讨论两种简单但有效的预测方法，使用最小二乘线性模型拟合和k最近邻预测。线性模型对结构做了大量的假设，但是可能会产生不准确的预测。K-最近邻对结构做了适当的假设，所以预测通常是精确但不稳定的。
2.3.1线性模型和最小二乘
在过去的30年中，线性模型一直是统计学的支柱，而且现在依然是我们最重要的工具之...
分类：
其他好文 时间：
2015-03-15 13:57:03
阅读次数：
161
最近在学机器学习，看了Andrew Ng 的公开课,同时学习李航博士的 《统计学习方法》在此记录。在第十二页有一个关于多项式拟合的问题。此处，作者直接给出了所求的的偏导。这里做一下详细推导。 ，此处函数模型的求偏导问题，首先看一下偏导的定义因为此处是，所以除了Wj 外的Xi,Yi 都可以视...
分类：
其他好文 时间：
2015-03-14 06:08:31
阅读次数：
258
http://www.cnblogs.com/levone/p/3531054.html#2898984 1.4 模型评估与模型选择 泛化能力（generalization ability)：学习方法对未知数据的预测能力。 过拟合（over-fitting)：学习时选择的模型所包含...
分类：
其他好文 时间：
2015-03-10 11:42:10
阅读次数：
240
统计学习精要(The Elements of Statistical Learning)课堂笔记系列Postedat January 2nd, 2014Filedunder课程教材：The Elements of Statistical Learninghttp://www-stat.stanfor...
分类：
其他好文 时间：
2015-03-03 11:33:17
阅读次数：
180
