1.感知机：二类分类的线性模型，输入为实例的特征向量，输出为某类别，取+1和-1.目的在求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.感知机模型： ，sign为符号函数，w为权值或权向量，b为偏置。 其几何解释：对应一个越.....
分类：
其他好文 时间：
2015-04-29 23:04:34
阅读次数：
186
适用场景：有隐变量的时候特别适用。 EM算法主要分为两个步骤：E步和M步。 输入：选择参数的初值theta，进行迭代。 E步： 每次迭代改变初值。定义Q函数。Q函数为迭代的期望值。 M步： 求使E步得到的Q函数最大的theta值。 最后，重复进行E步和M步。直到最终theta值变化较小...
分类：
编程语言 时间：
2015-04-24 22:26:07
阅读次数：
244
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。
方法概述
学习（参数估计）
实现：朴素贝叶斯下的文本分类
模型概述
朴素贝叶斯方法，是指
朴素：特征条件独立贝叶斯：基于贝叶斯定理
根据贝叶斯定理，对一个分类...
分类：
其他好文 时间：
2015-04-13 01:46:03
阅读次数：
356
在机器学习-李航-统计学习方法学习笔记之感知机(1)中我们已经知道感知机的建模和其几何意义。相关推导也做了明确的推导。有了数学建模。我们要对模型进行计算。 感知机学习的目的是求的是一个能将正实例和负实例完全分开的分离超平面。也就是去求感知机模型中的参数w和b.学习策略也就是求解途径就是定义...
分类：
其他好文 时间：
2015-03-19 23:47:25
阅读次数：
1014
感知机是古老的统计学习方法，主要应用于二类线性可分数据，策略是在给定的超平面上对误差点进行纠正，从而保证所有的点都是正确可分的。用到的方法是随机梯度下降法，由于是线性可分的，可保证最终在有限步内收敛。具体可参考李航的《统计学习方法》#include#include#include#includeus...
分类：
编程语言 时间：
2015-03-17 23:16:25
阅读次数：
244
感知机应该是机器学习里面最简单的模型了。读一遍文章也能理解作者想表达的意思。因为以前像梯度下降，多项式拟合，神经网络都在Andrew Ng的公开课上看过了。但是真正关于书中的公式却不怎么理解。一些简单的作者也没有推导。毕竟这是机器学习，不是微积分，或者线性代数，或者概率论。微积分，概率论，...
分类：
其他好文 时间：
2015-03-17 21:34:04
阅读次数：
296
最近在学机器学习，看了Andrew Ng 的公开课,同时学习李航博士的 《统计学习方法》在此记录。在第十二页有一个关于多项式拟合的问题。此处，作者直接给出了所求的的偏导。这里做一下详细推导。 ，此处函数模型的求偏导问题，首先看一下偏导的定义因为此处是，所以除了Wj 外的Xi,Yi 都可以视...
分类：
其他好文 时间：
2015-03-14 06:08:31
阅读次数：
258
http://www.cnblogs.com/levone/p/3531054.html#2898984 1.4 模型评估与模型选择 泛化能力（generalization ability)：学习方法对未知数据的预测能力。 过拟合（over-fitting)：学习时选择的模型所包含...
分类：
其他好文 时间：
2015-03-10 11:42:10
阅读次数：
240
宅在家无聊之余决定看着《概率论和数理统计》&《统计学习方法》总结一下朴素贝叶斯和贝叶斯估计。
正好这一块我最近温习了一下，我从一开始条件概率开始写，把我所理解的贝叶斯分类算法完整呈现一下吧。
学的概率论最开始是在高中，当时是条件概率，给出条件概率的定义：事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A的概率”。
其次...
分类：
其他好文 时间：
2015-02-12 09:25:16
阅读次数：
229
一个文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个，而文本的自动分类则是使用计算机程序来实现这样的分类。通俗点说，就好比你拿一篇文章，问计算机这文章要说的究竟是体育，经济还是教育，计...
分类：
其他好文 时间：
2015-02-11 00:38:30
阅读次数：
357
