本文将叙述朴素贝叶斯算法的来龙去脉，从数学推导到计算演练到编程实战文章内容有借鉴网络资料、李航《统计学习方法》、吴军《数学之美》加以整理及补充基础知识补充：
1、贝叶斯理论–吴军数学之美
http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/2、条件概率
3、联合分布
朴素贝叶斯算法
朴素贝叶斯法是基于贝叶斯定...
分类：
编程语言 时间：
2016-05-12 17:52:49
阅读次数：
486
逻辑回归（Logistic regression）
逻辑回归是统计学习中的经典分类方法。其多用在二分类{0,1}问题上。
定义1：
设X是连续随机变量，X服从逻辑回归分布是指X具有下列分布函数与密度函数：
分布函数属于逻辑斯谛函数，其图形是一条S形曲线。
定义2：
二项逻辑斯谛回归模型是如下条件概率分布：
从上式可以看出，逻辑回归对线性回归经行了归一化...
分类：
编程语言 时间：
2016-05-12 15:23:00
阅读次数：
346
从这篇文章开始，我们开始在数论这块“森林”的探秘了。 整除性： 数论中的整除性问题无非是研究数的约数、倍数，约数和倍数是一对相对的概念，如果a是b的约数，那么b就是a的倍数。我们常常用a|b来表示b能够整除a，即b/a是整数，但是“|”在使用的过程中容易和绝对值、几何定义符、条件概率混淆，所以，这里 ...
分类：
其他好文 时间：
2016-05-10 20:52:09
阅读次数：
361
条件概率：P(X|Y) 联合概率：P(X, Y) 边缘概率：P(X), P(Y). 联合概率 = 条件概率 * 边缘概率 通常会用条件概率来解决逆问题。 逆问题是指：需要从结果反推原因的问题； 正问题是指：从原因推出结果。 逆问题常见的有： 通信：根据含有噪声的接收信号Y推测发送信号X； 语音识别： ...
分类：
其他好文 时间：
2016-05-08 18:09:32
阅读次数：
160
Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic Programming 二次规划)， CP(Conditional Probability条件概率)，...
分类：
编程语言 时间：
2016-05-07 07:58:05
阅读次数：
237
朴素贝叶斯算法简单高效，在处理分类问题上，是应该首先考虑的方法之一。 1、准备知识 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。 这个定理解决了现实生活里经常遇到的问题：已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B ...
分类：
编程语言 时间：
2016-05-02 19:49:59
阅读次数：
329
1，受限玻尔兹曼机，思想似乎是源自于热力学，因为有一个玻尔兹曼分布律的东西，具体还没学习，不过可见机器学习中不同学科的思想融合，往往是idea/innovation 的发源地。2，想迅速入门，受知乎指引看了Hugo Larochelle在YouTube上的神经网络课第五章的Restricted Boltzmann machine. 在[5.2]中讲到了P(h|x)的条件概率的推导，感觉不错，截图如下...
分类：
系统相关 时间：
2016-04-29 19:08:06
阅读次数：
297
优点：在数据较少的情况下仍然有效，可以处理多类别问题。缺点：对于输入数据的准备方式较为敏感。适用数据类型：标称型数据。条件概率：p(x,y|c?) 需要先验知识和逻辑推理频数概率：从数据本身获得结论，并不考虑逻辑推理及先验知识朴素贝叶斯的一般过程：1. 收集数据：可以使用任何方法。2. 准备数据：需... ...
分类：
系统相关 时间：
2016-04-28 10:37:57
阅读次数：
289
1，受限玻尔兹曼机，思想似乎是源自于热力学，因为有一个玻尔兹曼分布律的东西，具体还没学习，不过可见机器学习中不同学科的思想融合，往往是idea/innovation 的发源地。2，想迅速入门，受知乎指引看了Hugo Larochelle在YouTube上的神经网络课第五章的Restricted Boltzmann machine. 在[5.2]中讲到了P(h|x)的条件概率的推导，感觉不错，截图如下...
分类：
系统相关 时间：
2016-04-26 21:21:37
阅读次数：
317
（一）生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ)，即给定x的情况探讨y的条件概率分布。如二分类问题，不管是感知器算法还是逻辑回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例，只要判断在直线的哪一侧即可；这种直接对问题 ...
分类：
编程语言 时间：
2016-04-21 01:15:01
阅读次数：
538
