几个常见问题： 1、为什么损失函数采用最小二乘法，而不是绝对值形式，也不采用最小三乘法？关于这个问题的答案，后面的课程会给出，主要是从最大似然函数角度给出的合理化解释，如果你追问，最大似然函数就代表科...
分类：
其他好文 时间：
2015-10-09 20:05:28
阅读次数：
526
今天看了一下朴素贝叶斯算法。在看到如果样本的某个特征是连续属性的情况下，需要计算出在所有类别下该特征（该特征在不同类别下的）高斯分布，说白了就是求出来在某一类别下该特征的均值和标准差。那么，给某一个特征的值，在带入该特征在各类的概率密度函数（PDF），就可以得到书中所说的“后验概率”。
那么问题来了，对于离散属性的特征，这样是没有问题的。但是PDF某一点的值，大学学的知识说是没有意义的。求出一个...
分类：
其他好文 时间：
2015-07-06 12:29:03
阅读次数：
139
这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。...
分类：
编程语言 时间：
2015-05-10 17:23:37
阅读次数：
342
最大似然估计是一种非常有效的参数估计的数学方法，常用于在主题建模等领域。其思想是，对于已知的样本，假设它服从某种模型，估计模型中未知的参数，使该模型出现这些样本的概率最大。...
分类：
其他好文 时间：
2014-10-05 15:26:18
阅读次数：
173
似然函数：似然函数在形式上就概率密度函数。 似然函数用来估计某个参数。最大似然函数：就是求似然函数的最大值。 最大似然函数用于估计最好的参数。最小二乘法：它通过最小化误差的平方和寻找数据的最佳函数匹配。就是求 y=a1+a2x的系数。通过最小化误差的平方，然后求系数的偏导数，令导数为0，求...
分类：
其他好文 时间：
2014-07-24 22:50:53
阅读次数：
261
接着上次的一篇文章：http://blog.csdn.net/acdreamers/article/details/27365941
在上次这篇文章中，对于Logistic回归问题，我们已经写出它的最大似然函数，现在来求最大似然估计。所以对似
然函数求偏导数，得到了个方程，即
由于我们只要根据这个方程解出所有的即可，但是这不是一件容易的事，还有Logis...
分类：
其他好文 时间：
2014-07-15 10:27:29
阅读次数：
1015
