简介：在概率统计中有两种主要的方法：参数统计和非参数统计（或者说参数估计和非参数估计）。 其中，参数估计是概率统计的一种方法。主要在样本知道情况下，一般知道或假设样本服从某种概率分布，但不知到具体参数（或者知道具体模型，但不知道模型的参数）。
参数估计就是通过多次试验，观察其结果，利用结果推出参数的大概值。...
分类：
其他好文 时间：
2014-07-23 22:39:07
阅读次数：
894
接着上次的一篇文章：http://blog.csdn.net/acdreamers/article/details/27365941
在上次这篇文章中，对于Logistic回归问题，我们已经写出它的最大似然函数，现在来求最大似然估计。所以对似
然函数求偏导数，得到了个方程，即
由于我们只要根据这个方程解出所有的即可，但是这不是一件容易的事，还有Logis...
分类：
其他好文 时间：
2014-07-15 10:27:29
阅读次数：
1015
本讲主要说一下逻辑回归中的几个问题和具体的参数求解方法
1. 什么是逻辑回归
2. 正则化项
3. 最小二乘法和最大似然法
4. java实现梯度下降法
实验：
样本：
-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0....
分类：
编程语言 时间：
2014-07-01 11:13:11
阅读次数：
386
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
MLE
:最大似然估计，求得的这套参数估计能够通过指定模型以最大概率在线样本观测数据必须来自随机样本，自变量与因变量之间是线性关系logistic
回归没有关于自变量分布的假设条件，自变量可以连续，也可以离散，不需要假设他们之间服从多元正太分布，当然如果服从，效果更好logistic 回归对多元共线...
分类：
其他好文 时间：
2014-05-18 18:55:03
阅读次数：
297
