根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
What 现有多个变量X1, X2, X3, ....会对结果数据Y产生影响，现在要求出这些变量Xn对于最终结果的影响权重。找到一个线(两个变量)，面(三个变量)来拟合这些权重的数值。通过训练数据得到这些参数，然后使用这些参数(模型)对新数据进行预测 例如，拟合一个平面： 其中 θ0表示预置的权重参 ...
分类：
其他好文 时间：
2019-12-03 23:17:29
阅读次数：
92
生存分析 三大块内容： 1，描述性的 生存率、中位生存期、生存曲线等，常用Kaplan-meier法 2，比较分析 两组的生存曲线是否有差别，log-rank检验（单个因素） 3，cox比例风险回归 类似logistic回归，多个变量对Y的影响，得到一个概率值，只不过加了时间 多花点时间聊聊cox的 ...
分类：
其他好文 时间：
2019-08-10 19:05:39
阅读次数：
134
概率函数 vs 似然函数 : p(x|θ) (概率函数是θ，已知，求x的概率。似然函数是x已知，求θ) 分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率 最大似然估计为： 为了方便计算，对联合概率取对数 求最大似然函数估计值的一般步骤： （1）写出似然函数 ...
分类：
其他好文 时间：
2019-06-20 10:56:00
阅读次数：
92
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
线性回归 人工智能是机器学习的父类；机器学习是深度学习的父类 1. 怎么做线性回归？ 2. 理解回归 -- 最大似然函数 3. 应用正态分布概率密度函数 -- 对数总似然 4. 推导出损失函数 -- 推导出解析解 5. 代码实现解析解的方式求解 -- 梯度下降法的开始 -- sklearn模块使用线 ...
分类：
其他好文 时间：
2018-08-14 22:51:12
阅读次数：
307
1、最大似然 多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值 求最大似然函数估计值的步骤： 2、机器学习算法的学习过程 这个优化函数存在解析解。例如我们求最值一般是对代价函数求导，导数为0的点一般就是最值，如果代价函数能 ...
分类：
其他好文 时间：
2017-08-23 20:44:28
阅读次数：
138
EM算法有很多的应用: 最广泛的就是GMM混合高斯模型、聚类、HMM等等. The EM Algorithm 高斯混合模型（Mixtures of Gaussians）和EM算法 EM算法 求最大似然函数估计值的一般步骤： （1）写出似然函数； （2）对似然函数取对数，并整理； （3）求导数，令导数 ...
分类：
编程语言 时间：
2017-01-08 13:09:56
阅读次数：
437
最大似然函数
我们没法直接用求导解方程的办法直接求得最大值。可以采用EM算法
换成公式3形式求最大似然函数，其中Qi(z(i))用以下求，p(xi,zi;θ)为下式分子带入3中求最大似然函数的参数值为2.
其中 ，并且 也顺理成章地可以估计为 。
重复迭代前面两步，直到似然函数的值收敛为止。
下列为GMM参考代码l连接点击...
分类：
其他好文 时间：
2016-05-12 12:37:15
阅读次数：
195
在看FK论文时，fisher information matrix是必须理解的。从维基百科查阅到，Fisher information matrix是用利用最大似然函数估计来计算方差矩阵。来源于：http://mathworld.wolfram.com/FisherInformationMatrix...
分类：
其他好文 时间：
2015-11-06 19:30:57
阅读次数：
907
