在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍还有一种求解最大似然概率?(θ)的方法，即牛顿迭代法。 在牛顿迭代法中。如果一个函数是，求解θ值使得f(θ)=0。在图1中可知， 图1 选择一个点，相应函数值为,并将相应的切线与x轴相交的点 ...
分类：
其他好文 时间：
2017-04-25 22:21:11
阅读次数：
253
摘要 使用 Iso 聚类工具和最大似然法分类工具对一系列输入栅格波段运行非监督分类。 使用方法 · 此工具结合了 Iso 聚类工具与最大似然法分类工具的功能。输出经过分类的栅格。作为可选的，它也能够输出特征文件。 · 此工具生成的特征文件可用作其它分类工具(比如最大似然法分类)的输入。从而更好地控制 ...
分类：
其他好文 时间：
2017-04-22 17:33:08
阅读次数：
325
再次声明，总结内容基本非原创，只是一个勤劳的搬运工，由于来源比较杂，只好一起感谢网上提供这些知识的人类们。 一、关于线性回归 线性回归比较简单，这里主要是对线性回归的一种理解，包括部分正则化的内容。 1.模型的概率解释 2.最大似然估计 即： 上面是线性回归最原始的最小平方损失函数，如果为了防止过拟 ...
分类：
其他好文 时间：
2017-04-12 15:05:34
阅读次数：
487
基本思想： 通过初始化参数P1,P2，推断出隐变量Z的概率分布（E步）； 通过隐变量Z的概率分布，最大似然推断参数P1,P2 （M步）。 梯度下降也可以解决隐变量估计问题，但求和项会随隐变量个数指数增长，EM方法是一种非梯度下降优化方法。 ...
分类：
编程语言 时间：
2017-04-09 00:18:43
阅读次数：
314
在Coursera机器学习课程中，第一篇练习就是如何使用最小均方差(Least Square)来求解线性模型中的参数。本文从概率论的角度 最大化似然函数，来求解模型参数，得到线性模型。本文内容来源于：《A First Course of Machine Learning》中的第一章和第二章。 先来看 ...
分类：
其他好文 时间：
2017-03-26 18:05:47
阅读次数：
151
1. 最大似然估计法的思想 在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。 2. 离散型随机变量 设X为离散型随机变量，其概率分布的形式为 ，则样本的概率分布为 ，在 固定时，上式表示取值的概率；当 固定时，它是 的函数，我们把它记为 并称为似然函数。 似 ...
分类：
其他好文 时间：
2017-03-25 22:41:29
阅读次数：
178
机器学习算法可以说是不少的，如果死记硬背的话，只能当时记得推导过程和步骤，过一段时间就又想不起来了，只能依稀记得一些影子。所以，应该找到算法的一些通用的方法来理解算法的思路以及推导过程。 我认为，最大似然估计和损失函数，就是机器学习算法的通用框架，是掌握机器学习算法的钥匙。 以下，用实际算法来证实这 ...
分类：
编程语言 时间：
2017-03-21 12:58:02
阅读次数：
130
最大似然估计学习总结 MadTurtle 转至here 1. 作用 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 2. 离散型 设为离散型随机变量，为多维参数向量，如果随机变量相互独立且概率计算式为P{，则可得概率函数为P{}=，在固 ...
分类：
其他好文 时间：
2017-02-27 18:56:59
阅读次数：
267
EM算法有很多的应用: 最广泛的就是GMM混合高斯模型、聚类、HMM等等. The EM Algorithm 高斯混合模型（Mixtures of Gaussians）和EM算法 EM算法 求最大似然函数估计值的一般步骤： （1）写出似然函数； （2）对似然函数取对数，并整理； （3）求导数，令导数 ...
分类：
编程语言 时间：
2017-01-08 13:09:56
阅读次数：
437
说的通俗一点啊，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法： 我假设我抽到黑球的概 ...
分类：
其他好文 时间：
2017-01-07 01:16:58
阅读次数：
167
