在 ArcGIS Spatial Analyst 扩展模块中，多元分析工具集提供了用于监督分类和非监督分类的工具。影像分类工具条提供了一个用户友好的环境，可创建监督分类中使用的训练样本和特征文件。最大似然法分类工具是主要的分类方法。识别类别及其统计数据的特征文件是此工具的必需输入。...
分类：
其他好文 时间：
2015-05-08 14:58:25
阅读次数：
166
逻辑斯谛回归模型是研究因变量为二分类或多分类观察结果与影响因素之间的关系的一种概率型非线性回归模型。逻辑斯谛回归系数通过最大似然估计得到。Logistic函数如下： 式中x为 这里 是输入变量的n个特征，然后按照Logistic函数形式求出。 假设有n个独立变量的向量 ，设条件概率 在x条件...
分类：
其他好文 时间：
2015-05-07 21:54:16
阅读次数：
1353
这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： ...
分类：
其他好文 时间：
2015-05-03 11:47:46
阅读次数：
821
在大致了解了机器学习的算法分类（监督式、非监督式以及增强学习）和梯度算法后，今天我们来了解下拟合度和最大似然估计的相关问题。一、最小二乘法的拟合度
监督式学习中一类典型的应用就是回归问题，基本的就是线性回归，即用一条直线去逼近训练集合。最小二乘法就是根据已..
分类：
其他好文 时间：
2015-04-28 00:14:45
阅读次数：
181
一：背景：当给出我们一些样本点，我们可以用一条直接对其进行拟合，如y= a0+a1x1+a2x2,公式中y是样本的标签，{x1,x2,x3}是特征，当我们给定特征的大小，让你预测标签，此时我们就需要事先知道参数{a1,a2}。而最小二乘法和最大似然估计就是根据一些给定样本(包括标签值)去对参数进行估计参数估计的方法>。
二：最小二乘法：
基本思想：
简单地说，最小二乘的思想就是要使得观...
分类：
其他好文 时间：
2015-04-13 22:58:32
阅读次数：
173
之前学习了贝叶斯分类器的构造和使用，其中核心的部分是得到事件的先验概率并计算出后验概率 ，而事实上在实际使用中，很多时候无法得到这些完整的信息，因此我们需要使用另外一个重要的工具——参数估计。参数估计是在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。...
分类：
其他好文 时间：
2015-04-06 11:31:17
阅读次数：
219
Maximum Likelihood 最大似然估计这个算法解决的问题是，当我们知道一组变量的密度分布函数与从总体采样的个体的时候，需要估计函数中的某些变量。假设概率密度函数如下：一般来说，为了计算的方便性，我们会采取对数的方式现在的目标是要使得上面函数取最大值，自变量为Θ，并且可以是一个向量。求上面...
分类：
其他好文 时间：
2015-04-01 23:13:56
阅读次数：
178
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
这种算法用于含有隐变量的概率参数模型的最大似然值估计或极大后验概率估计。第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。本人不太...
分类：
编程语言 时间：
2015-03-13 18:06:26
阅读次数：
120
下面是转载的内容，主要是介绍逻辑回归的理论知识，先总结一下自己看完的心得
简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果，逻辑回归则是这样的结果上加上一个逻辑函数
这里选用的就是Sigmoid函数，在坐标尺度很大的情况下类似于阶跃函数
在确认特征对应的权重值也就是回归系数的时候
最常用的方法是最大似然法，EM参数估计，这个是在一阶导数能够有解的前提下
如果一阶导数无法...
分类：
其他好文 时间：
2015-03-06 15:58:28
阅读次数：
59135
