比较普遍的参数估计方法：1、普通最小二乘法：适用于满足经典假设条件的但方程模型；2、加权最小二乘：适合于异方差数据，加权的实质是用一个变量除以误差项，使得误差项的方差变为常数；3、工具变量法：适合解释变量为随机情况，及解释变量与误差项相关。此时思路是找一个与解释变量相关而与误差项不相关的变量，成为工...
分类：
其他好文 时间：
2015-04-29 19:25:53
阅读次数：
407
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f....
分类：
其他好文 时间：
2015-04-26 21:10:52
阅读次数：
213
本实验的目的是学习Parzen窗估计和k最近邻估计方法。在之前的模式识别研究中，我们假设概率密度函数的参数形式已知，即判别函数J(.)的参数是已知的。本节使用非参数化的方法来处理任意形式的概率分布而不必事先考虑概率密度的参数形式。在模式识别中有躲在令人感兴趣的非参数化方法，Parzen窗估计和k最近邻估计就是两种经典的估计法。这里使用Matlab实现这两种估计方法。...
分类：
其他好文 时间：
2015-04-25 22:54:04
阅读次数：
1933
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。
分类：
编程语言 时间：
2015-04-17 23:38:44
阅读次数：
279
这次将介绍基于MeanShift的目标跟踪算法，首先谈谈简介，然后给出算法实现流程，最后实现了一个单目标跟踪的MeanShift算法【matlab/c两个版本】 csdn贴公式比较烦，原谅我直接截图了…一、简介 首先扯扯无参密度估计理论，无参密度估计也叫做非参数估计，属于数理统计的一个分支，和参数密...
分类：
编程语言 时间：
2015-04-17 13:34:54
阅读次数：
392
一：背景：当给出我们一些样本点，我们可以用一条直接对其进行拟合，如y= a0+a1x1+a2x2,公式中y是样本的标签，{x1,x2,x3}是特征，当我们给定特征的大小，让你预测标签，此时我们就需要事先知道参数{a1,a2}。而最小二乘法和最大似然估计就是根据一些给定样本(包括标签值)去对参数进行估计参数估计的方法>。
二：最小二乘法：
基本思想：
简单地说，最小二乘的思想就是要使得观...
分类：
其他好文 时间：
2015-04-13 22:58:32
阅读次数：
173
机器学习笔记：朴素贝叶斯方法（Naive Bayes）原理和实现本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。
方法概述
学习（参数估计）
实现：朴素贝叶斯下的文本分类
模型概述
朴素贝叶斯方法，是指
朴素：特征条件独立贝叶斯：基于贝叶斯定理
根据贝叶斯定理，对一个分类...
分类：
其他好文 时间：
2015-04-13 01:46:03
阅读次数：
356
之前学习了贝叶斯分类器的构造和使用，其中核心的部分是得到事件的先验概率并计算出后验概率 ，而事实上在实际使用中，很多时候无法得到这些完整的信息，因此我们需要使用另外一个重要的工具——参数估计。参数估计是在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。...
分类：
其他好文 时间：
2015-04-06 11:31:17
阅读次数：
219
因子荷载举证A和特性方差举证D的方法有主成分法，主是因子发和极大似然法 因子荷载矩阵：各元使变量因子表达式的艺术，表达提取的公因子对原始变量的影响程度 作用：通过因子荷载矩阵可以获取原始指标变量的线性组合； 示例：如X1=a11*F1+a12*F2+a13*F3,其中X1为指标变量1，...
分类：
其他好文 时间：
2015-03-19 06:16:50
阅读次数：
204
这种算法用于含有隐变量的概率参数模型的最大似然值估计或极大后验概率估计。第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。本人不太...
分类：
编程语言 时间：
2015-03-13 18:06:26
阅读次数：
120
