所谓总体参数估计量的无偏性指的是，基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。 在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。这是因...
分类：
其他好文 时间：
2015-03-09 15:55:05
阅读次数：
114
下面是转载的内容，主要是介绍逻辑回归的理论知识，先总结一下自己看完的心得
简单来说线性回归就是直接将特征值和其对应的概率进行相乘得到一个结果，逻辑回归则是这样的结果上加上一个逻辑函数
这里选用的就是Sigmoid函数，在坐标尺度很大的情况下类似于阶跃函数
在确认特征对应的权重值也就是回归系数的时候
最常用的方法是最大似然法，EM参数估计，这个是在一阶导数能够有解的前提下
如果一阶导数无法...
分类：
其他好文 时间：
2015-03-06 15:58:28
阅读次数：
59135
数学建模中的十大常用算法
1. 蒙特卡洛方法：
又称计算机随机性模拟方法，也称统计实验方法。可以通过模拟来检验自己模型的正确性。
2. 数据拟合、参数估计、插值等数据处理
比赛中常遇到大量的数据需要处理，而处理的数据的关键就在于这些方法，通常使用matlab辅助，与图形结合时还可处理很多有关拟合的问题。
3. 规划类问题算法：
包括线性规划、整数规划、多元...
分类：
编程语言 时间：
2015-02-03 17:16:09
阅读次数：
281
PLSA模型的再理解以及源码分析
之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。
1. 两种思路解PLSA模型
参考了很多...
分类：
其他好文 时间：
2015-01-30 22:50:32
阅读次数：
663
当我们学了TFTLCD显示之后遇到一个很明显的问题是：参数估计不准确，比如说我们想在屏幕的中央部分画一个圆，但往往坐标把握不准导致一次一次的往MCU里面烧程序，一次一次调，但没烧一次烧的可以MCU的命啊。。显然这样是很浪费的，于是牛逼的人就想了办法了（orz），我是用的原子写的USMART组件，该组件移植很简单，只需要将USMART文件夹拉到工程里面，然后把文件添加到工程里去，里面有一个文件 us...
分类：
其他好文 时间：
2015-01-23 14:43:56
阅读次数：
216
下面是转载http://blog.csdn.net/yanqingan/article/details/6125812博客的内容最大似然估计学习总结1. 作用在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。2. 离散型设为离散型随机变量，...
分类：
其他好文 时间：
2015-01-13 12:15:27
阅读次数：
246
理论和公式请看网易公开课中Andrew Ng的机器学习，或者coursera中Andrew Ng的机器学习对于多元线性回归要拟合最好的直线，要使得误差平方和最小，课本上的方法都是求偏导，并使其为0，然后求解线性方程组。但是还有很多其他方法可以达到上述效果，Andrew在大样本和小样本的情况下给出了两...
分类：
其他好文 时间：
2015-01-06 19:59:23
阅读次数：
746
机器学习问题方法总结大类名称关键词有监督分类决策树信息增益分类回归树Gini指数，Χ2统计量，剪枝朴素贝叶斯非参数估计，贝叶斯估计线性判别分析Fishre判别，特征向量求解K最邻近相似度度量：欧氏距离、街区距离、编辑距离、向量夹角、Pearson相关系数逻辑斯谛回归（二值分类）参数估计（极大似然估计...
分类：
其他好文 时间：
2014-11-27 12:34:58
阅读次数：
369
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是...
分类：
编程语言 时间：
2014-11-27 12:01:04
阅读次数：
259
本文对于高斯混合模型(GMM)进行了简要的讨论。对于单高斯模型，高斯混合模型以及K-means等都进行了简要的介绍以及其关系的梳理，着重介绍了高斯混合模型的参数估计问题，这包括在样本分类已知情况下的MLE算法估计，以及在样本分类未知情况下的EM算法估计。...
分类：
其他好文 时间：
2014-11-22 16:07:13
阅读次数：
339
