Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最大似然估计)，QP(Quadratic ...
分类：
其他好文 时间：
2015-09-08 15:30:02
阅读次数：
249
转自：【基础】常用的机器学习&数据挖掘知识点Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimatio...
分类：
其他好文 时间：
2015-05-07 12:15:57
阅读次数：
200
最小均方误差函数
第一讲里，我们提到了最小均方误差函数，给出一组有 mm 个样本的训练集，我们希望找到合适的参数 θ\boldsymbol{\theta}， 使得预测值 hθ(x)h_\theta(x) 与目标值尽可能接近。为了估计参数 θ\boldsymbol{\theta}， 我们定义如下的 cost function:
J(θ)=12∑i=1m(hθ(xi)?yi)2\begin{equ...
分类：
其他好文 时间：
2015-04-17 18:17:15
阅读次数：
151
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
线性回归描述
线性回归问题就是要找出一个最好超平面使得数据点距离这个平面的误差(residuals)最小。
传统上，最常用的是均方误差来评价这个误差。
求解最小的训练误差
现在我们要做的是如何选择参数w，使得训练误差Ein越小越好。
首先，我们把计算过程用矩阵形式表示出来，使表示更加简洁。
这里xn表示成列向量的形式，然后将加和的形式表示成向量的长度，进而将...
分类：
其他好文 时间：
2015-01-08 09:39:25
阅读次数：
255
转自http://www.36dsj.com/archives/20135Basis(基础)：MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikel...
分类：
其他好文 时间：
2015-01-04 21:19:33
阅读次数：
241
1、LMS算法主要是一个相关度的问题2、LMS算法的执行过程是怎样的3、步进对算法有怎样的影响步长大，则收敛快，但失调大；步长小，则失调小，但收敛慢。在算法初始阶段应该采用较大的u值，加快收敛；当算法收敛后，再采用较小的u值提高收敛后的稳定性。4、线性均方误差准则（LMS）与最小均方误差算法（LMS...
分类：
编程语言 时间：
2014-10-20 20:56:20
阅读次数：
1039
目录包括：Kalman滤波器的历史渊源、从牛顿到卡尔曼、一场递推的游戏、均方误差中的门道、Matlab程序看过来、Kalman滤波C程序、参考资料...
分类：
其他好文 时间：
2014-09-26 20:31:28
阅读次数：
206
常用的机器学习&数据挖掘知识(点）
声明：想做机器学习&数据挖掘的学弟学妹，可以看看，转载请说明出处...
常用的机器学习知识(点)
Basis(基础)：
MSE(Mean Square Error 均方误差)，LMS(LeastMean
Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihoo...
分类：
其他好文 时间：
2014-09-15 22:51:09
阅读次数：
340
回归（Regression）不同于分类问题，在回归方法中我们预测一系列连续的值，在预测完后有个问题是如何评价预测的结果好坏，关于这个问题目前学术界也没有统一的标准。下面是我在论文中的看到的一些常用方法，希望对有缘人有用。...
分类：
其他好文 时间：
2014-08-27 18:49:08
阅读次数：
4695
