在我们遇到回归问题时，例如前面提到的线性回归，我们总是选择最小而成作为代价函数，形式如下： 这个时候，我们可能就会有疑问了，我们为什么要这样来选择代价函数呢？一种解释是使我们的预测值和我们训练样本的真实值之间的距离最小，下面我们从概率的角度来进行解释。 首先假设输入变量和目标变量满足下面的等式 ε（ ...
分类：
其他好文 时间：
2016-08-13 06:26:00
阅读次数：
162
回归- Regression——————————————————————————————————————————回归- Regression
线性回归Linear regression
模型表示Model representation
代价函数Cost function
目标Goal
多项式回归
加权线性回归
一般线性回归
通用的指数概率分布
伯努利分布
高斯分布
微分与导数1
微分
导数
方向导数...
分类：
其他好文 时间：
2016-07-19 10:33:31
阅读次数：
181
目录 1 L2惩罚项 1.1 惩罚项 1.2 L2惩罚项与过拟合 1.3 多目标值线性模型2 特征值分解3 奇异值分解4 总结5 参考资料 1 L2惩罚项 1.1 惩罚项 为了防止世界被破坏，为了维护世界的和平……不好意思，这篇一开头就荒腔走板！某些线性模型的代价函数包括惩罚项，我们从书本或者经验之 ...
分类：
其他好文 时间：
2016-06-26 11:37:37
阅读次数：
186
判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-29 17:58:50
阅读次数：
145
判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-25 21:15:33
阅读次数：
601
形式 h(x)=∑i=0nθixi=θTxh(x)=\sum_{i=0}^n\theta_ix_i=\theta^Tx代价函数:J(θ)=12∑i=1m(h(x(i)θ)?y(i))2J(\theta)=\frac{1}{2}\sum_{i=1}^m(h(x_\theta^{(i)})-y^{(i)})^2
LMS(Least Mean Squares)算法参数更新原则
梯度下降法，参数沿着使代价...
分类：
编程语言 时间：
2016-04-22 19:27:11
阅读次数：
143
神经网络之BP算法，梯度检验，参数随机初始化
neural network(BackPropagation algorithm,gradient checking,random initialization)
一、代价函数(cost function)
对于训练集，代价函数（cost
function）定义为：
其中红色方框圈起的部分为正则项，k：输出单...
分类：
Web程序 时间：
2016-04-17 22:38:33
阅读次数：
240
本文主要记录我在学习逻辑回归时的心得笔记，从假设函数、代价函数、优化方法等方面介绍了逻辑回归。...
分类：
其他好文 时间：
2016-04-10 14:52:08
阅读次数：
214
梯度下降实用技巧II之学习率 Gradient descent in practice II -- learning rate
梯度下降算法中的学习率（learning rate）很难确定，下面介绍一些寻找的实用技巧。首先看下如何确定你的梯度下降算法正在正常工作：一般是要画出代价函数 和迭代次数之间的图像，如下图所示。如果随着迭代次数的增加不断下降，那么说明梯度下降算法工作的很好，当到达...
分类：
其他好文 时间：
2016-04-01 18:44:54
阅读次数：
235
