神经网络模型
简单的神经网络
前向传播
代价函数
对于单个样例 ,其代价函数为:
给定一个包含m个样例的数据集,我们可以定义整体代价函数为:
以上公式中的第一项 是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。
反向传播算法
反向传播算法,它是计算偏导数的一种有效方法。
批量梯...
分类:
其他好文 时间:
2015-08-21 15:45:36
阅读次数:
203
一、批量学习 在监督学习的批量方法中,多层感知器的突出权值的调整在训练样本集合的所有N个例子都出现后进行,这构成了训练的一个回合。换句话说,批量学习的代价函数是由平均误差能量定义的。多层感知器的突触权值的调整是以回合-回合为基础的。相应地,学习曲线的一种实现方式是通过描绘平均误差能量对回合数的图形....
分类:
其他好文 时间:
2015-08-03 18:52:59
阅读次数:
427
从上一篇可知,在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小,从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小,这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式,m个训练集(x,y)可以如下表示:
因此,所以
根据 可知,
为使J(θ)最小,通过求导推导可得:
...
分类:
其他好文 时间:
2015-07-02 12:09:01
阅读次数:
207
损失函数和风险函数 损失函数(loss function),代价函数(cost function) 用来度量预测错误的程度。常用的如下: 0-1损失函数(0-1 loss function) 平方损失函数(quadratic loss function) 绝对损失函数(absolute loss f...
分类:
其他好文 时间:
2015-06-10 00:52:21
阅读次数:
162
在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有
(1)减少特征,留取最重要的特征。
(2)惩罚不重要的特征的权重。
但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。
先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说,在代价函数后面加上一个正则化项,得到...
分类:
其他好文 时间:
2015-05-30 13:35:15
阅读次数:
183
聚类是非监督学习的一种形式,它将一个观测集(即数据点)划分到自然组或模式聚类。聚类的途径是测量分配给每个聚类的观测对之间的相似性以最小化一个指定的代价函数。
K-均值(K-means)简单易实现,同时具有良好的性能。
聚类重新定义:
给定N个观测值得集合,通过以下方式寻找编码器C:将这些观测值分配给K个聚类,使得在每个聚类中,给定的观测值与聚类均值的不相似性的平均度量最小。...
分类:
其他好文 时间:
2015-05-25 22:32:31
阅读次数:
242
单变量线性回归(Linear Regression with One Variable)2.1 模型表达(Model Representation)
m 代表训练集中实例的数量
x 代表特征/输入变量
y 代表目标变量/输出变量
(x,y) 代表训练集中的实例
(x(i),y(i) ) 代表第 i 个观察实例
h 代表学习算法的解决方案或函数也称为假设(hypothesis) 单变量线性回归:只含...
分类:
其他好文 时间:
2015-05-25 11:31:53
阅读次数:
218
上一篇中我们讲到了GBDT算法的第一个版本,是基于残差的学习思路。今天来说第二个版本,可以说这个版本的比较复杂,涉及到一些推导和矩阵论知识。但是,我们今天可以看到,两个版本之间的联系,这个是学习算法的一个重要步骤。这篇博文主要从下面这几个方面来说基于梯度的GBDT算法:
(1)算法的基本步骤;
(2)其中的学数学推导;
(3)基于梯度的版本和基于残差的版本之间的联系;在讲解算法的详细步骤之前,...
分类:
编程语言 时间:
2015-03-31 18:15:53
阅读次数:
2069
本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+...
分类:
其他好文 时间:
2015-03-13 14:27:18
阅读次数:
293
机器学习Machine Learning - Andrew NG
courses学习笔记
Cost Function代价函数
Backpropagation Algorithm BP反向传播算法
Backpropagation Intuition反向传播直觉知识
Implementation Note_ Unrolling Parameters执行节点展开参...
分类:
Web程序 时间:
2015-03-07 21:22:47
阅读次数:
376