卷积神经网络中的权值更新也是使用误差的反向传播算法。损失函数一般使用最小平方误差函数。由于卷积网络中存在两部分区域：卷积区和全连接区，它们在计算损失时有所不同我们将其分开进行讨论。1、全连接网络的权值更新 这一部分与经典的人工神经网络不同之处在于多了一个偏置值。我们主要对多出的这个偏置值的更新...
分类：
其他好文 时间：
2015-08-06 14:47:45
阅读次数：
423
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。 最小二乘法构建损失函数 最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的...
分类：
其他好文 时间：
2015-08-04 19:03:17
阅读次数：
143
提升树是以决策树为基分类器的提升方法，通常使用CART树。针对不同问题的提升树学习算法，主要区别在于使用的损失函数不同。1）分类问题：指数损失函数。可以使用CART分类树作为AdaBoost的基分类器，此时为分类提升树。2）回归问题：平方误差损失函数。3）决策问题：一般损失函数。1、提升树算法提升树...
分类：
编程语言 时间：
2015-07-31 21:44:07
阅读次数：
371
第2章 感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利...
分类：
其他好文 时间：
2015-07-26 10:59:12
阅读次数：
253
感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失...
分类：
其他好文 时间：
2015-07-22 06:47:05
阅读次数：
178
一、对于回归问题，基本目标是建模条件概率分布p(t|x) 利用最大似然的方式:negative logarithm of the likelihood 这个函数可以作为优化目标，其中的第二项与参数无关，在优化的时候不用计算在内。实际中所用到的各种不同的目标函数不过是对于的形式做了具体的假设。 1.s...
分类：
其他好文 时间：
2015-07-10 22:16:48
阅读次数：
270
【理解triple】
【理解triple loss】
【triple loss 梯度推导】
【算法实现的小提示】...
分类：
其他好文 时间：
2015-07-07 14:52:35
阅读次数：
1567
本文是要配合《统计学习方法》才能看懂的，因为中间有些符号和定义是直接使用书本中的先弄明白以下三个公式：1）Boost（提升法）=加法模型（即基函数的线性组合）+前向分步算法+损失函数2）Adaboost=Boost+损失函数是指数函数（基函数可以任意）3）提升树=Boost+基函数是决策树（损失函数...
分类：
其他好文 时间：
2015-07-07 10:59:09
阅读次数：
241
L1、L2范式及稀疏性约束假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分...
分类：
其他好文 时间：
2015-07-05 16:23:12
阅读次数：
106
