数据正则化 目的：为了加快训练网络的收敛性，可以不进行归一化处理 源地址：http://blog.sina.com.cn/s/blog_8808cae20102vg53.html 而在多指标评价体系中，由于各评价指标的性质不同，通常具有不同的量纲和数量级。当各指标间的水平相差很大时，如果直接用原始指 ...
分类：
其他好文 时间：
2017-06-01 14:41:18
阅读次数：
239
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2017-05-31 10:11:34
阅读次数：
166
摘要： 本次整合了前面两节的模组，并添加向前传播&反馈训练部分，使之成为一个包含训练&验证&测试的分类网络。 文件架构： 代码整合： image_info.py，图片读取部分 AlexNet.py，网络主干 优化方式： 由于l2正则化结果收集进'losses'中，所以主函数计算loss时应该注意 更 ...
分类：
其他好文 时间：
2017-05-30 15:39:15
阅读次数：
428
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
吉谱斯现象Gibbs（又叫吉谱斯效应）： 用有限项傅里叶级数表示有间断点的信号时，在间断点附近不可避免的会出现振荡和超量。超量的幅度不会随所取项数的增加而减小。只是随着项数的增多，振荡频率变高，并向间断点处压缩，从而使它所占有的能量减少。当选取项数趋于无穷时，超量趋于一个常数，约占9%，这种现象称为 ...
分类：
其他好文 时间：
2017-05-18 01:23:28
阅读次数：
160
http://blog.sina.com.cn/s/blog_4a1853330102w2en.html http://blog.csdn.net/oppoa113/article/details/22102103 正则化，归一化（标准化和正规化）：对数据进行预处理的两种方式，目的是让数据更便于计算 ...
分类：
其他好文 时间：
2017-05-14 23:38:40
阅读次数：
304
一、过拟合问题 分类模型复杂、数据资料含有噪声、数据量少的情况下能发生过拟合的现象，对于不同的模型复杂度，随着资料量的增大，模型的Ein和Eout变化为： 噪声、模型复杂度与数据资料量三者对于过拟合的影响： 二、正则化 对于较为复杂的模型，需要加入正则化，是高次的项系数权重为0（或接近零），使之变为 ...
分类：
其他好文 时间：
2017-05-12 23:09:34
阅读次数：
289
7.1 过拟合的问题 7.2 代价函数 7.3 正则化线性回归 7.4 正则化的逻辑回归模型 7.1 过拟合的问题 如果我们有非常多的特征，我们通过学习得到的假设预测可能能够非常好地适应训练集（代价函数可能几乎为 0），但是可能会不能推广到新的数据。 下图是一个回归问题的例子： 第一个模型是一个线性 ...
分类：
其他好文 时间：
2017-05-06 17:56:55
阅读次数：
238
本文主要介绍8种实现细节的技巧或tricks：数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的方法。1. 数据增广 ...
分类：
其他好文 时间：
2017-04-29 19:54:31
阅读次数：
394
''' Created on Apr 20, 2017 @author: P0079482 ''' import tensorflow as tf #获取一层神经网络边上的权重，并将这个权重的L2正则化损失加入名称为'losses'的集合中 def get_weight(shape,lambda1)... ...
分类：
其他好文 时间：
2017-04-21 09:37:59
阅读次数：
2557
