码迷,mamicode.com
首页 > 其他好文 > 详细

ICLR2018_mixup: Beyond Empirical Risk Minimization

时间:2018-03-08 02:55:23      阅读:756      评论:0      收藏:0      [点我收藏+]

标签:泛化   目标   数据   分布   不同类   and   根据   深度学习   网络   

作者

Hongyi Zhang 张宏毅 @ 张宏毅知乎      北大->MIT    论文所属FAIR

 

Abstract

深度神经网络有些不好的行为:强记忆和对对抗样本敏感

Christian Szegedy等人在ICLR2014发表的论文中,他们提出了对抗样本(Adversarial examples)的概念,即在数据集中通过故意添加细微的干扰所形成的输入样本,受干扰之后的输入导致模型以高置信度给出一个错误的输出。在他们的论文中,他们发现包括卷积神经网络(Convolutional Neural Network, CNN)在内的深度学习模型对于对抗样本都具有极高的脆弱性。   

提出了mixup这个方法来减轻这些问题, mixup是在样本对以及标签对的凸组合上进行训练。 

在ImageNet2012,CIFAR10/100,UCI,Google commands都取得了更好的结果,也就是说提高了当前最好的网络模型的泛化性能 

 

Introduction

神经网络有两个共性:  使用ERM(最小化所有训练数据的平均误差)  +  对应不同数据集的最优模型的大小(参数量表示)和数据集数据量是同步线性增长关系

技术分享图片

Vapnik & Chervonenkis, 1971 经典的学习理论: ERM的收敛性可以得到保证,只要模型的大小(参数量或者VC复杂度)不睡训练数据的增长而增长

这与上面的现象矛盾,那么ERM真的是合理的吗?一方面,ERM使得神经网络强记训练数据(而不是泛化)甚至对数据进行任意的标签赋值,另一方面,ERM对于对抗样本非常敏感,与训练数据集分布稍微不一样,就会得到大不同的结果

ERM没有能力解释或者提供 在与训练集分布稍微不同的数据上的泛化能力.

数据增广, 形式化为VRM(Vicinal Risk Minimization)领域风险最小化,已证明数据增广可以提升泛化性能。但是这个过程是依赖于数据的,因此就需要用到专家知识,而且数据增广假设样本的领域共享同一个标签,并没有对不同类别的样本进行建模领域关系。

主要贡献

提供一种简单数据无关的数据增广方式,mixup,对训练数据集中数据任意两两线性插值:

技术分享图片

利用先验知识:对特征向量的线性插值会导致目标的线性插值,也就是说对y进行插值的合理性

mixup实现非常简单只需几行代码,但是只引入了非常小的计算负担

虽然极其简单,但是在CIFAR10/100, ImageNet2012上都取得了最好的结果,对于欺骗性的label或者对抗样本也更具有鲁棒性,在语音任务上和列表数据上提升了泛化性能,可以稳定GAN的训练过程

 

 从ERM到mixup

 expected risk:

技术分享图片

P(x,y)在实际场景中是不可知的,所以,我们用empirical distribution代替实际分布P(x,y)

技术分享图片

empirical risk:

技术分享图片

通过最小化上式来学习函数f就是Empirical Risk Minimization(ERM)  经验风险最小化

这个经验风险代表着有限的n的样本的行为,很容易就变成了强记忆训练数据。

根据VRM原理,经验分布可以由下式替换:

技术分享图片

对于高斯近邻,可以认为就是在训练数据上增加了高斯噪声:

技术分享图片

 

 mixup的实现很简单直接,而且只引入了很小的计算负担。

What is mixup doing?

可以认为mixup vicinal distribution是一种数据增广方式使得模型f在训练数据上表现地线性,这种线性表现体现在当预测训练集外数据时会减少振荡。

 Result

技术分享图片

技术分享图片

 

 

 

 

ICLR2018_mixup: Beyond Empirical Risk Minimization

标签:泛化   目标   数据   分布   不同类   and   根据   深度学习   网络   

原文地址:https://www.cnblogs.com/lainey/p/8493205.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!