码迷,mamicode.com
首页 > 其他好文 > 详细

迁移学习与fine-tuning有什么区别

时间:2018-01-12 17:13:35      阅读:345      评论:0      收藏:0      [点我收藏+]

标签:body   如何   过程   思想   类别   lower   设计   post   learn   

假设你要处理一个新数据集,让你做图片分类,这个数据集是关于Flowers的,问题是,数据集中flower的类别很少,数据集中的数据也不多,你发现从零开始训练CNN的效果很差,很容易过拟合,怎么办呢,于是你想到了使用Transfer Learning,用别人已经训练好的Imagenet的模型来做。

做的方法有很多:

  1. 把Alexnet里卷积层最后一层输出的特征拿出来,然后直接用SVM分类。这是Transfer Learning,因为你用到了Alexnet中已经学到了的“知识”
  2. 把VGG net卷积层最后的输出拿出来,用贝叶斯分类器分类,思想基本同上。
  3. 甚至你可以把Alexnet,VGGnet的输出拿出来进行组合,自己设计一个分类器分类。这个过程中你不仅用了Alexnet的“知识”,也可以用VGGnet的“知识”
  4. 最后,你也可以使用fine-tune这种方法,在Alexnet的基础上,重新加上全连接层,再去训练网络。

综上,Transfer Learning关心的问题是:什么是“知识”以及如何更好的运用之前得到的“知识”。这可以有很多方法和手段,而fine-tune只是其中的一种手段。

迁移学习与fine-tuning有什么区别

标签:body   如何   过程   思想   类别   lower   设计   post   learn   

原文地址:https://www.cnblogs.com/fangpengchengbupter/p/8276204.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!