关于dropout的有趣的进化论解释

标签：

训练神经网络时，使用dropout技术来防止网络的过拟合。我们这里且不谈这个技术的细节，但就这项技术的有趣的生物进化论解释了解下。自然界的高等生物进化出了两性繁殖，其原因可以解释为使得变异的基因能散播到整个种族中去。但是，dropout认为两性繁殖并不仅是为了让基因更容易地散播，两性繁殖的策略还提高了基因的鲁棒性。为啥呢？试想一下，如果个体可以无性繁殖，则个体就能靠自身基因组里的各个基因的变异和相互协作来适应环境，但当必需使用两性繁殖通过混合父母基因才能产生后代时，单个基因组内部的协作被打破鸟，每个基因不仅要试着依靠自己来独立的控制各种生理功能，而且还要能与来自其他随机个体的基因一起协作，这两个要求使得每个基因都变得鲁棒了。在环境突变的情况下，例如太空紫外线破坏了您三分之一的基因，您还可以苟延残喘得繁殖下一代。

参考文献：(Dropout : A Simple Way to Prevent Neural Networks from Overfitting.pdf) (Improving neural networks by preventing co-adaptation of feature detectors.pdf)

关于dropout的有趣的进化论解释

标签：

原文地址：http://www.cnblogs.com/congliu/p/4629660.html