标签：重要 提高 过拟合 误差 lock 训练 方向 一段 question
深度学习采用神经网络解决线性不可分的问题。既然是深度学习，就是包含多个隐层。
觉得知乎大神说了一段很有意思的话：
1.初恋期。相当于深度学习的输入层。别人吸引你，肯定是有很多因素，比如：身高，身材，脸蛋，学历，性格等等，这些都是输入层的参数，对每个人来说权重可能都不一样。 2.热恋期。我们就让它对应于隐层吧。这个期间，双方各种磨合，柴米油盐酱醋茶。3.稳定期。对应于输出层，是否合适，就看磨合得咋样了。大家都知道，磨合很重要，怎么磨合呢？就是不断学习训练和修正的过程嘛！比如女朋友喜欢草莓蛋糕，你买了蓝莓的，她的反馈是negative，你下次就别买了蓝莓，改草莓了。既要防止欠拟合，也要防止过拟合。所谓欠拟合，对深度学习而言，就是训练得不够，数据不足，就好比，你撩妹经验不足，需要多学着点，送花当然是最基本的了，还需要提高其他方面，比如，提高自身说话的幽默感等，因为本文重点并不是撩妹，所以就不展开讲了。这里需要提一点，欠拟合固然不好，但过拟合就更不合适了。过拟合跟欠拟合相反，一方面，如果过拟合，她会觉得你有陈冠希老师的潜质，更重要的是，每个人情况不一样，就像深度学习一样，训练集效果很好，但测试集不行！就撩妹而言，她会觉得你受前任(训练集)影响很大，这是大忌！作者：Jacky Yang
链接：https://www.zhihu.com/question/26006703/answer/129209540
来源：知乎
当对每个参数进行更新时，我们需要做的就是计算偏导数（偏导数： 多个变量时，对某个变量的变化率。）。 那对什么求偏导数，要对我们想要的目标求偏导数，诱导结果编导想要的方向。这里的目标就是减少与已知正确结果的差距（loss function 各种）。 对每个参数加上一个很小的偏差，来看结果的响应。但是我们不能把各个偏差都试一遍。为了让偏差最合适，选择误差对每个参数的变化率，也就是偏导数。
求偏导数：
相邻层的偏导是线性的，从左到右挨个求偏导，各个偏导相乘
但是要注意加入的激活函数和pool层的激活函数的计算
求完偏导数，以多大的步长来调整： 学习率
标签：重要 提高 过拟合 误差 lock 训练 方向 一段 question
原文地址：http://www.cnblogs.com/fanhaha/p/7337071.html
