标签：需要 自己 tps question 标准 loss 使用 class https
为什么需要做归一化或者标准化
一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓，容易收敛。
具体解释可以看这里:
特征工程中的「归一化」有什么作用？ - 忆臻的回答 - 知乎
https://www.zhihu.com/question/20455227/answer/197897298
用我自己的话总结就是:损失函数对某个权重求梯度的时候，会用到这个权重之前的变量，如果这个白能量过大，会导致梯度过大，也就是这个权重在收敛的过程中每次变化量会很大，就不容易收敛。
这就要求我们在收敛过程中使用不同的学习率，对于梯度变化多大的使用小一点的学习率，梯度变化大的方向使用大一点的学习率，这就比较麻烦了。
标签：需要 自己 tps question 标准 loss 使用 class https
原文地址：https://www.cnblogs.com/lzida9223/p/10972725.html
