【深度学习】吴恩达网易公开课练习(class2 week1)

权重初始化

参考资料：

1. 知乎
   
2. CSDN

1. 权重初始化不能全部为0，不能都是同一个值。原因是，如果所有的初始权重是相同的，那么根据前向和反向传播公式，之后每一个权重的迭代过程也是完全相同的。结果就是，无论迭代多少次，这些权重都是一样的。
   
2. 不可以初始化为较大的随机值。原因是在输出层的激活函数是sigmoid，当采用较大的值初始化权重后，sigmoid输入会是一个较大的值，结果就是对应的梯度很小，结果难以收敛。并且，由于sigmoid输入大，输出就会是一个接近0或1的值。在计算损失时，log(0) = 无穷大，导致损失函数结果接近inf
   
3. 正确的初始化方法应该是，将权重初始化为随机值*\(\sqrt{\frac{2}{\text{dimension of the previous layer}}}\)（"He Initialization"; this is named for the first author of He et al., 2015）