标签：com param 函数 函数名 保持数据 消失 linear height online
一、梯度消失与爆炸
二、Xavier方法与Kaiming方法
1、Xavier初始化
方差一致性：保持数据尺度维持在恰当范围，通常方差为1
激活函数：饱和函数，如Sigmoid，Tanh
三、常用初始化方法
10种：
Xavier均匀分布、正态分布
Kaiming均匀分布、正态分布
均匀分布、正态分布、常数分布
正交矩阵初始化
单位矩阵初始化
稀疏矩阵初始化
nn.init.Calculate_gain
主要功能：计算激活函数的方差变化尺度
主要参数
nonlinearity：激活函数名
param：激活函数的参数，如Leaky ReLU的negative_slop
标签：com param 函数 函数名 保持数据 消失 linear height online
原文地址：https://www.cnblogs.com/cola-1998/p/11818008.html
