Kaldi的交叉熵正则化

标签：准确率   就会   reg   学习   style   深度学习   计算   微软   mina   

xent_regularize, Cross Entropy Regularize

nnet3/nnet-discriminative-trainning.cc:109

void NnetDiscriminativeTrainer::ProcessOutputs()

交叉熵正则化，即帧平滑

《解读深度学习：语音识别实践》8.2.3 帧平滑

当正确地进行词图补偿后，进行几次序列鉴别性训练的迭代后，就会很快出现过拟合。即，几次鉴别性训练迭代后，模型计算出的帧准确率（帧的后验概率）显著变差（比原模型）。这要归咎与帧序列比帧的维度高，那么，训练时估计出的后验概率是处于帧序列的层次，而解码时估计出的后验概率是处于帧的层次，

Kaldi的交叉熵正则化

标签：准确率   就会   reg   学习   style   深度学习   计算   微软   mina   

原文地址：http://www.cnblogs.com/JarvanWang/p/7499611.html