说明： 本文主要是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元 ...
分类：
其他好文 时间：
2017-05-05 19:26:21
阅读次数：
120
http://www.cnblogs.com/ljy2013/p/6432269.html 作者：Noriko Oshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非 ...
分类：
其他好文 时间：
2017-05-02 22:19:59
阅读次数：
123
[From] https://www.zhihu.com/question/41252833/answer/108777563 熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度 ...
分类：
其他好文 时间：
2017-04-03 17:56:52
阅读次数：
237
一、损失函数 深度学习中，常用的损失函数为均方误差和交叉熵，分别对应回归和分类问题，其实深度学习的损失函数和机器学习的损失函数差不多，是一致的，均方误差就相当于最小二乘，交叉熵其实是一种特殊的对数损失函数形式，这里不再赘述。 二、激活函数 是深度学习特有的。 关于激活函数，首先要搞清楚的问题是，激活 ...
分类：
其他好文 时间：
2017-02-09 17:21:01
阅读次数：
973
本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录 交叉熵代价函数（The cross-entropy cost function） 柔性最大值（softmax） 过度拟合（Overfitting） 规范化（regularization） 权重初始化 ...
分类：
其他好文 时间：
2016-12-19 00:14:41
阅读次数：
329
Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使?C/?w和?C/?b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 ...
分类：
其他好文 时间：
2016-11-28 00:46:41
阅读次数：
550
转自：http://blog.csdn.net/u014313009/article/details/51043064，感谢分享！ 交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进 ...
分类：
其他好文 时间：
2016-11-25 17:34:58
阅读次数：
567
作者：Noriko Oshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有，转载请联系作者获得授权。 熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分 ...
分类：
其他好文 时间：
2016-11-16 11:16:34
阅读次数：
338
初学神经网络算法--梯度下降、反向传播、优化（交叉熵代价函数、L2规范化） 柔性最大值（softmax）还未领会其要义，之后再说 有点懒，暂时不想把算法重新总结，先贴一个之前做过的反向传播的总结ppt 其实python更好实现些，不过我想好好学matlab，就用matlab写了 然后是算法源码，第一 ...
分类：
其他好文 时间：
2016-10-01 19:32:36
阅读次数：
279
1.交叉熵代价函数 2.正则化方法：L1和L2 regularization、数据集扩增、dropout 3. 数据预处理 4.机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size 5.随机梯度下降（Stochastic gradient descent）和 批量梯度下降 ...
分类：
其他好文 时间：
2016-08-22 21:41:51
阅读次数：
155
