本文总结自《Neural Networks and Deep Learning》第3章的内容。 目录 交叉熵代价函数（The cross-entropy cost function） 柔性最大值（softmax） 过度拟合（Overfitting） 规范化（regularization） 权重初始化 ...
分类：
其他好文 时间：
2016-12-19 00:14:41
阅读次数：
329
一个问题由5部分组成：初始状态，行动集合，转移模型，目标测试函数，路径代价函数。问题的环境用状态空间表示。状态空间中从初始状态到达目标状态的路径是一个解。 可以从完备性、最优性、时间复杂度和空间复杂度等方面来评价一个搜索算法。 主要分为：无信息搜索策略（盲搜）、有信息搜索策略（启发式搜索） 无信息搜 ...
分类：
其他好文 时间：
2016-12-10 16:00:50
阅读次数：
160
一、单变量线性回归： 1.数据集可视化 2.求解模型参数 对于线性回归模型，有两种方法可以求解模型参数。 1） 梯度下降法 将代价函数代入展开： Matlab代码实现： 2） 正规方程 Matlab代码实现： 关于正规方程的推导： 3）梯度下降法和正规方程比较 由控制台输出模型参数和回归直线可知，两 ...
分类：
编程语言 时间：
2016-11-29 06:42:11
阅读次数：
182
Sigmoid函数 当神经元的输出接近 1时，曲线变得相当平，即σ′(z)的值会很小，进而也就使?C/?w和?C/?b会非常小。造成学习缓慢，下面有一个二次代价函数的cost变化图，epoch从15到50变化很小。 引入交叉熵代价函数 针对上述问题，希望对输出层选择一个不包含sigmoid的权值更新 ...
分类：
其他好文 时间：
2016-11-28 00:46:41
阅读次数：
550
转自：http://blog.csdn.net/u014313009/article/details/51043064，感谢分享！ 交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进 ...
分类：
其他好文 时间：
2016-11-25 17:34:58
阅读次数：
567
课程地址：https://www.coursera.org/learn/machine-learning/lecture/8SpIM/gradient-descent 一 Model and Cost Function 模型及代价函数 1 Model Representation 模型表示 首先，教 ...
分类：
其他好文 时间：
2016-10-10 13:32:27
阅读次数：
250
实际上，代价函数(cost function)和损失函数(loss function 亦称为 error function)是同义的。它们都是事先定义一个假设函数（hypothesis），通过训练集由算法找出一个最优拟合，即通过使的cost function值最小，从而估计出假设函数的未知变量。 例 ...
分类：
其他好文 时间：
2016-10-07 01:25:03
阅读次数：
184
初学神经网络算法--梯度下降、反向传播、优化（交叉熵代价函数、L2规范化） 柔性最大值（softmax）还未领会其要义，之后再说 有点懒，暂时不想把算法重新总结，先贴一个之前做过的反向传播的总结ppt 其实python更好实现些，不过我想好好学matlab，就用matlab写了 然后是算法源码，第一 ...
分类：
其他好文 时间：
2016-10-01 19:32:36
阅读次数：
279
A*算法中最关键肯定是f=g+h。估价函数h，代价函数g。 每次取出f最小的，然后开始更新周围的节点。 对于未到达的节点直接更新，已到达的节点用g值比较一下，更优则更新。 而估价函数在一开始就算好了。 那么对于k短路问题呢。 首先预处理出终点t到每个点的最短路，即为估价函数h。（最常用的做法） 然后 ...
分类：
编程语言 时间：
2016-09-28 19:05:01
阅读次数：
172
1.交叉熵代价函数 2.正则化方法：L1和L2 regularization、数据集扩增、dropout 3. 数据预处理 4.机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size 5.随机梯度下降（Stochastic gradient descent）和 批量梯度下降 ...
分类：
其他好文 时间：
2016-08-22 21:41:51
阅读次数：
155
