1. 参数(parameters) 可以通过学习得到的变量，比如权重和偏置 2. 超参数(hyperparameters) 根据经验进行设定，影响到权重和偏置的大小，比如迭代次数、隐藏层的层数、每层神经元的个数、学习速率等 ...
分类：
其他好文 时间：
2018-06-05 11:34:17
阅读次数：
115
一、评测标准 模型的测评标准：分类的准确度（accuracy）； 预测准确度 = 预测成功的样本个数/预测数据集样本总数 二、超参数 超参数：运行机器学习算法前需要指定的参数； kNN算法中的超参数：k、weights、P； 一般超参数之间也相互影响； 调参，就是调超参数； 1）问题 # 以kNN算 ...
分类：
其他好文 时间：
2018-05-24 22:21:49
阅读次数：
861
训练网络时，通常先对网络的初始权值按照某种分布进行初始化，如：高斯分布。初始化权值操作对最终网络的性能影响比较大，合适的网络初始权值能够使得损失函数在训练过程中的收敛速度更快，从而获得更好的优化结果。但是按照某类分布随机初始化网络权值时，存在一些不确定因素，并不能保证每一次初始化操作都能使得网络的初 ...
分类：
其他好文 时间：
2018-05-14 19:03:19
阅读次数：
193
在深度学习章节里，已经介绍了批量归一化的概念，详情请点击这里：第九节，改善深层神经网络：超参数调试、正则化以优化(下) 由于在深层网络中，不同层的分布都不一样，会导致训练时出现饱和的问题。而批量归一化就是为了缓解这个问题提出的。而且在实际应用中，批量归一化的收敛非常快，并且具有很强的泛化能力，某种情 ...
分类：
其他好文 时间：
2018-05-06 01:37:08
阅读次数：
3572
1. 超参数的重要性级别：红->桔->紫 2. 如何调整参数 2.1 不要用grid来设置选择，因为不同参数的重要性不同 参数的选择范围从一个比较大的，到后来一个较小的 3. 为超参数选择合适的范围 3.1 uniform选择：如每层的节点数或网络层数。但并不是适用于所有超参数 3.2 scale的 ...
分类：
其他好文 时间：
2018-04-30 22:12:01
阅读次数：
1354
上一讲中主要描述了机器学习特征工程的基本流程，其内容在这里：机器学习（一）特征工程的基本流程 本次主要说明如下： 1）数据处理：此部分已经在上一节中详细讨论 2）特征工程：此部分已经在上一节中详细讨论 3）模型选择 4）交叉验证 5）寻找最佳超参数 首先看下总图： （一）模型选择： 1）交叉验证 交 ...
分类：
其他好文 时间：
2018-03-31 18:15:01
阅读次数：
297
一 批标准化 (batch normalization) 部分内容来自： Batch Normalization 批标准化 深度学习Deep Learning(05):Batch Normalization(BN)批标准化 参考论文：http://jmlr.org/proceedings/paper ...
分类：
其他好文 时间：
2018-03-30 12:13:56
阅读次数：
189
一、前述 调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。 二、神经网络超参数调优 1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度 ...
分类：
其他好文 时间：
2018-03-28 14:14:36
阅读次数：
195
正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置。例如，如果梯度大小为 2.5，学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。 超参数是编程人员在机器学习算法中用于调整的旋钮。大多 ...
分类：
其他好文 时间：
2018-03-02 22:13:54
阅读次数：
169
一、神经网络 二、激活函数 三、评价神经网络的效果 四、梯度下降算法 五、参数与超参数区别 六、习题 一、神经网络 neural network w11 a1+w12 a2+w13 a3 + bias1=b1 w21 a1+w22 a2+w23 a3 + bias2=b2 从网络层1到网络层2，可能 ...
分类：
其他好文 时间：
2018-03-01 21:55:07
阅读次数：
155
