超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。 神经网络经典五大超参数: 学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers) 单层神经元数(Units)、正则惩罚项（R ...
分类：
其他好文 时间：
2019-08-22 13:03:08
阅读次数：
93
第4章 训练模型 写在前面 参考书 《机器学习实战——基于Scikit Learn和TensorFlow》 工具 python3.5.1，Jupyter Notebook, Pycharm 线性回归算法比较 | 算法 | m很大 | 是否支持核外 | n很大 | 超参数 | 是否需要缩放 | skl ...
分类：
其他好文 时间：
2019-08-16 14:31:57
阅读次数：
78
论文：https://arxiv.org/pdf/1710.03740.pdf 译文：混合精度训练 摘要 增加神经网络的size，可以提高准确率。但同时，也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法，不会损失准确率，也不需要修改超参数。 介绍 深度学习让很 ...
分类：
其他好文 时间：
2019-08-12 01:00:37
阅读次数：
90
//2019.08.02下午#机器学习算法中的超参数与模型参数1、超参数：是指机器学习算法运行之前需要指定的参数，是指对于不同机器学习算法属性的决定参数。通常来说，人们所说的调参就是指调节超参数。2、模型参数：是指算法在使用过程中需要学习得到的参数，即输入与输出之间映射函数中的参数，它需要通过对于训 ...
分类：
编程语言 时间：
2019-08-03 15:05:21
阅读次数：
622
solver文件 是一堆超参数，比如迭代次数，是否用GPU，多少次迭代暂存一次训练所得参数，动量项，权重衰减（即正则化参数），基本的learning rate，多少次迭代打印一次loss,以及网络结构描述文件（即model文件）存储位置，等等 比如： lenet_solver.prototxt mo ...
分类：
其他好文 时间：
2019-07-20 09:42:44
阅读次数：
91
在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以我们实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核不好，我们... ...
分类：
其他好文 时间：
2019-07-19 18:47:58
阅读次数：
124
机器学习模型的参数和超参数 参数 ：模型参数，可以用数据进行估计，是模型内部的配置变量，通常使用优化算法估计模型参数，优化算法是对参数的可能值进行的一种有效搜索。例如人造神经网络中的权重、支持向量机中的支持向量、 线性回归或逻辑回归中的系数 超参数 ：必须手动设置，是模型外部的配置变量，模型超参数常 ...
分类：
编程语言 时间：
2019-07-10 22:54:07
阅读次数：
140
validation_data用来在每个epoch之后，或者每几个epoch，验证一次验证集，用来及早发现问题，比如过拟合，或者超参数设置有问题。 这样可以方便我们及时调整参数 针对超参的选择我们是根据验证集上的效果来进行调整的，因此验证集可以看做参与到“人工调参”的训练过程； 2）注意训练集、验证 ...
分类：
其他好文 时间：
2019-06-14 11:02:45
阅读次数：
123
有监督学习--简单线性回归模型（梯度下降法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试：运行梯度下降算法，计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型（梯度下降法代码实现） ...
分类：
其他好文 时间：
2019-05-18 09:35:15
阅读次数：
135
1.数据分组 将原始数据分成训练集，验证集和测试集，它们的比例分别为：60%，20%，20%。 训练集（train set） —— 用于模型拟合的数据样本。验证集（development set）—— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。 在神 ...
分类：
其他好文 时间：
2019-05-02 18:54:12
阅读次数：
152
