作者：Jeff Macaluso https://jeffmacaluso.github.io/post/DeepLearningRulesOfThumb/ 转自CVer，仅用作个人学习 当我在研究生期间，第一次学习神经网络时，我问我的教授是否有任何关于选择架构和超参数的经验法则。他的回答是：“嗯， ...
分类：
其他好文 时间：
2019-05-02 15:48:41
阅读次数：
139
论文阅读——FCOS: Fully Convolutional One-Stage Object Detection 概述 目前anchor-free大热，从DenseBoxes到CornerNet、ExtremeNet，以及最近的FSAF、FoveaBox，避免了复杂的超参数设计，而且具有很好的检 ...
分类：
其他好文 时间：
2019-04-30 15:30:26
阅读次数：
541
1. 导入/生成样本数据集 2. 转换和归一化数据 3. 划分样本数据集为训练样本集、测试样本集和验证样本集 4. 设置机器学习参数（超参数） 5. 初始化变量和占位符 6. 定义模型结构 7. 声明损失函数 8. 初始化模型和训练模型 9. 评估机器学习模型 10. 调优超参数 11. 发布/预测 ...
分类：
其他好文 时间：
2019-04-20 15:40:37
阅读次数：
135
主要用到 sklearn.model_selection包下的GridSearchCV类。 总共分为几步： a.创建训练集和测试集 b.创建最优参数字典 c.构建GridSearchCV对象 d.进行数据训练 e.得出最优超参数 a.创建训练集和测试集 b.创建最优参数字典 c.构建GridSear ...
分类：
编程语言 时间：
2019-04-07 15:42:43
阅读次数：
218
sklearn中的降维算法PCA和SVD 1 概述 1.1 从什么叫“维度”说开来 1.2 sklearn中的降维算法 2 PCA与SVD 2.1 降维究竟是怎样实现？ 2.2 重要参数n_components 2.2.1 迷你案例：高维数据的可视化 2.2.2 最大似然估计自选超参数 2.2.3 ...
分类：
编程语言 时间：
2019-03-19 10:41:12
阅读次数：
1183
import tensorflow as tf;from tensorflow.examples.tutorials.mnist import input_data##定义网络结构input_nodes = 784output_nodes = 10layer1_nodes = 500#定义超参数#自 ...
分类：
其他好文 时间：
2019-03-01 12:19:24
阅读次数：
134
超参数设置 数据 4种优化器的训练过程的loss变化，下降的越快越好 END ...
分类：
其他好文 时间：
2019-02-26 21:04:20
阅读次数：
277
数据集拆分 交叉验证 网格搜索 通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值）， 这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组 合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建 立模型。 精确率(Precision)与召回率(Recall) ...
分类：
其他好文 时间：
2019-01-29 18:31:07
阅读次数：
231
参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。在经典的机器学习文献中，我们可以将模型看作假设，将参数视为对特定数据集的量身打造的假设。 模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。 模型参数是根据数据自动估算的。但模型超参数是手动设置的，并且在过程中用 ...
分类：
其他好文 时间：
2019-01-23 01:27:52
阅读次数：
215
机器学习中超参数搜索的常用方法为 Grid Search，然而如果参数一多则容易碰到维数诅咒的问题，即参数之间的组合呈指数增长。如果有 $m$ 个参数，每个有 $n$ 个取值，则时间复杂度为 $\Theta(n^m)$。 Bengio 等人在 " 《Random Search for Hyper P ...
分类：
其他好文 时间：
2019-01-21 21:07:10
阅读次数：
1307
