先说下一般对原始数据的划分为什么分为训练集、验证集、测试集三个部分？ train data的作用是训练模型，validation data的作用是对模型的超参数进行调节，为什么不直接在test data上对参数进行调节？因为如果在test data上来调节参数，那么随着训练的进行，我们的网络实际上就 ...
分类：
其他好文 时间：
2020-01-01 09:57:53
阅读次数：
95
训练集用于模型参数，测试集用于估计模型对样本的泛化误差，验证集用于“训练”模型的超参数。 我们知道一个机器学习模型通常包括两个部分的参数：模型参数和超参数。其中超参数是用于控制模型行为的超参数，这些参数不是通过模型本身学习而来的。例如多项式回归模型里面，多项式的次数，学习速率是超参数。这些超参数不能 ...
分类：
其他好文 时间：
2019-12-23 13:07:48
阅读次数：
74
一、算法原理 KNN算法是机器学习中最基本算法之一，属于惰性学习算法的典例。惰性指模型仅通过对训练数据集的记忆功能进行预测，而不产生判别函数。 KNN算法本身很简单，归纳为如下几步：①选择近邻数量k和距离度量的方法②找到待分类样本的k个最近邻③根据最近邻类标进行多数投票 二、超参数(结合sklear ...
分类：
编程语言 时间：
2019-11-28 23:06:36
阅读次数：
483
BEGAN: 创新： 1.不是考虑生成图片与真实图片之间的真实的分布，而是估计分布的误差的分布之间的差距。 2.G,D的能力平衡提出了一种均衡的概念 3。提供了一种超参数，这超参数可以在图片的多样性和生成质量之间做均衡 判别模型是自编码器，生成模型则借鉴了wgan的损失函数 一张图片相当于一个数据x ...
分类：
其他好文 时间：
2019-11-17 16:16:16
阅读次数：
56
交叉验证 将拿到的训练数据，分为训练集和验证机。以下图为例：将训练数据分为4份，其中一份作为验证集，。然后经过5次的测试，每次都更换不同的验证机， 最后得到5组模型的结果。最后取平均值作为最后的结果。这也称为4折交叉验证。 网格搜索（超参数搜索）: 通常情况下，有很多参数是需要手动指定的（如K-近邻 ...
分类：
其他好文 时间：
2019-11-16 12:30:06
阅读次数：
55
学习器模型中一般有两个参数：一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行指定，后一类参数就叫超参数 比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha等，在学习其模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数，可以通过以下 ...
分类：
其他好文 时间：
2019-10-31 17:57:17
阅读次数：
78
file: tensorflow/python/training/learning_rate_decay.py 参考：tensorflow中常用学习率更新策略 神经网络中通过超参数 learning rate，来控制每次参数更新的幅度。学习率太小会降低网络优化的速度，增加训练时间；学习率太大则可能导 ...
分类：
其他好文 时间：
2019-10-04 22:48:22
阅读次数：
176
1. 前言 现在的机器学习和深度学习中，在模型结构确定的情况下，不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师，其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前人为设置值的参数，而不是（像bias、weights）通过训练可得到的参数数据。 这些参数定义关 ...
分类：
其他好文 时间：
2019-09-14 16:17:51
阅读次数：
112
1、参数更新 SGD、Momentum、AdaGrad(学习率衰减）、Adam 2、权重初始值 Xavier初始值（sigmoid、tanh）、He初始值（relu) 3、Batch Normalization 4、正则化 5、权重衰减 6、Dropout 7、超参数（贝叶斯最优化） 设定超参数的范 ...
分类：
其他好文 时间：
2019-09-03 11:31:33
阅读次数：
105
今日完成 今天是做的demonstration 这一周主要做的是超参数(hyper parameter)搜寻，神经网络架构(architecture)调整，损失函数(loss function)调整 使用的架构是两层隐层，每层隐层十个节点 拟合效果不好，loss function下不去，最低只能到6 ...
分类：
其他好文 时间：
2019-08-30 19:11:40
阅读次数：
55
