前言 以下内容是个人学习之后的感悟，转载请注明出处~ 超参数调试 在深度学习中，超参数有很多，比如学习率α、使用momentum或Adam优化算法的参数（β1，β2，ε）、层数layers、不同层隐藏 单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数 ...
分类：
其他好文 时间：
2017-09-14 18:34:39
阅读次数：
246
第一周 深度学习的实用层面 1.1 训练、验证、测试集 应用机器学习是个高度迭代的过程：想法 >编码 >实验 （1）神经网络的层数 （2）隐含层神经元个数 （3）学习率 （4）激励函数 小规模数据：训练集70%，验证集30% 或者 训练60% 验证20% 测试20% 大规模数据：训练90%以上 注： ...
分类：
其他好文 时间：
2017-09-09 21:00:32
阅读次数：
200
http://scikit-learn.org/stable/modules/grid_search.html 1. 超参数寻优方法 gridsearchCV 和 RandomizedSearchCV 2. 参数寻优的技巧进阶 2.1. Specifying an objective metric ...
分类：
其他好文 时间：
2017-09-05 13:59:12
阅读次数：
273
通过K近邻算法探究numpy向量运算提速 茴香豆的“茴”字有... ... 使用三种计算图片距离的方式实现K近邻算法： 1.最为基础的双循环 2.利用numpy的broadca机制实现单循环 3.利用broadcast和矩阵的数学性质实现无循环 图片被拉伸为一维数组 X_train：(train_n ...
分类：
编程语言 时间：
2017-07-22 23:37:08
阅读次数：
880
学习器模型中一般有两个参数：一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行指定，后一类参数就叫超参数 比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha等，在学习其模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数，可以通过以下 ...
分类：
其他好文 时间：
2017-06-14 13:16:46
阅读次数：
203
1.什么是超参数 所谓超参数，就是机器学习模型里面的框架参数。比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定的，经过不断试错来调整，或者对一系列穷举出来的参数组合一通枚举（叫做网格搜索）。深度学习和神经网络模型，有 ...
分类：
其他好文 时间：
2017-06-12 17:10:35
阅读次数：
4331
线性回归和逻辑回归都是监督学习方法，聚类分析是非监督学习的一种，可以从一批数据集中探索信息，比如在社交网络数据中可以识别社区，在一堆菜谱中识别出菜系。本节介绍K-means聚类算法。 1、K-means k是一个超参数，表示要聚类成多少类。K-means计算方法是重复移动类的重心，以实现成本函数最小 ...
分类：
其他好文 时间：
2017-03-13 22:00:51
阅读次数：
356
在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以我们实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果线性核不好，我们 ...
分类：
其他好文 时间：
2016-12-03 00:55:43
阅读次数：
688
递归神经网络（Recurrent Neural Networks，RNNs）就像一种神奇的魔法。我至今仍对于我第一次训练递归网络记忆犹新。那个网络是被用于生成图像说明（Image Captioning）的。仅仅进行了几十分钟的训练，我的第一个模型（这个模型中相当一部分超参数都是我随意选取的）就开始能 ...
分类：
其他好文 时间：
2016-09-10 23:55:33
阅读次数：
593
