整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 AdaBoost GBDT Xgboost 1.AdaBoost Boosting的本质实际上是一个加法模型，通过改变训练样本权重 ...
分类：
其他好文 时间：
2018-05-09 22:50:31
阅读次数：
234
一、介绍 AlexNet最后2个全连接层中使用了Dropout，因为全连接层容易过拟合，而卷积层不容易过拟合。 1.随机删除网络中的一些隐藏神经元，保持输入输出神经元不变； 2.将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播； 3.对于另外一批的训练样本，重复上述操作1 ...
分类：
Web程序 时间：
2018-05-05 14:20:32
阅读次数：
1372
caffe在训练的时候，需要一些参数设置，我们一般将这些参数设置在一个叫solver.prototxt的文件里面 有一些参数需要计算的，也不是乱设置。 假设我们有50000个训练样本，batch_size为64，即每批次处理64个样本，那么需要迭代50000/64=782次才处理完一次全部的样本。我 ...
分类：
编程语言 时间：
2018-05-03 14:25:01
阅读次数：
221
（草稿） Random Forest的随机性表现在哪里。 第一，是选择训练样本的随机性，又放回的 第二，是选择树节点特征的随机性。在n个特征中选择nsub个子特征的最优，但是会增加树对样本的你和程度，但是会提高泛化能力，可采用交叉验证的方法确定合适的nsub。 https://www.cnblogs ...
分类：
其他好文 时间：
2018-04-24 00:25:00
阅读次数：
203
机器学习的任务是从属性X预测标记Y，即求概率P(Y|X)； 有监督学习 training data给了正确的答案即label，任务就是建立相应的模型，训练样本集外的数据进行分类预测。 生成式模型 生成模型学习一个联合概率分布P（x，y） 常见的判别方法有 k近邻法、感知机、决策树、逻辑回归、线性回归 ...
分类：
其他好文 时间：
2018-04-22 12:55:52
阅读次数：
188
一元线性回归模型 样本数量m 输入变量x 输出变量y 训练样本（x,y） 第i个训练样本（，） 假设函数： 模型参数 代价函数： 优化目标： 算法： 1.梯度下降法 具体解法： 2.正规方程法 ...
分类：
其他好文 时间：
2018-04-20 23:42:29
阅读次数：
230
一、逻辑回归的局限 在逻辑回归一节中，使用逻辑回归的多分类，实现了识别20 20的图片上的数字。 但所使用的是一个一阶的模型，并没有使用多项式，为什么？ 可以设想一下，在原有400个特征的数据样本中，增加二次、三次、四次多项式，会是什么情形？ 很显然，训练样本的特征数量将会拔高多个数量级，而且，更重 ...
分类：
编程语言 时间：
2018-04-13 16:17:21
阅读次数：
220
一、贝叶斯定理 机器学习所要实现的均是通过有限的训练样本尽可能的准确估计出后验概率，也就是所说的结果情况。大题分为判别式模型和生成式模型。 1. 判别式模型：直接通过建模P（结果|特征）的方式来预测结果，典型代表如决策树，BP神经网络、支持向量机等。 2. 生成式模型：先对联合概率分布P（特征，结果 ...
分类：
其他好文 时间：
2018-04-08 18:59:55
阅读次数：
1112
吴恩达机器学习笔记整理——单变量线性回归 通过模型分析，拟合什么类型的曲线。 一、基本概念 1.训练集 由训练样例(training example)组成的集合就是训练集(training set), 如下图所示，其中（x，y)是一个训练样本，训练集中每一行表示一个训练样本;(x^i,y^i)表示第 ...
分类：
其他好文 时间：
2018-04-05 23:39:25
阅读次数：
361
一、高斯混合模型 软分类算法，即对每一个样本，计算其属于各个分布的概率，概率值最大的就是这个样本所属的分类。 对于训练样本的分布，看成为多个高斯分布加权得到的。其中每个高斯分布即为某一特定的类。 高斯混合模型和高斯判别分析非常像，唯一的区别就是在高斯混合模型中，每个样本所属的类别标签是未知的。 为了 ...
分类：
其他好文 时间：
2018-04-03 14:32:17
阅读次数：
148
