深度学习严重依赖训练数据量的大小，前面（https://www.cnblogs.com/zhengbiqing/p/11070783.html）只随机抽取猫狗图片各1000、500、200分别作为训练、验证、测试集，即使采用了数据增强，精度只达到83%。 采用kaggle 猫狗数据集全部25000张 ...
分类：
其他好文 时间：
2019-10-31 00:26:23
阅读次数：
145
0 - 思路 Stacking是许多集成方法的综合。其主要思路如下图所示，通过训练数据训练多个base learners（the first-level learners），这些learners的输出作为下一阶段meta-learners（the second-level learners）的输入， ...
分类：
其他好文 时间：
2019-10-28 21:02:55
阅读次数：
115
一、前言 回顾一下前面讲过的两种解决过拟合的方法： 1）L0、L1、L2：在向前传播、反向传播后面加个小尾巴 2）dropout：训练时随机“删除”一部分神经元 本篇要介绍的优化方法叫mini-batch，它主要解决的问题是：实际应用时的训练数据往往都太大了，一次加载到电脑里可能内存不够，其次运行速 ...
分类：
其他好文 时间：
2019-10-28 01:09:04
阅读次数：
121
接前面 https://www.cnblogs.com/Liuyt-61/p/11738399.html 回过头来看这张图，什么是机器学习？就是将训练数据集喂给机器，在上面kNN算法中就是将特征集X_train和Y_train传给机器学习算法，然后拟合(fit)出一个模型，然后输入样例到该模型进行预 ...
分类：
编程语言 时间：
2019-10-27 20:32:47
阅读次数：
111
是什么 过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。 具体表现就是最终模型在训练集上效果好；在测试集上效果差。模型泛化能力弱。 为什么 为什么要解决过拟合现象？这是因为我们拟合的模型一 ...
分类：
其他好文 时间：
2019-10-26 20:43:49
阅读次数：
78
一.在实体识别中，bert+lstm+crf也是近来常用的方法。这里的bert可以充当固定的embedding层，也可以用来和其它模型一起训练fine-tune。大家知道输入到bert中的数据需要一定的格式，如在单个句子的前后需要加入"[CLS]"和“[SEP]”，需要mask等。下面构造训练集并利 ...
分类：
其他好文 时间：
2019-10-24 13:30:48
阅读次数：
202
批标准化（batch normalization,BN）是为了克服神经网络层数加深导致难以训练而产生的。统计机器学习中的ICS理论（Internal Covariate Shift）理论：源域和目标域的数据分布是一样的。即训练数据和测试数据是满足相同分布的。Covariate Shift是指训练集的... ...
分类：
其他好文 时间：
2019-10-21 13:27:59
阅读次数：
93
模型评估与参数调优实战： 通过对算法进行调优来构建性能良好的机器学习模型，并对模型的性能进行评估。 基于流水线的工作流： 在使用训练数据对模型进行拟合时就得到了一些参数，但将模型用于新数据时需重设这些参数。 scikit-learn中的Pipline类可以拟合出包含任意多个处理步骤的模型，并将模型用 ...
分类：
其他好文 时间：
2019-10-19 09:14:01
阅读次数：
80
GBDT算法： 所谓的GBDT(Gradient Boost Desicison Tree)就是值在每一步迭代时我们难以真正求得一个新的模型使得其加上原有模型得到的损失最小，但是我们可以用所谓的梯度下降法使得损失减小。 输入：训练数据集$D+\lbrace(x_{1},y_{1}),...,(x_{ ...
分类：
其他好文 时间：
2019-10-17 14:03:33
阅读次数：
83
总结两种具体的提升算法： AdaBoost算法： AdaBoost的基本想法是不断调整训练数据中样本的权值来训练新的学习器，对于当前误分类的点在下一步中就提高权重“重点关照一下”，最后再将所有的弱分类器做加权和，对于分类正确率高的权重给得大大（更可靠），分类正确率低的给的权重低乃至是负的权重。其具体 ...
分类：
其他好文 时间：
2019-10-16 19:58:16
阅读次数：
100
