XGBoost 相比于GBDT 做了两方面的优化： 一是算法本身的优化：在算法的弱学习器模型选择上，对比GBDT只支持决策树，XGBoost 还可以直接很多其他的弱学习器。 在算法的损失函数上，除了本身的损失，XGBoost 还加上了正则化部分，可以防止过拟合，泛化能力更强。 在计算方式上，GBDT... ...
分类：
编程语言 时间：
2020-05-03 17:02:08
阅读次数：
100
一、用自己的话描述出其本身的含义： 1、特征选择 特征选择就是在一大堆数据中删除相关性系数比较低对结果没什么影响的特征，从而降维优化计算程度。 减少特征具有重要的现实意义，不仅减少过拟合、减少特征数量（降维）、提高模型泛化能力，而且还可以使模型获得更好的解释性，增强对特征和特征值之间的理解，加快模型 ...
分类：
其他好文 时间：
2020-05-02 11:32:32
阅读次数：
118
一、描述出其本身的含义： 1、特征选择 特征选择对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： (1)减少特征数量、降维，使模型泛化能力更强，减少过拟合 (2)增强对 ...
分类：
其他好文 时间：
2020-05-01 13:01:36
阅读次数：
254
一、用自己的话描述出其本身的含义： 1、特征选择 根据需求，选择具有价值的样本特征，即减少不必要的样本特征。 减少特征具有重要的现实意义，不仅减少过拟合、减少特征数量（降维）、提高模型泛化能力，而且还可以使模型获得更好的解释性，增强对特征和特征值之间的理解，加快模型的训练速度，一般的，还会获得更好的 ...
分类：
其他好文 时间：
2020-04-29 13:03:24
阅读次数：
302
一棵决策树包含一个根结点、若干内部结点和若干个叶节点；叶结点对应决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应一个判定测试序列。决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决 ...
分类：
其他好文 时间：
2020-04-28 15:31:47
阅读次数：
86
对于新建的模型，如何评价其好坏，以及自身的泛化能力，是机器学习中一个关键性问题。对于二分类模型，因原始数据可能是非平衡的，因此仅通过最后的预测准确率并不能评价模型的效果，对于机器学习中的分类与回归两大类模型，需采用不同的模型评价指标。 一?分类模型 1．混淆矩阵及F1分数 混淆矩阵（confusio ...
分类：
其他好文 时间：
2020-03-09 00:46:58
阅读次数：
156
提出动机 __训练层面__ 1. CNN对见过的样本有好的泛化能力，而没见过的样本则比较差（例：看过正脸很难识别侧脸）。这就是CNN的归纳偏置（inductive bias）。 2. 为了取得对大部分情况都好的泛化能力，需要各种情况的训练样本，这样大大增加训练代价。 3. Capsule希望能够学习 ...
分类：
Web程序 时间：
2020-02-28 11:48:44
阅读次数：
128
1.过拟合 然能完美的拟合模型，但是拟合出来的模型会含有大量的参数，将会是一个含有大量参数的非常庞大的模型，因此不利于实现 1.1解决过拟合的方法 1.1.1 特征选择，通过选取特征变量来减少模型参数等 1.1.2 正则化 欠拟合 对于模型拟合的不太到位，导致误差很大。 泛化能力 一个模型用到新样本 ...
分类：
其他好文 时间：
2020-01-26 16:01:29
阅读次数：
77
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ，即模型具有较高的 偏差 ，说明模型没有从数据中学到什么，如下左图所示。而 过拟合 ，即模型具有较高的 方差 ，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。 通常，欠拟合是由于模型过于简单或使用数据集的特 ...
分类：
其他好文 时间：
2020-01-23 21:16:34
阅读次数：
135
验证集与测试集的区别 验证集 —— 是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。 测试集 —— 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。 一个形象的比喻： 训练集 学生的课本；学生 根据课本里的内容来掌握知识。 验 ...
分类：
其他好文 时间：
2020-01-03 14:17:48
阅读次数：
55
