梯度下降法 [TOC] 梯度下降法，是一种基于搜索的最优化方法，最用是最小化一个损失函数。 一、什么是梯度下降？ ? 机器学习算法都需要最大化或最小化一个函数，这个函数被称为"目标函数"，其中我们一般把最小化的一类函数，称为"损失函数"。它能根据预测结果，衡量出模型预测能力的好坏。在求损失函数最小化 ...
分类：
其他好文 时间：
2019-08-08 19:42:49
阅读次数：
125
机器学习”小憩“——总结应用场景 常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进 ...
分类：
编程语言 时间：
2019-07-20 13:00:47
阅读次数：
162
在Bagging与随机森林算法原理小结中，我们对随机森林(Random Forest, 以下简称RF）的原理做了总结。本文就从实践的角度对RF做一个总结。重点讲述scikit-learn中RF的调参注意事项，以及和GBDT调参的异同点。# 一、scikit-learn随机森林类库概述 在scikit... ...
分类：
其他好文 时间：
2019-07-19 18:44:10
阅读次数：
80
''' 集合算法: 1.正向激励 2.自助聚合：每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树，这样形成多棵包含不同训练样本的决策树， 以削弱某些强势样本对模型预测结果的影响，提高模型的泛化特性。 3.随机森林：在自助聚合的基础上，每次构建决策树模型时，不仅随机选择部分样本，而且还随... ...
分类：
其他好文 时间：
2019-07-14 17:49:54
阅读次数：
100
随机森林算法原理请参照上篇:随机森林。数据依旧为MNIST数据集。 代码如下： from __future__ import print_function?# Ignore all GPUs, tf random forest does not benefit from it.import os?i ...
分类：
编程语言 时间：
2019-07-14 09:17:15
阅读次数：
420
随机森林有一个重要的优点就是，没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估，也就是说在生成的过程中就可以对误差建立一个无偏估计。 随机森铃在生成每颗决策树时，会随机且有放回的抽取样本，每棵决策树会有大概1/3的样本未抽取到，这些样本就是每棵树的oob样 ...
分类：
其他好文 时间：
2019-07-08 13:36:02
阅读次数：
398
1. scikit-learn随机森林类库概述 在scikit-learn中，RF的分类类是RandomForestClassifier，回归类是RandomForestRegressor。当然RF的变种Extra Trees也有， 分类类ExtraTreesClassifier，回归类ExtraT ...
分类：
其他好文 时间：
2019-07-05 17:54:38
阅读次数：
93
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
智能运维用到的技术 1.数据聚合/关联技术概念聚类算法AOI分类算法K近邻/贝叶斯分类器/logistic回归(LR)/支持向量机(SVM)/随机森林(RF) 2.数据异常点检测技术独立森林算法 3.故障诊断和分析策略关联规则挖掘(Apriori算法/FP-growth算法)(有)决策树算法(迭代二 ...
分类：
其他好文 时间：
2019-06-19 16:43:16
阅读次数：
137
