XGBoos博客 \[ x+y=z \] XGBoost是一种以决策树（cart树）为基学习器的集成学习方法。 XGBoost的目标： \(Loss=\large{\sum\nolimits_{i=1}^{n}{l(y_i,\hat{y_i}) + \sum\nolimits_{k=1}^{T}{\ ...
分类：
其他好文 时间：
2020-10-18 10:15:10
阅读次数：
33
在画决策树时，需要用到graphviz、pydotplus等第三方库以及软件。 具体步骤请参考大佬的介绍https://blog.csdn.net/chai_zheng/article/details/78226194 只说明一个问题，在官网下载graphviz时，我一直找不到graphviz-2. ...
分类：
其他好文 时间：
2020-10-08 19:43:52
阅读次数：
29
Decision Tree 决策树 决策树的定义和直观解释 决策树定义 决策树是一类常见的机器学习方法。本质就是一棵树，这棵树表示的含义如下： 每个非叶子结点对应一个判定问题 每个叶子结点对应一个决策结果 每一条从根到叶的路径对应一个完整的决策过程 决策树模型的特点 优点 可解释性极强，常用于医疗诊 ...
分类：
其他好文 时间：
2020-10-05 22:31:25
阅读次数：
37
一、CART算法的实现 #encoding:utf-8 from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.tree import D ...
分类：
编程语言 时间：
2020-08-18 15:46:03
阅读次数：
110
激活函数：增加非线性 如果不用激活函数，每一层节点的输入都是上层输出的线性函数。无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，因此网络的逼近能力就相当有限。 Sigmoid: 将输入的连续实值变换为0-1的输出。反向传播中易发生梯度消失，输出不对称（只输出正值） tanh： 输 ...
分类：
其他好文 时间：
2020-07-31 14:08:43
阅读次数：
104
整理今天的代码…… 采用的是150条鸢尾花的数据集fishiris.csv # 读入数据，把Name列取出来作为标签（groundtruth） import pandas as pd data = pd.read_csv('fishiris.csv') print(data.head(5)) X = ...
分类：
编程语言 时间：
2020-07-21 09:45:22
阅读次数：
138
解题思路：一开始不知道怎么下手，暴力遍历也没有合适的方法。参考了题解，了解到回溯算法，结合他人的代码，写了出来 借用题解的决策树图： 1 //参考了题解的回溯算法 2 public static List<List<Integer>> combinationSum(int[] candidates, ...
分类：
其他好文 时间：
2020-07-21 01:00:33
阅读次数：
67
决策树：逼近离散值目标函数 适用问题：离散值分类 选择分类能力最好的属性根节点 度量： 熵 正例反例 同属于一类0，正=反 1 优选偏置，限定偏置 过度拟合：随机错误，噪声 数据太少 解决： 尽早停止树增长 修剪： 1.错误率降低修剪 2.规则后修剪 转换成规则 合并连续值属性 定义新属性，区间中值 ...
分类：
其他好文 时间：
2020-07-16 20:59:52
阅读次数：
66
提升的概念 提升算法 提升算法推导 梯度提升决策树 决策树的描述 正则项的定义 目标函数的计算 目标函数继续化简 子树划分 Adaboost 误差上限 方差与偏差 Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果 Boosting减少偏差，能够基于泛化能力较弱的学 ...
分类：
其他好文 时间：
2020-07-15 01:15:23
阅读次数：
72
sklearn实践（二）：决策树 一、数据处理 继续上次聚类的练习，基于稍作处理的数据，在决策树中，只需划分一下训练集和测试集即可 这里用到的是 sklearn.model_selection.train_test_split() 函数原型：sklearn.model_selection.``tra ...
分类：
其他好文 时间：
2020-07-12 12:08:46
阅读次数：
61
