绪论 信息论解答了通信理论中的两个基本问题：临界数据压缩（答案：熵H）和临界通信传输速率的值（答案：信道容量C） 熵 如果随机变量 X 的概率密度函数为 p(x) ,那么 X 的熵定义为 使用以2为底的对数函数，熵的量纲为比特。熵可以看作是随机变量的平均不确定度的度量。在平均意义下，它是为了描述该随 ...
分类：
其他好文 时间：
2018-09-09 16:53:22
阅读次数：
239
决策树(Decision Tree)在机器学习中也是比较常见的一种算法，最早的决策树算法是ID3，改善后得到了C4.5算法，进一步改进后形成了我们现在使用的C5.0算法，综合性能大幅提高。算法核心：为每一次分裂确定一个分裂属性。ID3采用的是“信息增益”为度量来选择分裂属性的。 ...
分类：
其他好文 时间：
2018-09-07 00:56:09
阅读次数：
2571
一、ID3决策树概述 ID3决策树是另一种非常重要的用来处理分类问题的结构，它形似一个嵌套N层的IF…ELSE结构，但是它的判断标准不再是一个关系表达式，而是对应的模块的信息增益。它通过信息增益的大小，从根节点开始，选择一个分支，如同进入一个IF结构的statement，通过属性值的取值不同进入新的 ...
分类：
编程语言 时间：
2018-08-12 11:59:34
阅读次数：
169
1、c4.5 c4.5算法是机器学习算法中的一种分类决策树算法，其核心是ID3算法，c4.5算法继承了ID3算法的优点，并在一下几个放米娜对ID3算法进行了改进： 1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足。 2）在树构造过程中进行剪枝。 3）能够完成对不连续属 ...
分类：
编程语言 时间：
2018-08-07 22:23:00
阅读次数：
152
1、认识决策树： 决策树思想非常朴素，程序设计中的条件就是if-then结构，最早的决策树就是利用这类结构分割数据的一中分类学习方法。 2、信息论基础-银行贷款分析 香农在1948年提出信息论，单位为比特； 信息熵：可以理解为代价；信息和消除不确定性是相联系的； 信息增益：当得知特征x的信息而使得类 ...
分类：
编程语言 时间：
2018-07-29 22:21:39
阅读次数：
553
Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖
分类：
其他好文 时间：
2018-07-04 10:33:49
阅读次数：
349
1、决策树 适用条件：数据不同类边界是非线性的，并且通过不断将特征空间切分为矩阵来模拟。特征之间有一定的相关性。特征取值的数目应该差不多，因为信息增益偏向于更多数值的特征。 优点：1.直观的决策规则；2.可以处理非线性特征；3.考虑了变量之间的相互作用。 缺点：1.容易过拟合（随机森林、剪枝）；2. ...
分类：
编程语言 时间：
2018-06-19 13:50:46
阅读次数：
326
决策树对实例进行分类的树形结构，由节点和有向边组成。其实很像平时画的流程图。 学习决策树之前要搞懂几个概念： 熵：表示随机变量不确定性的度量，定义：H（p）=- 信息增益：集合D的经验熵与特征A条件下D的经验条件熵H(D/A）之差（公式省略，自行查找） 信息增益比：信息增益g(D,A)与训练数据集D ...
分类：
其他好文 时间：
2018-06-12 18:36:12
阅读次数：
169
摘自《统计学习方法》 李航 第五章 决策树学习通常包括3个步骤：特征选择、决策树的生成、决策树的剪枝 决策树学习本质上是从训练集中归纳出一组分类规则。 决策树学习的损失函数通常是正则化的极大似然函数。 决策树的学习算法通常是采用启发式的方法，近似求解最优化问题 特征选择问题 特征选择在于选取对训练数 ...
分类：
其他好文 时间：
2018-05-23 00:01:55
阅读次数：
169
整理自：https://mp.weixin.qq.com/s/LGyNq3fRlsRSatu1lpFnnw 问题：熵是什么？熵存在的意义是啥？为什么叫熵？ 答案：在机器学习中熵是表征随机变量分布的混乱程度，分布越混乱，则熵越大，在物理学上表征物质状态的参量之一，也是体系混乱程度的度量； 熵存在的意义 ...
分类：
其他好文 时间：
2018-05-17 23:17:29
阅读次数：
224
