1 % % X 数据矩阵 2 % % n 数据矩阵行数即评价对象数目 3 % % m 数据矩阵列数即经济指标数目 4 % % B 乘以熵权的数据矩阵 5 % % Dist_max D+ 与最大值的距离向量 6 % % Dist_min D- 与最小值的距离向量 7 % % e 熵值列表 8 % % ...
分类：
其他好文 时间：
2019-12-01 12:07:15
阅读次数：
89
信息熵一直在机器学习的领域兴风作浪，给出最简单最直接的方式认识信息熵 ...
分类：
其他好文 时间：
2019-12-01 00:25:38
阅读次数：
112
知道一堆词汇里各个字出现的概率pi，则对这些字的最优编码下各字的位长（也即每个字包含的信息）为： 香农公式：，知道各字的位长后，可依次给他们编码0、10、110... 这些字的平均编码长度为（也即信息量，或称信息熵）： 信息熵： 总结：信息是不确定性的度量，不确定性体现在概率分布上：概率分布越散，不 ...
分类：
其他好文 时间：
2019-11-26 10:47:02
阅读次数：
81
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 考虑超定方程组（ ...
分类：
其他好文 时间：
2019-11-24 21:05:28
阅读次数：
64
决策树的学习通常包含三个步骤：特征选择、树的生成、树的剪枝。决策树的生成采用启发式的方法，只考虑局部最优，相对地，决策树的剪枝则考虑全局最优 特征选择 信息增益 随机变量$X$的熵定义为： $$H(X)= \sum \limits_{i}p_i\log p_i$$ 熵越大，不确定性越大。从定义可验证 ...
分类：
其他好文 时间：
2019-11-24 15:58:13
阅读次数：
80
逻辑回归 sigmoid函数=$\sigma(x)=\frac{1}{1+e^{ x}}=\frac{e^{x}}{1+e^{x}}$ 二项逻辑回归模型 有如下条件概率分布，$w$内已经包含了偏置$b$： $$P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot ...
分类：
其他好文 时间：
2019-11-24 15:30:55
阅读次数：
75
一、Huffman算法介绍 霍夫曼编码（英语：Huffman Coding），又译为哈夫曼编码、赫夫曼编码，是一种用于无损数据压缩的熵编码（权编码）算法。在计算机数据处理中，霍夫曼编码使用变长编码表对源符号（如文件中的一个字母）进行编码，其中变长编码表是通过一种评估来源符号出现几率的方法得到的，出现 ...
分类：
编程语言 时间：
2019-11-22 01:27:33
阅读次数：
150
Focal Loss 摘要 Focal Loss 目标是解决样本类别不平衡 以及 样本分类难度不平衡等问题 ，如目标检测中大量简单的background，很少量较难的foreground样本。 Focal Loss通过修改交叉熵函数，通过增加类别权重$\alpha$ 和 样本难度权重调因子(modu ...
分类：
其他好文 时间：
2019-11-20 22:01:17
阅读次数：
123
[toc] 决策树中涉及到了信息熵、信息增益、信息增益率、基尼系数等公式，作为相应算法(ID3、C4.5、Cart树）的衡量标准，今天就来稍微推导一下这些公式~ 信息熵的最值求解 已知集合D的信息熵的定义为 $$\operatorname{Ent}(D)= \sum_{k=1}^{ | \mathc ...
分类：
其他好文 时间：
2019-11-19 15:48:43
阅读次数：
69
根节点 非叶子节点(决策点) 叶子节点(最终的结果) 分支 熵代表混乱程度 ...
分类：
其他好文 时间：
2019-11-19 11:54:18
阅读次数：
44
