信息增益是树模型,比如ID3算法用来寻早最优特征分割点的计算标准了解信息增益之前, 需要了解熵 ###熵 信息增益与熵(entropy)有关，在概率论中，熵是随机变量不确定性的度量，熵越大，随机变量的不确定性就越大；假设$X$是取有限个值的离散随机变量，其概率分布为： \(P(X=x_i)=p_i, ...
分类：
其他好文 时间：
2020-08-27 17:03:55
阅读次数：
126
一、频率派 vs 贝叶斯派 机器学习主要解决从数据中获取其概率分布的问题，通过一些机器学习的算法可以从大量数据中找到一定的规律，从而建立模型来解决实际问题，因此机器学习中主要使用数据来求解其参数： data:\(X\) $X= \left[ \begin x_1 & x_2 & \cdots & x ...
分类：
其他好文 时间：
2020-07-22 21:00:17
阅读次数：
102
深入浅出统计学 框架 第一印象 集中趋势的度量 分散性与变异度的度量 概率计算 离散概率分布的运用 排列与组合 几何分布、二项分布及泊松分布 正态分布的运用 再谈正态分布的运用 统计抽样的运用 总体和样本的估计 置信区间的构建 假设检验的运用 x^2分布 相关与回归 01 第一印象 基本概念 频数： ...
分类：
其他好文 时间：
2020-07-15 23:33:36
阅读次数：
76
Softmax softmax可以将经交叉熵损失函数的输出都映射到 0 到 1 间，且各分类累和为 1。符合概率分布。 假设共有 n 个输出 [Z1,...,Zn]，对第 i 个元素 Zi 的softmax的计算公式：Si = ezi / sum(ezn) softmax的反向传播求导过程 http ...
分类：
其他好文 时间：
2020-07-15 23:12:01
阅读次数：
195
充分和必要条件 充分条件和必要条件可以用在数学领域中的各个方面 判定定理一般都是充分条件，而不是必要条件，不可反推 这个东西十分常用，可以套在各个方面 集合 结合律，交换律，分配律，德摩根率 概率中的加法公式，减法公式 概率不可反推集合 概率 分布函数是概率的堆积! 记住常用统计量的公式 离散型和连 ...
分类：
其他好文 时间：
2020-07-10 13:03:36
阅读次数：
74
概率分布有两个词组成，概率+分布。 概率指的是一些数据出现的可能性。 分布指的是数据的稀疏和稠密。 概率分布就是在统计图中表示概率，横轴是数据的值，纵轴是横轴上对应数据值的概率。 很显然的，根据数据类型的不同，概率分布分为两种：离散概率分布，连续概率分布。 那么，问题就来了。为什么你要关心数据类型呢 ...
分类：
其他好文 时间：
2020-06-29 17:15:06
阅读次数：
67
推断统计 是研究如何利用样本数据来推断总体特征的统计方法 从样本信息外推到总体，以最终获得对总体问题的解答 今日内容 统计学的几个概念 概率分布 抽样分布 参数估计 假设检验 统计学的几个概念 变量 1 分类变量 无序分类变量 说明事物类别的一个名称，如性别有男女两种，二者无大小之分，无顺序之分，还 ...
分类：
其他好文 时间：
2020-06-26 14:33:05
阅读次数：
99
目录 条件随机场CRF—— 前向后向算法评估标记序列概率 条件随机场CRF—— 模型参数学习 条件随机场CRF—— 维特比算法解码 一、条件随机场CRF—— 前向后向算法评估标记序列概率 linear-CRF第一个问题是评估推断（Inference），即给定 linear-CRF的条件概率分布P(y ...
分类：
其他好文 时间：
2020-06-26 10:32:29
阅读次数：
104
Beta分布 beta分布可以看做一个概率的概率分布。首先试验是伯努利试验，它符合二项式分布。而Beta分布是先有一些试验结果，比如说有100个试验结果，其中30次成功，70次失败，然后在这个基础上继续试验，把新的试验结果加到原有结果上，beta分布就是这一系列操作后是某一概率的可能性大小，分布曲线 ...
分类：
其他好文 时间：
2020-06-24 16:21:05
阅读次数：
72
目录 知识串讲 HMM VS MEMM 从随机场到马尔科夫随机场 条件随机场(CRF) MRF因子分解定理 线性链条件随机场(Linear-CRF) 一句话简介：条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型 ...
分类：
其他好文 时间：
2020-06-21 23:30:06
阅读次数：
52
