拉格朗日对偶性 拉格朗日对偶性 在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转为对偶问题，通过解对偶问题而得到原始问题的解。例如，最大熵模型与支持向量机。 原始问题 假设f(x)，ci(x)，hj(x)是定义在Rn上的连续可微函数。考虑约束最优化问题，即原 ...
分类：
其他好文 时间：
2019-08-21 11:47:08
阅读次数：
77
1.熵与最大熵原理 熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x)，则其熵为： 联合熵和条件熵 两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示 条件熵H(X|Y) = H(X ...
分类：
其他好文 时间：
2019-08-13 17:15:46
阅读次数：
90
作者：尘心链接：https://zhuanlan.zhihu.com/p/76003775 简述 文本分类在文本处理中是很重要的一个模块，它的应用也非常广泛，比如：垃圾过滤，新闻分类，词性标注等等。它和其他的分类没有本质的区别，核心方法为首先提取分类数据的特征，然后选择最优的匹配，从而分类。但是文本 ...
分类：
其他好文 时间：
2019-08-04 15:17:22
阅读次数：
123
概率图模型构建了这样一幅图，用观测节点表示观测到的数据，用隐含节点表示潜在的知识，用边来描述知识与数据的相互关系，最后基于这样的关系图获得一个概率分布，非常“优雅”地解决的问题。 概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等。主要在NLP领域用的较为广泛 1 概 ...
分类：
其他好文 时间：
2019-07-21 01:49:40
阅读次数：
146
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量... ...
分类：
其他好文 时间：
2019-07-19 18:26:51
阅读次数：
102
书中重要定义及一些理解 先通过介绍逻辑史蒂的分布来引出logist模型 而通过极大似然法来推导模型的参数估计问题 通过对模型参数的似然函数通过求导来得到递归方程 通过公式可以看出logist是对前面的感知机的升级版，感知机的判断方式过于简单。而其梯度下降的时候也将sign的去掉了，否则无法微分。 后 ...
分类：
其他好文 时间：
2019-06-12 11:03:38
阅读次数：
94
https://www.cnblogs.com/GarfieldEr007/p/5459629.html 图像算法：图像阈值分割 SkySeraph Dec 21st 2010 HQU Email：zgzhaobo@gmail.com QQ：452728574 Latest Modified Dat ...
分类：
编程语言 时间：
2019-05-15 09:47:35
阅读次数：
153
" " " " 介绍了分布函数和概率密度，函数特点． " " " " " " 这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数． https://blog.csdn.net/hfutxiaoguozhi/article/details/788439 ...
分类：
其他好文 时间：
2019-03-08 16:38:05
阅读次数：
179
GBDT的核心就在于累加所有树的结果作为最终结果。分类树决策树的分类算法有很多，以具有最大熵的特征进行分类，以信息增益特征进行分类（ID3），以增益率特征进行分类（C4.5），以基尼系数特征进行分类（CART分类与回归树）等等。这一类决策树的特点就是最后的结果都是离散的具体的类别，比如苹果的好/坏，性别男/女。回归树回归树与分类树的流程大致一样，不同的是回归树在每个节点都会有一个预测值，以年龄为例
分类：
其他好文 时间：
2018-12-12 10:32:53
阅读次数：
286
最大熵原理 承认已知事物（知识），对未知事物不做任何假设，没有任何偏见 最大熵存在且唯一（凸性） 概率平均分布等价于熵最大 最大熵模型的一般式 关于条件分布 P(Y|X)的熵为： 去掉负号，得到最大熵模型的等价式 MaxEnt 模型最后被形式化为带有约束条件的最优化问题，可以通过拉格朗日乘子法将其转 ...
分类：
其他好文 时间：
2018-12-10 11:27:31
阅读次数：
243
