码迷,mamicode.com
首页 > 其他好文 > 详细

逻辑斯蒂和最大熵-李航

时间:2018-05-18 00:34:27      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:最小值   小问题   sig   取值   需要   求导   估计   基于   表达   

1、逻辑斯蒂分布

sigmoid 曲线

二项逻辑斯蒂回归模型,实际上是二项判别模型。

基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log

多项逻辑斯蒂回归,实际是二项的扩展。

2、最大熵模型

由5.2.2节的熵模型。使我们需要的公式。

所谓最大熵,是指83页定义的条件熵的最大熵。

我们知道这个熵模型实际上是带负号的,负号变边,将求最大问题变成求最小问题,即凸函数问题。

A、引进拉格朗日问题,将该问题变换为拉格朗日问题,由对偶性质,得到求最小值的最大值,最小值可由求导得到,最大值可由求偏导得到。

3、最大似然估计

由最大似然估计得到最大似然估计的表达式

4、迭代尺度算法

5、拟牛顿法

45明天一起把代码弄出来

逻辑斯蒂和最大熵-李航

标签:最小值   小问题   sig   取值   需要   求导   估计   基于   表达   

原文地址:https://www.cnblogs.com/baochen/p/9053864.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!