统计学习方法　李航　逻辑斯谛回归与最大熵模型

标签：博客   log   解法   统计学习   映射   转换   src   优化问题   原理   

介绍了分布函数和概率密度，函数特点．



这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数．
https://blog.csdn.net/hfutxiaoguozhi/article/details/78843932 这篇博客对此解释非常好．

既然已经有了模型，接下来就是求参数了，所以转换成似然函数最优化问题，然后一般就是梯度下降了．


这里推广到多项不是太理解，网上也没找到什么有用的解释．





这里的最大熵原理大概就是未知就假定等概率．


实在看不懂







这里实际上就是这个模型的解法，没什么难点



一些证明，略过．
　










这些是最优化算法，表示看不懂，我就会一个梯度下降．

统计学习方法　李航　逻辑斯谛回归与最大熵模型

标签：博客   log   解法   统计学习   映射   转换   src   优化问题   原理   

原文地址：https://www.cnblogs.com/w-j-c/p/10496476.html