码迷,mamicode.com
首页 > 其他好文 > 详细

Softmax回归(Softmax Regression, K分类问题)

时间:2017-04-05 23:57:07      阅读:362      评论:0      收藏:0      [点我收藏+]

标签:blog   推广   nbsp   表达式   关系   softmax   res   ssi   span   

  1. Softmax回归K分类问题, 2分类的logistic回归的推广。其概率表示为:

    技术分享

对于一般训练集:

    技术分享

    技术分享

    技术分享

    技术分享

系统参数为:

    技术分享

  1. Softmax回归Logistic回归的关系

Softmax回归用于2分类问题,那么可以得到:

    技术分享

θ=θ0-θ1,就得到了logistic回归。所以实际上logistic回归虽然有2个参数向量,但这2个参数向量可以退化到1个参数向量。推广到K个类别,那么就需要K-1个参数向量

  1. 参数求解

类似于logistic regression,求最大似然概率,有:

    技术分享

其中1{k=y}为真值表达式,例如如果1{1+1=2},那么值为1,如果1{1+1=0},那么值为0。对数似然函数有:

    技术分享

上式中,仅有技术分享,所以有:

    技术分享

对上式求导数

    技术分享

    技术分享

Softmax回归(Softmax Regression, K分类问题)

标签:blog   推广   nbsp   表达式   关系   softmax   res   ssi   span   

原文地址:http://www.cnblogs.com/hgl0417/p/6670913.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!