码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习-逻辑回归

时间:2020-01-09 18:32:03      阅读:73      评论:0      收藏:0      [点我收藏+]

标签:block   关联   span   机器   分类   相同   逻辑回归   sig   类别   

逻辑回归公式推导

二分类问题

数据集 Z = {X,Y}, 其中结果集 \(y \in \{0,1\}\)
对于给定的x, 记y=1的概率为 \(p_x ( 0 \leqslant p_x \leqslant 1 )\), 那么

  • \({ \displaystyle p(y|x) = \left\{ \begin{array}{rcl} p_x, & y=1 \\ 1-p_x, & y=0 \end{array}\right\} = p_{x}^{y}(1-p_{x})^{1-y}}\)

假设概率分布

  • \({ \displaystyle p_x = \sigma (\omega x + b ) = \frac{1}{1+e^{-(\omega x+b)}}}\)

  • \(\displaystyle \Rightarrow\) 对数几率 \({\displaystyle z = \ln \frac{p_x}{1-p_x}} = \omega x + b\)

此处假设所有 \(x\)\(p_x\) 之间由相同的一组参数线性相关联,然后用sigmoid函数确保值域在[0,1]

理论上可以假设任意的映射形式 \(f: x \rightarrow p_x ( 0 \leqslant p_x \leqslant 1 )\)

线性关联的含义 : x的每个分量对总体的贡献是相互独立的

损失函数

  • \({\displaystyle p_x = f(x) = \sigma(\omega x + b )}\)

  • 分布函数 \(P(\omega,x,y)=\displaystyle{p_{x}^{y}(1-p_x)^{1-y}}\)

  • 似然函数 \(P(\omega,X,Y)=\displaystyle\Pi_{i} p_{x_i}^{y_i}(1-p_{x_i})^{1-y_i}\)

  • 损失函数 \(loss = - \log P(x) = - \sum_i { \left\{ y_i \log p_{x_i} + (1 - y_i ) \log ( 1 - p_{x_i} ) \right \} }\)

    \(\min 损失函数 \Leftrightarrow \max 似然函数\)

如果更改类别标签 Y = {-1, 1}

  • \({ \displaystyle y \Rightarrow \frac{ 1 + y}{2}}, \{-1,1\} \Rightarrow \{0,1\}\)

  • \({ \displaystyle p(y|x) = \left\{ \begin{array}{rcl} p_x, & y=1 \\ 1-p_x, & y=-1 \end{array}\right\} = p_{x}^{(y+1)/2}(1-p_{x})^{(1-y)/2}}\)

  • \({ \displaystyle loss = - \log P(x) = - \sum_i { \left\{ \frac{1 + y_i}{2} \log p_{x_i} +\frac{1 - y_i}{2} \log ( 1 - p_{x_i} ) \right \} } }\)

机器学习-逻辑回归

标签:block   关联   span   机器   分类   相同   逻辑回归   sig   类别   

原文地址:https://www.cnblogs.com/lifuxiang/p/12105434.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!