标签:block 关联 span 机器 分类 相同 逻辑回归 sig 类别
数据集 Z = {X,Y}, 其中结果集 \(y \in \{0,1\}\)
对于给定的x, 记y=1的概率为 \(p_x ( 0 \leqslant p_x \leqslant 1 )\), 那么
\({ \displaystyle p_x = \sigma (\omega x + b ) = \frac{1}{1+e^{-(\omega x+b)}}}\)
\(\displaystyle \Rightarrow\) 对数几率 \({\displaystyle z = \ln \frac{p_x}{1-p_x}} = \omega x + b\)
此处假设所有 \(x\) 的 \(p_x\) 之间由相同的一组参数线性相关联,然后用sigmoid函数确保值域在[0,1]
理论上可以假设任意的映射形式 \(f: x \rightarrow p_x ( 0 \leqslant p_x \leqslant 1 )\)
线性关联的含义 : x的每个分量对总体的贡献是相互独立的
\({\displaystyle p_x = f(x) = \sigma(\omega x + b )}\)
分布函数 \(P(\omega,x,y)=\displaystyle{p_{x}^{y}(1-p_x)^{1-y}}\)
似然函数 \(P(\omega,X,Y)=\displaystyle\Pi_{i} p_{x_i}^{y_i}(1-p_{x_i})^{1-y_i}\)
损失函数 \(loss = - \log P(x) = - \sum_i { \left\{ y_i \log p_{x_i} + (1 - y_i ) \log ( 1 - p_{x_i} ) \right \} }\)
\(\min 损失函数 \Leftrightarrow \max 似然函数\)
\({ \displaystyle y \Rightarrow \frac{ 1 + y}{2}}, \{-1,1\} \Rightarrow \{0,1\}\)
\({ \displaystyle p(y|x) = \left\{ \begin{array}{rcl} p_x, & y=1 \\ 1-p_x, & y=-1 \end{array}\right\} = p_{x}^{(y+1)/2}(1-p_{x})^{(1-y)/2}}\)
\({ \displaystyle loss = - \log P(x) = - \sum_i { \left\{ \frac{1 + y_i}{2} \log p_{x_i} +\frac{1 - y_i}{2} \log ( 1 - p_{x_i} ) \right \} } }\)
标签:block 关联 span 机器 分类 相同 逻辑回归 sig 类别
原文地址:https://www.cnblogs.com/lifuxiang/p/12105434.html