《统计学习方法》李航 读书笔记

习题

1.1 伯努利模型下的极大似然估计与贝叶斯估计。

答：

伯努利模型：总体信息、样本信息
\[ P(A|\theta) = \sum_{i=1}^{N}\frac{I(O_i = 1)}{N} \quad ^{[1]} \]

贝叶斯估计：总体信息、样本信息、先验信息
\[ P(A|\theta_{Bayes}) = \frac{k+1}{N+2} \]
[1] 《概率论与数理统计（第二版）》卯师松. 高等教育出版社

1.2 当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。

经验风险最小化 \(\min \frac{1}{N}\sum_{i=1}^{N} L(y_i|f(x_i))\)

对数损失函数 \(L(Y,P(X|Y)) = -\log P(Y|X)\)

证明：

损失函数为对数函数时的经验风险最小化

\[ \begin{align} \min \frac{1}{N}\sum_{i=1}^{N} -\log P(Y|X) & = \max \frac{1}{N}\sum_{i=1}^{N} \log P(Y|X) \& \Longrightarrow \max \frac{1}{N}\log\sum_{i=1}^{N} P(Y|X) \& \Longrightarrow \max \frac{1}{N} \sum_{i=1}^{N} P(Y|X) \quad 极大似然估计 \end{align} \]