码迷,mamicode.com
首页 > 其他好文 > 详细

第一章:统计学习及监督学习概论

时间:2020-01-05 10:13:03      阅读:95      评论:0      收藏:0      [点我收藏+]

标签:map   在线学习   输出   数据量   目录   增加   amp   lis   决策   

统计学习

  • 对象:data
  • 目的:预测和分析
  • 方法
    • 监督,无监督,强化学习

基本分类

  1. 监督学习
    • 从标注数据中学习预测模型
    • 建设\((X,Y)\)遵循联合概率分布\(P(X,Y)\), 样本独立同分布
    • 假设空间:输入空间到输出空间映射的集合
  2. 无监督
    • \(X\)是输入空间,\(Z\)是隐式结构空间,学习\(z=g(x)\)或者\(P(z|x)\)
  3. 强化学习
  4. 半监督
    • 少量标记数据,大量无标记数据
  5. 主动学习
    • 给实例让教师标注

按模型分类

  1. 概率模型和非概率模型

    • 监督学习
      • 概率模型(生成模型):\(P(y|x)\)
      • 非概率模型(判别模型): \(y=g(x)\)
    • 无监督学习
    • 概率模型: \(P(z|x),P(x|z)\)
    • 非概率模型: \(z= g(x)\)

    概率模型可以表示为联合概率分布的形式

  2. 线性模型和非线性模型

  3. 参数化模型和非参数化模型

    • 参数化模型: 模型参数维度固定
    • 非参数化模型:参数随数据量增大而不断增加

按算法分类

  1. 在线学习
  2. 批量学习

按技巧分类

  1. 贝叶斯学习,利用贝叶斯定理

    \[P(\theta|D) = \frac{P(\theta)P(D|\theta)}{P(D)}\]

    \(P(\theta|D)\)后验概率,\(P(\theta)\)先验概率,\(P(D|\theta)\)似然函数

    如果要给一个模型,给后验概率最大的模型(MAP)

    预测时\(P(x|D) = \int P(x|\theta,D)P(\theta|D)d\theta\)

  2. 核方法

三要素

方法=模型+策略+算法

模型

  • 假设空间:决策函数集合

    \(F=\{f|Y=f(X)\}\)

    \(F=\{f|Y=f_\theta(X),\theta\in R^n\}\),参数\(\theta\)所在的空间叫参数空间

  • 假设空间:条件概率集合

    \(F=\{P|P(Y|X)\}\)

    \(F = \{P_\theta|P_\theta(Y|X),\theta\in R^n\}\)

策略

引入损失函数,风险函数度量模型好坏

  • 0-1损失:\(\begin{equation} L(Y,f(x))=\left\{ \begin{aligned} 1 & , & Y\neq f(x) \\ 0 & , & Y =f(x) \end{aligned} \right. \end{equation}\)
  • 平方损失函数:\(L(Y,f(X))= (Y-f(X)^2\)
  • 绝对损失函数: \(L(Y,f(X)) = |Y-f(X)|\)
  • 对数损失函数:\(L(Y,P(Y|X))=-log P(Y|X)\)

风险损失,期望损失:

\(\begin{align*}R_{exp}(f) = &E_P[L(Y,f(x))] \\=&\int_{X\times Y} L(y,f(x))p(x,y)dxdy\end{align*}\)

由于不知道联合概率分布,只能使用经验风险,或者经验损失:

\(R_{emp}(f) = \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))\)

由于样本数量有限,大数定律不起作用

  • 经验分布最小化学习

    \(\underset{f\in F}{min} \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))\)

  • 结构风险最小化学习

    \(R_{stm}(f) = \frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)\)

    \(J(f)\)是泛函,衡量模型复杂度

算法

求解最优化问题

生成模型和判别模型

监督学习方法可以分为生成方法或者判别方法,所学到的模型分别为生成模型或者判别模型

生成方法

由数据学习联合分布\(P(X,Y)\),然后求条件概率\(P(Y|X)=\frac{P(X,Y)}{P(X)}\)

典型:朴素贝叶斯,隐马尔科夫模型

判别方法

直接学习决策函数\(f(X)\),或者条件概率分布\(P(Y|X)\)

应用

  • TP:把真的预测成真的

  • FN:把真的预测成假的

  • TN:把假的预测成假的

  • FP:把假的预测成真的

precision:\(P = \frac{TP}{TP+FP}\)

recall:\(R = \frac{TP}{TP+FN}\)

F1:\(\frac{2}{F_1} = \frac{1}{P}+\frac{1}{R}\)

习题

  1. 伯努利模型n次实验结果,k次结果为1,

    • 极大似然估计

      \(f(X,\theta) = \theta^k(1-\theta)^{n-k}\)

      \(\begin{align*}\underset{\theta}{argmax}f(X,\theta) =& \underset{\theta}{argmax}log(f(X,\theta)) \\=&\underset{\theta}{argmax}(klog\theta +(n-k)log(1-\theta)) \end{align*}\)

      \(g(\theta) = klog\theta +(n-k)log(1-\theta)\)

      \(g'(\theta) = (1-\theta)k-(n-k)(1-\theta)\)

      \(g'(\theta)=0\)的解为\(\theta=\frac{k}{n}\)

    • 贝叶斯估计

第一章:统计学习及监督学习概论

标签:map   在线学习   输出   数据量   目录   增加   amp   lis   决策   

原文地址:https://www.cnblogs.com/Lzqayx/p/12151009.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!