码迷,mamicode.com
首页 > 其他好文 > 详细

PRML 第三章 - 线性回归

时间:2014-06-09 13:19:17      阅读:418      评论:0      收藏:0      [点我收藏+]

标签:c   style   blog   a   http   color   

  这段时间组里在有计划地学习书籍PRML (Pattern Recognition and Machine Learning),前两天自己做了一个里面第三章linear regression的分享,这里把当时做的这个ppt分享给大家。

  对于线性回归这一章,首先列一下我认为比较重要的几个问题(ppt slide 4有),建议大家在读的过程总带着这几个问题:

  1.    linear basis function model中过拟合问题处理方式;
  2.    如何分别从频率角度(Frequentist Viewpoint)和贝叶斯角度理解模型复杂度(model complexity)问题?
  3.    贝叶斯线性回归的sequential nature怎么直观地理解(里面有一副图非常直观)?
  4.    在贝叶斯方法中,如何评估model evidence,以及回归参数w的有效性(是否有效、有效个数)?特别地,对于拟合参数的不同维度,什么时候靠近训练数据集的最大似然估计,什么时候更加倾向于最初的先验假设(也就训练数据集对该参数的作用有限)?

   PRML这本书的示例图做得特别好,信息量很丰富,非常有利于直观地理解复杂的数学公式,建议在读的过程中详细地扣一下每幅图。例如下面这几幅:

bubuko.com,布布扣bubuko.com,布布扣bubuko.com,布布扣bubuko.com,布布扣

   ppt的备注里有一些简单的说明和个人的一些理解,最后本来还想补充讲一下目前求解逻辑回归(当然跟这一章线性回归关系不大)最有效的online算法FTRL(google的论文)的一些细节问题,可惜时间不够暂时没做出来。下一篇博文再整理一下sequential learning和FTRL方面的资料。

   博客园不能搞附件,ppt放到网盘了:http://yun.baidu.com/share/link?shareid=1288754569&uk=789232109 

PRML 第三章 - 线性回归,布布扣,bubuko.com

PRML 第三章 - 线性回归

标签:c   style   blog   a   http   color   

原文地址:http://www.cnblogs.com/EE-NovRain/p/3776801.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!