码迷,mamicode.com
首页 > 其他好文 > 详细

9月5日 正则化总结笔记

时间:2017-09-06 14:36:09      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:讲解   一个   png   结束   基础知识   能力   logs   人工智能   .com   

---恢复内容开始---

学习正则化 一下知识需要全部掌握:

  1.线性回归

  2.逻辑回归

接下来的笔记中,将假设上面的基础知识全部掌握的程度讲解:

  学习 正则化 首先 我们需要知道为什么学习正则化! 无论是我们在进行线性拟合 还是逻辑拟合的时候,都会发生以下三种情况:

  .技术分享

  根据图可以看到3中情况,我们来说明以下这三种情况

  1.欠拟合,这里拟合的一条 方程 看起来并没有更好的契合我们所给的训练集,  因此 这样的 一个方程 对我们之后 正常使用时 , 预测产生的误差会非常之大

  2.正好的拟合, 这个拟合 就看起来是恰到好处

  3.过渡拟合,之后,我们用到的成品是用来预测数据的,这也是人工智能所实现的一种形式,如果过渡的拟合数据的话, 就会因为之后出现的我们做出的预测偏差放大

 

  技术分享

  根据我们的数学经验可以得出   X 的 次数 越大,那么拟合程度也就越大       从而 预测的能力也就越差

  就这样我们就将降低拟合度的问题 转换成了 让   X的次数变小 ,从而来达到降低拟合度的问题

 

  因此我们的问题 最终转换为   正则化-->改善拟合度-->减少特征的次数(降低高次特征的权重) 

  

  以线性回归为例:

  模型:技术分享

 

  使高次的系数降低,高次项的权重减少,影响减少,过渡拟合的问题也就解决了

  |

  | 转化之后的代价函数

  技术分享

  

  

 

 

 

 

 

 

 

---恢复内容结束---

9月5日 正则化总结笔记

标签:讲解   一个   png   结束   基础知识   能力   logs   人工智能   .com   

原文地址:http://www.cnblogs.com/gongjn01/p/7484211.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!