码迷,mamicode.com
首页 > 系统相关 > 详细

machine learning(13) --Regularization:Regularized linear regression

时间:2015-09-30 16:14:40      阅读:245      评论:0      收藏:0      [点我收藏+]

标签:

machine learning(13) --Regularization:Regularized linear regression

 

  • Gradient descent
    • without regularization

                  技术分享

    • with regularization

                   技术分享

      • θ0与原来是的没有regularization的一样
      • θ1-n和原来相比会稍微变小(1-αλ⁄m)<1

 

  • Normal equation
    • without regularization

               技术分享

    • with regularization

                       技术分享

  • 在normal equation中,当XTX不可逆时

        技术分享

    • 若m<=n时,会出现矩阵不可逆的情况
    • 虽然在octave中pinv当X不可逆时也可以计算,但如果使用的语言或者是使用inv这种时,当X不可逆时就无法计算
    • Regularization考虑到了这一点,当+技术分享后,矩阵一定可逆。

machine learning(13) --Regularization:Regularized linear regression

标签:

原文地址:http://www.cnblogs.com/yan2015/p/4849248.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!