码迷,mamicode.com
首页 > 其他好文 > 详细

L1 和L2正则化,拉普拉斯分布和高斯分布

时间:2020-04-11 09:28:26      阅读:340      评论:0      收藏:0      [点我收藏+]

标签:高斯   pack   http   范数   变量   表示   向量   mamicode   绝对值   

正则化是为了防止过拟合。

1. 范数

范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。 

范数的一般化定义:对实数p>=1, 范数定义如下:

 技术图片

L1范数:

当p=1时,是L1范数,其表示某个向量中所有元素绝对值的和。

L2范数:

当p=2时,是L2范数, 表示某个向量中所有元素平方和再开根, 也就是欧几里得距离公式。

 

2. 拉普拉斯分布

如果随机变量的概率密度函数分布为:

技术图片

 

 那么它就是拉普拉斯分布。其中,μ 是数学期望,b > 0 是振幅。如果 μ = 0,那么,正半部分恰好是尺度为 1/2 的指数分布。

 技术图片

 

 

3.高斯分布

又叫正态分布,若随机变量X服从一个数学期望为μ、标准方差为σ2的高斯分布,记为:
X∼N(μ,σ2),

则其概率密度函数为:

技术图片

 

技术图片

 

L1 和L2正则化,拉普拉斯分布和高斯分布

标签:高斯   pack   http   范数   变量   表示   向量   mamicode   绝对值   

原文地址:https://www.cnblogs.com/xinyuePhd/p/12677556.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!