在机器学习或者是模式识别其中有一种重要的分类器叫做：SVM 。这个被广泛的应用于各个领域。可是其计算的复杂度以及训练的速度是制约其在实时的计算机应用的主要原因。因此也非常非常多的算法被提出来。如SMO，Kernel的方法。 可是这里要提到的 Regularized least-squares cla ...
分类：
其他好文 时间：
2017-07-22 16:49:19
阅读次数：
183
Ref: 线性收敛的随机优化算法 之 SAG、SVRG 很多常见的机器学习模型的目标（比如最小二乘做线性回归、逻辑回归）都可以概括成以下这种一般形式： 其中 代表样本的损失函数，是模型的参数，代表正则化项（用于控制模型复杂度或者模型稀疏度等等），有些时候这个正则化项是不平滑的，也就是说它可能不可导。 ...
分类：
其他好文 时间：
2017-07-12 20:12:50
阅读次数：
629
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">watermark/2/text/aHR0... ...
分类：
其他好文 时间：
2017-07-05 13:28:09
阅读次数：
119
1. 简单列子： 一个损失函数L与参数x的关系表示为： 则 加上L2正则化，新的损失函数L为：（蓝线） 最优点在黄点处，x的绝对值减少了，但依然非零。 如果加上L1正则化，新的损失函数L为：（粉线） 最优点为红点，变为0，L1正则化让参数的最优值变为0，更稀疏。 L1在江湖上人称Lasso，L2人称 ...
分类：
其他好文 时间：
2017-07-02 10:11:02
阅读次数：
155
在深度学习中，许多策略可以减少测试误差，可能以增加训练误差为代价，这些策略统一称为正则化。 在《deep learning》中，正则化被定义为 ‘any modification we make to a learning algorithm that is intended to reduce i ...
分类：
其他好文 时间：
2017-07-02 10:10:53
阅读次数：
161
ps:转的。当时主要是看到一个问题是L1 L2之间有何区别，当时对l1与l2的概念有些忘了，就百度了一下。看完这篇文章，看到那个对W减小，网络结构变得不那么复杂的解释之后，满脑子的6666 >把网络权重W看做为对上一层神经元的一个WX+B的线性函数模拟一个曲线就好。知乎大神真的多。 版权声明：本文为 ...
分类：
其他好文 时间：
2017-06-20 00:16:38
阅读次数：
221
文献[1]，交互多模型粒子滤波器 提出了一个新的方法：基于马尔科夫交换系统的多模型粒子滤波器。该滤波器利用交互式模型过滤器（IMM）和正则化粒子滤波器（正则化粒子滤波器概率密度是高斯概率密度的混合）的相互作用来处理非线性和非高斯噪声。在每个模式中使用固定数量的粒子，可避免现有的马尔科夫交换系统的多模 ...
分类：
其他好文 时间：
2017-06-19 12:51:02
阅读次数：
1112
http://blog.csdn.net/pipisorry/article/details/52247379 http://webdataanalysis.net/data-analysis-method/data-normalization/ http://www.csuldw.com/2015 ...
分类：
其他好文 时间：
2017-06-12 00:35:49
阅读次数：
236
解释之前，先说明这样做的目的：如果一个模型我们只打算对现有数据用一次就不再用了，那么正则化没必要了，因为我们没打算在将来他还有用，正则化的目的是为了让模型的生命更长久，把它扔到现实的数据海洋中活得好，活得久。 再简单解释一下正则化，以下内容来自PRML前三章，具体页数记不清了。 上图中的模型是线性回 ...
分类：
其他好文 时间：
2017-06-02 19:38:02
阅读次数：
616
正则化，归一化的概念 基于Matlab介绍正则化方法 正则化方法：L1和L2 regularization、数据集扩增、dropout 基于Matlab介绍机器学习中的正则化，理解正则化原理 机器学习之正则化（Regularization） 本来以为，数据归一化之前需要查看它的分布类型，所以有下面两 ...
分类：
其他好文 时间：
2017-06-01 15:16:26
阅读次数：
148
