损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term)
1. 误差部分
1.1 gold term,0-1损失函数,记录分类错误的次数
1.2 Hinge loss, 折叶损失,关于0的阀值
定义:E(z)=max(0,1-z)
应用: SVM中的最大化间隔分类,max-margin loss最大边界损...
分类：
其他好文 时间：
2016-06-21 07:56:01
阅读次数：
343
机器学习一Linear Regression（线性回归），采用的是python实现梯度下降方法，使用了L2正则化...
分类：
其他好文 时间：
2016-05-18 18:46:50
阅读次数：
198
正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 ...
分类：
其他好文 时间：
2016-05-13 20:37:39
阅读次数：
174
<span style="font-family:宋体;mso-ascii-font-family:Cambria;mso-ascii-theme-font:minor-latin;
mso-fareast-font-family:宋体;mso-fareast-theme-font:minor-fareast;mso-hansi-font-family:
Cambria;mso-hansi-the...
分类：
其他好文 时间：
2016-05-13 02:18:58
阅读次数：
305
线性回归与正则化线性回归总述追根溯源，回归(Regression)这一概念最早由英国生物统计学家高尔顿和他的学生皮尔逊在研究父母亲和子女的身高遗传特性时提出。他们的研究揭示了关于身高的一个有趣的遗传特性：若父母个子高，其子代身高高于平均值的概率很大，但一般不会比父母更高。即身高到一定程度后会往平均身高方向发生“回归”。这种效应被称为“趋中回归(Regression Toward the Mean)”...
分类：
其他好文 时间：
2016-05-06 14:58:14
阅读次数：
1014
目录 1 特征工程是什么？2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 无量纲化与正则化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据变换 2.6 回顾3 特征选择 3.1 Filter 3.1.1 方差选择法 ...
分类：
编程语言 时间：
2016-05-02 18:31:47
阅读次数：
476
1. 正则化概述（Regularization） 监督学习可以简单的理解为在最小化loss function 的同时，保证模型的复杂度尽可能的低，防止出现过拟合（overfitting）。常用的loss函数有square loss(Regression)，Hinge Loss(SVM)，exp-lo... ...
分类：
其他好文 时间：
2016-04-15 21:31:38
阅读次数：
275
如果针对某个学习问题，从众多模型中选择一个模型，能够在偏差和方差中做一个平衡，怎么样才能自动选择呢？例如，使用多项式回归模型 h(x)=g(θ0+θ1x+θ2x2+...+θkxk)，想自动决定 k 的值，在 0~10 之间选择。再比如，要自动选择局部权重回归中的带宽参数 τ，或者 L1 正则化 S ...
分类：
其他好文 时间：
2016-04-08 10:21:25
阅读次数：
159
第7章 支持向量机
支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问。支持向...
分类：
其他好文 时间：
2016-03-30 13:17:03
阅读次数：
240
运用PCA对高维数据进行降维，有一下几个特点： （1）数据从高维空间降到低维，因为求方差的缘故，相似的特征会被合并掉，因此数据会缩减，特征的个数会减小，这有利于防止过拟合现象的出现。但PCA并不是一种好的防止过拟合的方法，在防止过拟合的时候，最好是对数据进行正则化； （2）使用降维的方法，使算法的运 ...
分类：
其他好文 时间：
2016-03-30 09:52:43
阅读次数：
258
