正则化方法：L1和L2 regularization、数据集扩增、dropout本文是《Neural networks and deep learning》概览中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者...
分类：
其他好文 时间：
2015-05-19 22:09:23
阅读次数：
230
将软间隔支持向量机看做正则化模型上一小节中我们介绍了软间隔支持向量机，该模型允许有错分类数据的存在，从而使模型对数据有更好的适应性，有效避免过拟合的问题。
现在我们回顾一下松弛变量ξn，我们用ξn来记录违反分类边界的数据到边界的距离。
我们可以从另外一个角度，考虑一下ξn的计算：
对于任何一个点，如果该点违反了边界，那么ξn记录了其到边界的距离；如果没有违反，ξn为0。
所以我们可以...
分类：
其他好文 时间：
2015-04-23 02:08:58
阅读次数：
250
本博文程序是读取hadoop的hdfs中的文件，使用正则化解析出规定格式的数据，然后加载到sparkSQL数据库中。
正则化如果不太了解，请看正则表达式30分钟入门教程
package com.spark.firstApp
import org.apache.spark.SparkContext
import org.apache.spark._
import org.apache.lo...
分类：
数据库 时间：
2015-04-16 15:47:50
阅读次数：
243
再谈多项式回归，本节再次提及多项式回归分析，理解过拟合现象，并深入cross-validation(交叉验证),regularization(正则化)框架，来避免产生过拟合现象，从更加深入的角度探讨理论基础以及基于R如何将理想照进现实。...
分类：
编程语言 时间：
2015-04-10 18:10:29
阅读次数：
354
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上...
分类：
其他好文 时间：
2015-03-14 18:32:59
阅读次数：
63684
本节知识点： 贝叶斯统计及规范化 在线学习 如何使用机器学习算法解决具体问题：设定诊断方法，迅速发现问题 贝叶斯统计及规范化（防止过拟合的方法） 就是要找更好的估计方法来减少过度拟合情况的发生。 回顾一下，线性回归中使用的估计方法是最小二乘法，logistic 回归是条件概率的最大似然估计，朴素贝叶...
分类：
其他好文 时间：
2015-03-13 22:08:45
阅读次数：
417
引言
上一小节中，我们介绍了过拟合的概念，在机器学习中最大的危险就是过拟合，为了解决过拟合问题，通常有两种办法，第一是减少样本的特征（即维度），第二就是我们这里要说的“正则化”（又称为“惩罚”,penalty）。
从多项式变换和线性回归说起
在非线性变换小节中，我们有讨论Q次多项式变换的定义和其包含关系，这里如果是10次多项式变换，那么系数的个数是11个，而2次多项式的系数个数是...
分类：
其他好文 时间：
2015-03-01 22:24:47
阅读次数：
326
reference:http://www.cnblogs.com/chaosimple/p/4153167.html一、标准化（Z-Score），或者去除均值和方差缩放公式为：(X-mean)/std 计算时对每个属性/每列分别进行。将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，...
分类：
其他好文 时间：
2015-01-03 14:36:44
阅读次数：
241
