改系列只为记录我学习 udacity 中深度学习课程！！ 1. 整个课程分为四个部分，如上图所示。 第一部分将研究逻辑分类器，随机优化以及实际数据训练。 第二部分我们将学习一个深度网络，和使用正则化技术去训练一个更大的模型 第三部分我们将深入研究图像和卷积模型 第四部分我们将学习文本和序列，我们将训 ...
分类：
其他好文 时间：
2016-10-29 18:26:20
阅读次数：
551
今天在看李航的《统计学习方法》的决策树剪枝过程中，又一次发现了正则化这个概念。故百度并记录如下。 ...
分类：
其他好文 时间：
2016-10-13 02:36:36
阅读次数：
275
大概用了一个月，Andrew Ng老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢！ ...
分类：
其他好文 时间：
2016-10-07 13:32:16
阅读次数：
234
正则化（Regularization）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作l1-norm和l2-norm，中文称作L1正则化和L2正则化，或者L1...
分类：
其他好文 时间：
2016-09-05 09:16:53
阅读次数：
824
本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化... ...
分类：
其他好文 时间：
2016-08-31 18:25:26
阅读次数：
278
1.交叉熵代价函数 2.正则化方法：L1和L2 regularization、数据集扩增、dropout 3. 数据预处理 4.机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size 5.随机梯度下降（Stochastic gradient descent）和 批量梯度下降 ...
分类：
其他好文 时间：
2016-08-22 21:41:51
阅读次数：
155
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) ...
分类：
其他好文 时间：
2016-08-17 21:06:22
阅读次数：
302
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）
正则化方法：防止过拟合，提高泛化能力
在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减...
分类：
其他好文 时间：
2016-07-19 10:39:32
阅读次数：
138
Coursera公开课笔记: 斯坦福大学机器学习第七课“正则化”
NLPJob
斯坦福大学机器学习第七课”正则化“学习笔记，本次课程主要包括4部分：
1)
The Problem of Overfitting(过拟合问题)
2) Cost Function(成本函数)
3) Regularized Linear Regression(线性回归的正则化...
分类：
其他好文 时间：
2016-07-03 01:50:44
阅读次数：
202
L1正则化和L2正则化的区别：L1起截断作用，L2起缩放作用（不让参数θ过大） 数据和特征处理 数据清洗 正负样本不平衡的处理方法：上采样，下采样，修改损失函数 数值型特征：幅度调整，归一化，离散化 类别型特征：one-hot 编码 组合特征 文本特征中的TF-IDF:TF(t)=(t在当前文中出现 ...
分类：
其他好文 时间：
2016-06-29 20:40:42
阅读次数：
501
