机器学习 正则化+回归与分类辨析 这篇文章是对 "自己早期一篇讲正则化和回归的" 补充。当时写作那篇文章的时候自己还刚刚入门机器学习，许多知识是理解了，但是缺少从一定的高度上的总结。结合这篇来看原来的那篇，不容易乱。 首先要明确，正则化不是回归的专利，回归和分类都是可以使用的。在回归中使用正则化就是 ...
分类：
其他好文 时间：
2019-12-26 22:51:58
阅读次数：
161
一、机器学习是什么 机器学习是人类用数学的语言通过大量的数据训练"教会"计算机做出一系列的行为。 二、机器学习的主要算法 ①线性回归算法 衍生的：正则化 ②逻辑回归算法 ③KNN算法 衍生的KD-tree 三、算法介绍 ①线性回归算法 运用线性模型y=ax+b，去拟合数据集，进行数据集的预测。在算法 ...
分类：
编程语言 时间：
2019-12-26 19:48:00
阅读次数：
117
SGDSolver类简介 Solver类用于网络参数的更新，而SGDSolver类实现了优化方法中的随机梯度下降法（stochastic gradient descent），此外还具备缩放、正则化梯度等功能。caffe中其他的优化方法都是SGDSolver类的派生类，重载了基类的 函数，用于各自计算 ...
分类：
其他好文 时间：
2019-12-19 10:04:52
阅读次数：
96
6.3 preprocessing data数据预处理 https://scikit learn.org/stable/modules/preprocessing.html standardization or mean removal and variance scaling 归一化、正则化、标准 ...
分类：
其他好文 时间：
2019-12-16 17:46:37
阅读次数：
124
过拟合问题 导致结果不正确。 解决办法 使$\theta$的取值尽量小，已达到曲线平滑。 但当$\theta$取值过小会导致 欠拟合 改变代价函数 线性回归： $$J(\theta)=\frac{1}{2m}(\sum_{i=1}^{m}({h_\theta(x^i) y(x^i)})^2+\lam ...
分类：
其他好文 时间：
2019-12-10 22:13:33
阅读次数：
106
之前讲过SVM，是通过最大化间隔导出的一套方法，现在从另外一个角度来定义SVM，来介绍整个线性SVM的家族。 大纲： 线性支持向量机简介L2正则化L1-loss SVC原问题L2正则化L2-loss SVC原问题L2正则化SVC对偶问题L1正则化L2-loss SVC原问题多类线性支持向量机实验环节 ...
分类：
其他好文 时间：
2019-12-03 21:56:45
阅读次数：
94
模型泛化优化之 L1 L2 正则化. 涉及正则化认识, 梯度方向来理解, 交叉校验调参, L1 L2比较等 ...
分类：
其他好文 时间：
2019-12-03 01:28:41
阅读次数：
132
原因1-在训练中应用正则化（加了正则项），但在验证/测试中未应用正则化 正则化方法通常会牺牲训练准确性来提高验证/测试准确性——在某些情况下，可能导致验证loss低于训练loss。原因2-训练loss是在每个epoch测量的，而验证loss是在每个epoch后测量的 在整个epoch内，您的训练lo ...
分类：
其他好文 时间：
2019-12-01 21:21:45
阅读次数：
669
大纲： 算法分类有监督学习与无监督学习分类问题与回归问题生成模型与判别模型强化学习评价指标准确率与回归误差ROC曲线交叉验证模型选择过拟合与欠拟合偏差与方差正则化 半监督学习归类到有监督学习中去。 有监督学习大部分问题都是分类问题，有监督中的分类问题分为生成式模型和判别模型。 分类问题常用的评价指标 ...
分类：
其他好文 时间：
2019-11-30 18:55:39
阅读次数：
98
scale 与 normalize Scale 和Normalization(正则化) Scale(标准化)和Normalization(正则化) 归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered） ...
分类：
其他好文 时间：
2019-11-29 10:59:10
阅读次数：
120
