杜少的 blog Lecture 7：The VC Dimension 7.1 Definition of VC Dimension VC Dimension ： The formal name of maximum non-break point 对有的 infinite hypothesis V ...
分类：
其他好文 时间：
2017-12-18 00:00:40
阅读次数：
167
网友杜少的笔记 Lecture 6： Theory of Generalization 6.1 Restriction of Break Point 6.2 Bounding Function： Basic Cases 6.3 Bounding Function：Inductive Cases 6. ...
分类：
其他好文 时间：
2017-12-17 15:50:08
阅读次数：
202
致敬杜少 Lecture 5. Training versus Testing 5.1 Recap and Preview 5.2 Effective Number of Lines 5.3 Effective Number of Hypothesis 5.4 Break Point 题外话： ...
分类：
其他好文 时间：
2017-12-16 21:16:05
阅读次数：
182
向杜少致敬! Lecture 4: Feasibility of Learning 4.1. Learning is Impossible? Q1：在训练集 （in-sample） 能找到一个 g ≈ f, 但是你不能保证在应用数据 （out-sample）还有 g ≈ f 。 Q2：就算在某种约束 ...
分类：
其他好文 时间：
2017-12-16 15:53:53
阅读次数：
81
机器学习基石笔记1 lecture 1: The Learning Problem 1. 机器学习是什么 通过对数据的经验计算(experience computed)，提升性能度量 3个关键性质 a) 存在一种可以学习的潜在的模式(underlying pattern) b) 没有明确的可编程的定 ...
分类：
其他好文 时间：
2017-11-27 14:16:03
阅读次数：
242
一、正则化的假设集合 通过从高次多项式的H退回到低次多项式的H来降低模型复杂度, 以降低过拟合的可能性, 如何退回? 通过加约束条件： 如果加了严格的约束条件, 没有必要从H10退回到H2, 直接使用H2就可以了。 加上松弛点的约束条件, 使得模型比H2复杂, 但到不了H10那么复杂。 二、权重衰减 ...
分类：
其他好文 时间：
2017-10-18 23:12:22
阅读次数：
305
线性分类中的是非题 －－－＞概率题 （设置概率阈值后，大于等于该值的为O，小于改值的为X） －－－＞逻辑回归 O为1，X为0 逻辑回归假设 逻辑函数/S型函数：光滑，单调 自变量趋于负无穷时，因变量趋于0； 自变量趋于正无穷时，因变量趋于1； 自变量取0，因变量值为0.5 －－－模拟概率特性 三种线 ...
分类：
其他好文 时间：
2017-10-08 19:41:57
阅读次数：
144
一、二次假设 实际上线性假设的模型复杂度是受到限制的， 需要高次假设打破这个限制。 假设数据不是线性可分的，但是可以被一个圆心在原点的圆分开， 需要我们重新设计基于该圆的PLA等算法吗？ 不用， 只需要通过非线性转换将X域圆形可分变为Z域线性可分！ 通用的二次假设集 二、非线性转换 好的二次假设 非 ...
分类：
其他好文 时间：
2017-10-08 19:40:12
阅读次数：
208
线性回归假设 代价函数－－－均方误差 最小化样本内代价函数 只有满秩方阵才有逆矩阵 线性回归算法流程 线性回归算法是隐式迭代的 线性回归算法泛化可能的保证 线性分类是近似求解，线性回归是解析求解， 线性分类中使用0/1误差，线性回归中使用均方误差， 误差方面，线性分类能小于线性回归， 但线性回归速度 ...
分类：
其他好文 时间：
2017-10-08 12:13:19
阅读次数：
144
当N大于等于2，k大于等于3时， 易得：mH(N)被Nk-1给bound住。 VC维：最小断点值-1/H能shatter的最大k值。 这里的k指的是存在k个输入能被H给shatter，不是任意k个输入都能被H给shatter。 如：2维感知机能shatter平面上呈三角形排列的3个样本点，却shat ...
分类：
其他好文 时间：
2017-10-07 20:52:41
阅读次数：
192
