噪声：误标、对同一数据点的标注不一致、数据点信息不准确...... 噪声是针对整个输入空间的。 存在噪声的情况下，VC bound依旧有用： 存在噪声，就是f >p(y|x)，f是p的特殊情况：如p(0|x)=1,p(1|x)=0。 VC bound本身就不管f的。 其实，推VC bound的时候第 ...
分类：
其他好文 时间：
2017-10-07 20:41:27
阅读次数：
164
Perceptron Learning Algorithm 感知器算法， 本质是二元线性分类算法，即用一条线／一个面／一个超平面将1，2维／3维／4维及以上数据集根据标签的不同一分为二。 算法确定后，根据W取值的不同形成不同的h，构成假设集合H。 如2维感知器算法，根据w0,w1,w2的不同取值，构 ...
分类：
其他好文 时间：
2017-10-07 19:46:51
阅读次数：
204
学习的分类： 根据输出空间Y：分类（二分类、多分类）、回归、结构化（监督学习+输出空间有结构）； 根据标签y：监督学习、无监督学习（聚类、密度估计、异常点检测）、半监督学习（标注成本高时）、强化学习； 根据数据喂给方式：批、在线（PLA、强化学习）、主动学习； 根据输入空间X：具体（相关物理意义）、 ...
分类：
其他好文 时间：
2017-10-07 19:38:44
阅读次数：
150
机器学习是设计算法A，在假设集合H里，根据给定数据集D，选出与实际模式f最为相近的假设g（g可能与f相同，也可能不同）。 那什么情况下学习是可行的？即保证g和f是相似的。 1.数据集内的表现g约等于f; 2.g在数据集外的表现约等于g在数据集内的表现。 结合1,2可保证，由算法在给定数据集上学习到的 ...
分类：
其他好文 时间：
2017-10-07 19:37:39
阅读次数：
162
什么时候适合用机器学习算法？ 1.存在某种规则／模式，能够使性能提升，比如准确率； 2.这种规则难以程序化定义，人难以给出准确定义； 3.存在能够反映这种规则的资料。 所以，机器学习就是设计算法A，从包含许多假设的假设集合H里，根据所给的数据集D，选出和实际规则f最为相似的假设g。 注：g和f相似度 ...
分类：
其他好文 时间：
2017-10-07 19:36:54
阅读次数：
177
转自：http://blog.csdn.net/u013455341/article/details/46747343 在《机器学习基石》这门课里面也进入了第一讲的内容，这次学习到的是Percetron Learning Algorithm——感知学习算法。 PLA用于解决的是对于二维或者高维的 线 ...
分类：
其他好文 时间：
2017-10-06 13:00:05
阅读次数：
198
成长函数 mH(N)： 当有N个点的时候，在H集上有多少种二分的方法。 breakPoint: 对任意的n个点，都没有2^n种不同的分割。n就是breakPoint。 定义B(N, k) 在k是breakPoint的情况下，N个点最多有多少种不同的分割。 可以画出B(N, k)图像： B(N, 1) ...
分类：
其他好文 时间：
2017-09-13 23:11:16
阅读次数：
133
天下没有白吃的午餐，从样本内到样本外永远无法估计。 抽样的话，样本内频率和样本外概率相等PAC （probably approximately correct） 一个重要的事情是样本要在总体分布中取。 Ein(h) = sum(isSame(yHatn, yn)) 只要N足够大， Ein和Eout就 ...
分类：
其他好文 时间：
2017-09-09 21:42:16
阅读次数：
126
一、不同的output 1、二分类 2、多分类 3、回归问题 4、structured learn: 从一个句子 -> 句子每个 词的词性。 输出是一个结构化的东西。 例子：蛋白质数据 -> 蛋白质结构 演讲语音 -> 演讲parse tree 二、不同label的类型 1、监督 2、非监督： 聚类 ...
分类：
其他好文 时间：
2017-09-09 11:54:02
阅读次数：
188
感知机算法： 1、首先找到点，使得sign(wt * xt) != yt， 那么如果yt = 1，说明wt和xt呈负角度，wt+1 = wt + xt能令wt偏向正角度。 如果yt = -1, 说明xt和wt呈正角度，wt+1 = wt - xt 能令wt偏向负角度。 总之，参数更新为wt+1 = ...
分类：
其他好文 时间：
2017-09-08 01:14:24
阅读次数：
198
