hoeffding 不等式 说明了在样本量足够大时，抽样估计能够接近真实值。 类比到ml中，对给定的一个假设空间中的h, 它在整个样本空间中的表现可以由在部分样本点上的表现来近似。也就是说样本足够多的时候，Ein与Eout近似相等。 现在已经知道对任意给定的h，在N足够大时，Ein近似于Eout，如 ...
分类：
其他好文 时间：
2017-06-20 16:19:13
阅读次数：
219
论证了在有noise的情形下，机器依然可以学习。然后介绍了error 的几种衡量方法。 想象在抽取弹珠的过程中，弹珠会不断地变色，那么在抽出来的时刻，它的颜色对应一个概率分布。 类比到有noise的情形，就是 对一个x，本来是确定的，加入noise后， 对应到了一个概率分布。 即便如此，在变色弹珠抽 ...
分类：
其他好文 时间：
2017-06-20 16:17:42
阅读次数：
163
什么时候适合用机器学习来解决问题？ 存在潜在的规律用于学习 但是使用编程定义这种规律困难 存在包含这些规律的数据 机器学习的一种描述： 通过数据D，一个假设的集合H以及一种演算法A，找到集合H中的某个假设g，来逼近真实函数f. A takes D and H to get g. 什么时候适合用机器学 ...
分类：
其他好文 时间：
2017-06-20 12:21:44
阅读次数：
141
摘要 本文主要借助对C++的标准模板库STL中实现的数据结构的学习和使用来加深对数据结构的理解。即联系数据结构的理论分析和详细的应用实现（STL），本文是系列总结的第一篇，主要针对线性表中的顺序表（动态数组）STL vector进行分析和总结。 引言 因为前段时间对台大的机器学习基石和技法课程进行了 ...
分类：
编程语言 时间：
2017-04-30 12:25:24
阅读次数：
305
简单模型揭示了数据的内在规律。而复杂的模型因为表达能力过强，所以无论数据有无规律都能分开数据。 有看影片时间前后的问题（比如看了前7部后过了一段时间又看了3部，这7部和3部不是同一个分布），不能简单的随机取样。 在银行里的资料是经过筛选的资料，没有存储拒绝给客户信用卡的资料。 Scale的时候不能把 ...
分类：
其他好文 时间：
2017-03-09 22:51:02
阅读次数：
210
模型简单点，deterministic noise 会小一些 Virtual examples:不是原始资料，是对原始资料变换后的资料，使资料多一点。可能与原始分布不同。 圈出来的条件是困难的。 W是球的法向量，不能沿着w更新，否则会超出constraint。 终止于负梯度与wreg平行。 大于0， ...
分类：
其他好文 时间：
2017-03-09 15:13:46
阅读次数：
218
假设弹珠颜色在变化，那么仍可估计拿出弹珠瞬间弹珠颜色的分布。颜色变化，产生noise。 ...
分类：
其他好文 时间：
2017-02-10 14:01:03
阅读次数：
135
1 如何做选择 目前为止，我们已经有了很多选择： 如何在这么多种可能的组合中做选择？我们的方式就是使用验证。 2 ...
分类：
其他好文 时间：
2017-02-09 19:09:07
阅读次数：
165
1、主要内容 沿着之前学些机器学习基石课程中学习到的工具进行分析，该工具主要就是vc维，沿着特征转换这一目标进行探讨： (1)、当数据的特征的数量很大时，如何进行特征转换？支撑向量机 (2)、能不能找到具有预测性的特征然后联合起来？ (3)、如何发现隐藏的具有预测意义的特征？原先的神经网络到现在的深 ...
分类：
其他好文 时间：
2017-02-04 21:18:20
阅读次数：
237
Important： 样本够大且独立（同）分布，则可能能从样本推知全体。 选择过多恶化情形。 ...
分类：
其他好文 时间：
2017-02-01 15:40:38
阅读次数：
170
