标签：
$P(|E_{in}-E_{out}|>\epsilon) \leq 2Me^{-2\epsilon^2N}$
当M小时，能够保证Ein和Eout差不多，但是找不到比较小的Ein
当M很大时，能找到比较小的Ein，但是不能保证Ein和Eout差不多
所以，希望可以找到一个比较适合的M
$m_H$表示和假设集H相关的假设数量
$P(|E_{in}-E_{out}|>\epsilon) \leq 2m_He^{-2\epsilon^2N}$
首先想，将M归成若干类，每一类中的假设相似，对他们来说bad的数据集有很大一部分重叠
对于PLA来说，
对于1各点，线的类型有2种；2各点，线的类型有$2^2$种，
3各点，线的类型有$2^3$种；4各点，有$14<2^4$
用有效的线$effective(N)$，即成长函数$m_H(N)$的种类代替$2^N$
标签：
原文地址：http://www.cnblogs.com/porco/p/4605635.html
