杜少的 blog  

Lecture 7：The VC Dimension

7.1 Definition of VC Dimension

        VC Dimension ： The formal name of maximum non-break point

        对有的 infinite hypothesis VC 存在 breakpoint K， d_vc = K -1。  如果 inputs sample 数不大于 dvc 则能被该 hypothesis shatter。因为 VC Dimension 和 breakpoint 数值上很接近， 关于 VC Dimension 的讨论可以参考第 6 节课。不在此处赘述

                                            图 7-1

7.2 VC Dimension of Perceptrons

      现在我们来看下 Perceptrons 的  VC 维，   

                                         图 7-2

     看图 7-2 的红色部分，这是我们在前面的章节中已经得到的结论，即 T 足够的大就能在 in-sample 上得到 E(g) = 0。同时，不管是任何的 hypothesis， 只要 N 足够大就能得出 E_in  ≈ E_out 。 这就能得出结论 E_out(g) ≈ 0     

                                                 图 7-3

    从图 7-3 可以看出 1 维的 Perceptron 的 d_vc 是维 Perceptron 的 d_vc是 3。

     我们猜想 d 维 Perceptron 的 d_vc = d+1 ？

     Prove1：d_vc ≥ d  + 1。 如图 7-4 所示， 矩阵 X 是可逆矩阵。这组 inputs 能被 hypothesis shatter 掉，因为对于任意 y 都能找到 w = x^-1y。即 d_vc ≥ d+1

                                  图 7-4           

      Prove2：d_vc ≤ d + 1 。 如图 7-5 所示， 矩阵 X 的 rank 是 d+1， 所以肯定有一行 KK 是其它行的线性组合。所以行 KK 依赖其它行。d 维感知器 hypothesis 不能 shatter d+2 行数据，即 d_vc < d+2 也就是 d_vc ≤ d+1 

　　           图 7-6                                                                    

     我们已经证明对 d 维感知器有  d_vc = d + 1

7.3 Physical Intuition of VC Dimension

7.4 Interpreting of VC Dimension

题外话：