機器學習基石(Machine Learning Foundations) 机器学习基石 作业四 课后习题解答

标签：

本文出处：http://blog.csdn.net/a1015553840/article/details/51173679

其他作业解析请看汇总贴：http://blog.csdn.net/a1015553840/article/details/51085129

1.第一题

（1）题意：利用hyphothesis set H的时候有一个deterministic noise（固定噪声），如果用一个更小的hyphothesis set H‘,那么固定噪声是增大了还是减小了？

（2）分析：首先我们要知道什么是固定噪声

固定噪声是由于target function f 本身Qf太大造成的。若f本身的Qf太大，那么用h去拟合这种高次的目标函数是不容易的，所以固定噪声大。当我们用更小的H‘代替H来拟合f的时候，由于H’更加小，那么对f的拟合程度更加不好，所以deterministic noise会增加！

（3）答案：increasing  第二项

2.第二题

（1）题意：定义H（Q，c,Q0），求下面哪个是正确的。

（2）分析：首先，我们要把定义看懂，然后带入计算即可。

                    H（10，0，3）= {h(x) = [w0 w1 w2 0 0 0 0 0 0 0 0] * [ z0 z1 z2 z3 z4 z5 z6 z7 z8 z9 z10] = w0*z0 + w1*z1 + w2*z2}

                    H(10,0 ,4) = {h(x) = [w0 w1 w2 w3 0 0 0 0 0 0 0] * [z0 z1 z2 z3 z4 z5 z6 z7 z8 z9 z10] = w0*z0+w1*z1+w2*z2+w3*z3}

                    H2={h(x) = {w0*z0+w1*z1+w2*z2}

                   H(10,0,3) 交 H(10,0,4) = H2

（3）答案：第二项  同理可证其他项

3.第三题

（1）题意：利用decay作为regularizer,利用梯度下降的方法计算Eaug的最小值，迭代步长为ita,那么每次迭代更新公式为哪项？

（2）分析：

（3）答案：第二项

4.第四题

（1）题意：求Wreg(lambda)的模随lambda变化的单调性

（2）分析

利用物理意义分析（1）当w‘ * w = C没有包括win时，那么加大lambda，即减小C，那么更加不能包括win, ||Wreg|| = C减小

                             （2）当w‘ * w =C包括win时，||Wreg||=||Win||,那么加大lambda,即减小C，如果还是包括win，那么是不会变的

综上，不是单增的

（3）答案：non-increasing

5.第五题

（1）题意：利用leave one out cross validation分别计算两个Hyphothesis的错误率，利用平方错误方法计算，求他们错误一样时参数rou的值

（2）这道题博主也不会，可能是题目理解错了，希望大神解答！

6.第六题

（1）题意：这道题讲的是幸存者偏差。

（2）分析：第一次给32个人发邮件，一半说A队会赢，一半说B队会赢，肯定有一半的邮件（16封）是正确的；第一次结果出来后，对第一次正确的16个人发邮件，一半说A会赢，一半说B会赢，以此类推。那么32个人在进行5场比赛后可能有一个人5次接受的答案都是正确的。

（3）答案：第三项，第二次需要对第一次正确的16个人发邮件

7.第七题

（1）题意：按照第6题的方法，每封信需要10块，如果第六场比赛有人花1000块，问这个骗子挣了多少钱

（2）分析：共需要发32+16+8+4+2+1=63封信共630块，赚了370块

（3）答案：370

8.第八题

（1）题意：一个银行最初用一个公式a(x)颁发信用卡，然后在这些颁发信用卡里面的10000个人作为样本，分析要不要给新的用户颁发信用卡。你在看这些样本之前，你利用数学理论提出一个信用卡颁发公式，问hyphothesis set的大小。

（2）分析：不要把题目想的太复杂，因为你利用数学推导提出一个信用卡颁发公式，即hyphothesis已经确定了，所以hyphothesis set大小为1

（3）答案：1

9.第九题

（1）题意：利用Hoeffding bound计算Ein与Eout相差不超过1%的概率，当训练样本数为100000

（2）分析：

         由于第八题已经知道M = 1是有限的，所以我们调用这个公式就可以了：

（3）答案：0.271

10.第十题

（1）题意：你利用银行提供的100000个样本得到了一个很好的g，他能很好拟合训练样本。但是当我们利用他作为实际用途时，发现他的泛化能力很弱，这是为什么？

（2）分析：应为我们得到的样本都是由第八题a（x）这个公式上得到的，所以我们的训练数据不是干净的，是受过a(x)污染的。即我们利用a(x) and g(x)决定了最后的机器学习算法表现。

（3）答案：a(x) AND g(x)

11.第十一题

（1）题意：在原先的N个样本上添加K个样本，那么利用这些N+K个样本计算线性回归，求参数的公式

（2）答案：第二项

12.第十二题

（1）题意：如果利用11题的方法，那么什么时候11题公式等于正则化逻辑回归的解

（2）分析：

        正则化逻辑回归的求解Wreg的公式如上，要使11题的公式等于他，即满足第五项即可

（3）答案：第五项

13-20题解答请看：http://blog.csdn.net/a1015553840/article/details/51173020

本文出处：http://blog.csdn.net/a1015553840/article/details/51173679

其他作业解析请看汇总贴：http://blog.csdn.net/a1015553840/article/details/51085129

機器學習基石(Machine Learning Foundations) 机器学习基石 作业四 课后习题解答

标签：

原文地址：http://blog.csdn.net/a1015553840/article/details/51173679