标签：
这节课的学习，相信一般上过统计或者运筹相关课程的同学应该都会有所了解。课上涉及的知识虽然很基础，但是也是很重要的。
在搜集了一些房价相关数据的基础上，利用线性回归算法来预测房价。
为了方便算法的训练推导，进行了很多符号的标准规定，从这当中也学到了一些知识，以后自己在进行一些算法的推导时也可学习课上的这些标准符号和推导方式。
下面给出这堂课上的一些干货。
1.机器学习算法的基本框架
2.最小二乘法——线性回归常用的代价函数，即误差平方和最小
3.参数学习算法——梯度下降算法，包含批量梯度下降和随机梯度下降。
梯度下降能够收敛，但是也可能是局部最优解，但如果目标函数是凸函数，这样梯度下降一定能找到全局最优解。
当训练样本很多的时候，每更新一次参数都需要遍历所有的样本计算总误差，这样学习速度太慢；这个时候每次计算一个样本的误差更新参数的随机梯度下降算法通常会比
批量梯度下降法更快。（理论上不能保证随机梯度下降能够收敛）
4.对于线性回归问题的最小二乘法，没必要利用梯度下降法来搜索最优解；通过矩阵理论能够证明
最终的参数解为：Θ=（XTX）-1XTY
标签：
原文地址：http://www.cnblogs.com/lile/p/4423444.html
