梯度下降

标签：image   logs   参数   nbsp   梯度   选择   img   png   str   

• 当得到了一个目标函数后，如何进行求解？
• 直接求解的话并不一定可解，现行回归可以当做一个特例。
• 常规套路：机器学习的套路就是交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做。
• 如何优化：要一步步的完成迭代。

目标函数：

寻找山谷的最低点，也就是我们的目标函数重点（什么样的参数能使得目标函数大道极值点）

下山分为三步走（更新参数）

• 找到当前最合适的方向
• 走那么一小步，走快了该“扯淡”了
• 按照方向和步伐去更新我们的参数

梯度下降

　　目标函数：

　　批量梯度下降：

　　　　容易得到最优解，但是由于每次考虑所有样本，速度很慢

　　随机梯度下降：

　　　　每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向

　　小批量梯度下降法：

　　　　每次更新选择一小部分数据来算，实用！

　　学习率（步长）：对结果会产生巨大的影响，一般步长小一些。

　　如何选择：从小选起，不行再小。

　　批处理数量：32,64,128都可以，很多时候还得考虑内存和效率。

梯度下降

标签：image   logs   参数   nbsp   梯度   选择   img   png   str   

原文地址：http://www.cnblogs.com/hellojack/p/7760985.html