码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习--基础知识复习(模式识别,成本函数)

时间:2016-06-02 23:22:38      阅读:2041      评论:0      收藏:0      [点我收藏+]

标签:

由于时间原因,今天主要复习下machine learning课程的前三节,简单记录自己的理解。

1.模式表达(Model representation

其实就是指通过一定的范例数据学习追踪生成一个函数的表达形式。然后通过矩阵得到整个运算过程。

模型表达就是给出输入和输出之间的函数关系式,当然这个函数是有前提假设的,里面可以含有参数。

比如下图,我们有一个房子的大小size,卧室数目(bedrooms)然后得到房屋价格(price),通过这三个常数就可计算一个输入和输出的函数关系。

hprice=Q0+Q1*size+Q2*bedrooms;

技术分享

在求解过程中透露出了两个信息:
1.房价模型是根据拟合的函数类型决定的。如果是直线,那么拟合出的就是直线方程。如果是其他类型的线,例如抛物线,那么拟合出的就是抛物线方程。

机器学习有众多算法,一些强力算法可以拟合出复杂的非线性模型,用来反映一些不是直线所能表达的情况。

2.如果我的数据越多,我的模型就越能够考虑到越多的情况,能够由损失函数越小,由此对于新情况的预测效果可能就越好。

一般来说(不是绝对),数据越多,最后机器学习生成的模型预测的效果越好。

2.成本函数(cost funtion

此时如果有许多训练样本的话,同样可以给出训练样本的平均相关的误差函数,

一般该函数也称作是成本函数(cost function)。我们的目标是求出模型表达中的参数,这是通过最小化成本函数来求得的。

通常来说,模型越准确,越接近真实,其cost function的值就越小

在线性回归问题中,通常使用square loss的形式。线性回归常用的square loss形式是均方误差MSE:

Jθ=1m(hθ(x(i))y(i))2

技术分享

一般最小化成本函数是通过梯度下降法(即先随机给出参数的一组值,然后更新参数,使每次更新后的结构都能够让损失函数变小,最终达到最小即可)

通常上面的方差运算也有以下表达方式:

Jθ=12m(hθ(x(i))y(i))2

技术分享

对于上图当我们画图表示的时候我突然联想到了入门时的那张图

技术分享

其全局极值点的坐标,就是我们要求的权重向量θ

 

阶段总结:到目前为止,以我的理解,一个问题抽象成机器学习常用的过程就如下:

技术分享

确定hypothesis,cost function和goal,通常对cost function 求解权重向量的过程,是一个最优化问题。

 

机器学习--基础知识复习(模式识别,成本函数)

标签:

原文地址:http://www.cnblogs.com/dinghing154/p/5554680.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!