标签：一个 size 最小化 font ima log 机器学习 回归 逻辑
逻辑回归
逻辑回归是一种用来解决当输出的y全部都是1或者0这种监督学习的机器学习算法。其目标就是最小化预测值和训练集之间的错误。
举个栗子：猫和没有猫
通过以向量x形式给出的一张图片，我们的目标就是判断这张图片中有没有猫
给x,y‘=P(y=1|x) 其中 0<=y‘<=1
在逻辑回归中我们所需要利用的参数有：
1.输入特征向量:x∈Rnx,其中nx表示特征的数目
2.训练的集合：y∈0,1
3.权值 ：W∈Rnx,其中nx表示特征的数目
4.偏值：b∈R
5.输出：y∈σ(WTx+b)
6.Sigmoid函数：s=σ(WTx+b)=σ(z)=1/(1+e-z)
(WTx+b)是一个线性函数（ax+b），但是因为我们想找一个在【0,1】中更大概率的值，需要Sigmoid函数来进行转换；转换出来的值在【0,1】之间（如上图所示）
从上图中我们可以看到一些特征：
1.如果z是一个特别大的正数，则σ（z）=1
2.如果z是一个特别小的负数，则σ（z）=0
3.如果z=0，则σ（z）=0.5
逻辑回归：成本函数
为了更好的训练W和b，我们需要定义一个成本函数
正如上面所示：
首先定义针对每一个样本的损失函数：
损失函数通常用来衡量我们通过模型的预测值（y‘(i)）和真正输出的输出值(y(i))。
换句话说，损失函数是针对每一个样本的错误表示
我们可以通过第一种方式来定义损失函数
但是这种定义方式通常会导致损失函数不是凸函数，这样就无法寻找最低的损失函数。所以，我们通常采用另外一种方式来定义损失函数：
针对这种损失函数的定义，我们可以发现：
成本函数：
成本函数是在训练集中所有的损失函数的值的平均。我们就是寻找最好的W和b来最小化这个成本函数，下面便是成本函数的定义
标签：一个 size 最小化 font ima log 机器学习 回归 逻辑
原文地址：http://www.cnblogs.com/huanggen/p/7520872.html
