区别于线性回归，不是把每个特征直接乘以系数，而是用一个S型函数（Logistic函数）。如下：
使用这种形式函数的原因（概率、求导）。
代价函数，也不是线性回归中的误差平方和，而是基于对数似然函数，如下：
单个样本的后验概率为：（y = 0， 1） 类似于二项分布的概率密度函数。
整个样本集的后验概率：
对数似然函数对于代价函数，如下：
梯度下降法...
分类：
编程语言 时间：
2015-03-05 10:52:23
阅读次数：
239
Logistic回归用来分类，线性回归用来回归。
线性回归是把让样本的属性前面加系数，相加。代价函数是误差平方和形式。所以，在最小化代价函数的时候，可以直接求导，令导数等于0，如下：
也可以使用梯度下降法，学习的梯度和Logistic回归形式一样。
线性回归的优点：计算简单。
缺点：不好处理非线性数据。...
分类：
编程语言 时间：
2015-03-05 10:48:54
阅读次数：
154
SVM的本质是寻找最大间隔的分割超平面。
SVM的假设也是在样本的每个属性前面乘以一个系数，代价函数是基于LR演化而来的。LR中是S型函数的假设，SVM中是分段函数cost的形式，再包括正则项，最后SVM的代价函数为：
当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面，thetaT*x>=1或者thetaT*x
我们构建拉格朗日函数：
分别对...
分类：
编程语言 时间：
2015-03-05 10:47:48
阅读次数：
257
大概原理是找到文本中重复项最多的文本作为词典，代价函数为词典的累计词长和文本分词数之和，迭代找到代价函数最小值所对应的词典和分词结果。方法简单，跑出来的结果也挺有意思。 1 from random import randint 2 3 4 def segment(text,segs): 5 ...
分类：
其他好文 时间：
2015-02-15 14:56:37
阅读次数：
155
Stanford机器学习课程笔记——单变量线性回归和梯度下降法
1. 问题引入
单变量线性回归就是我们通常说的线性模型，而且其中只有一个自变量x，一个因变量y的那种最简单直接的模型。模型的数学表达式为y=ax+b那种，形式上比较简单。Stanford的机器学习课程引入这个问题也想让我们亲近一下machine learning这个领域吧~吴恩达大神通过一个房屋交易的问...
分类：
其他好文 时间：
2015-01-23 13:31:42
阅读次数：
174
考虑一个代价函数C , 它根据参数向量
计算出当前迭代模型的代价，记作C().
机器学习中，我们的任务就是得到代价的最小值，在机器学习中代价函数通常是损失函数的均值，或者是它的数学期望。见下图：
这个叫做泛化损失，在监督学过程中，我们知道z=(x,y) ,并且 f（x)
是对y的预测。
什么是这里的梯度呢？
当 是标量的时候，代价函数的梯度可表示如下：
当...
分类：
其他好文 时间：
2014-12-17 22:43:44
阅读次数：
323
率失真优化概述： 率失真优化(Rate D isto r t i on Op t i m ized)策略是在率失真理论[3 ]的基础上提出的一种代价函数方案, RDO 的主要思想是, 在计算代价函数时, 同时考虑码率和失真度两方面因素的制约, 在保证低失真度的同时保证低码率, 这样更加有利于视频.....
分类：
其他好文 时间：
2014-12-04 19:43:18
阅读次数：
886
二分K-means聚类（bisecting K-means）算法优缺点：由于这个是K-means的改进算法，所以优缺点与之相同。算法思想：1.要了解这个首先应该了解K-means算法，可以看这里这个算法的思想是：首先将所有点作为一个簇，然后将该簇一分为二。之后选择能最大程度降低聚类代价函数（也就是误...
分类：
编程语言 时间：
2014-11-29 01:31:25
阅读次数：
618
1 Gradient Checking 说明前面我们已经实现了Linear Regression和Logistic Regression，关键在于代价函数Cost Function和其梯度Gradient的计算。在Gradient的计算中，我们一般采用推导出来的计算公式来进行计算。但是我们看到，推导出来的公式是复杂的，特别到后面的神经网络，更加复杂。这就产生了一个问题，我们如何判断我们编写的程序就...
分类：
其他好文 时间：
2014-11-20 13:46:16
阅读次数：
339
梯度下降是最优化最基本的方法之一，在优化代价函数的时常常需要求函数的最小值，一种直接的方法是求函数在在定义域范围内的极值。但有些函数的极值点并不能简单解出来，这就需要一个逼近的方法，就是梯度法。函数f在某个点处的梯度方法就是函数上升最快的方向。当求f的最小值时，在逼近最小值的过程中就需要参数沿着梯度...
分类：
其他好文 时间：
2014-09-18 23:27:44
阅读次数：
263
