本栏目内容来源于Andrew
NG老师讲解的SVM部分，包括SVM的优化目标、最大判定边界、核函数、SVM使用方法、多分类问题等，Machine
learning课程地址为：https://www.coursera.org/course/ml大家对于支持向量机（SVM）可能会比较熟悉，是个强大且流行...
分类：
其他好文 时间：
2014-05-12 12:42:21
阅读次数：
764
线性回归的概念，在高中数学书里就出现过。
给你一些样本点，如何找出一条直线，使得最逼近这些样本点。
给出一个例子：假设 x 是房子面积，y是房子价格，确定一条直线需要theta0和theta1.
给出x,我们就可以计算出房子的价格 h(x) = theta0+theta1*x
关键是如何计算出theta0和theta1,也就是如何找出这么一条直线呢？
在这里，引入一个...
分类：
其他好文 时间：
2014-05-10 04:36:00
阅读次数：
276
学习统计学习方法也已经有几天了，在这几天的时间里，我主要对分类学习方法进行了初步学习，包括：感知机——>支持向量机，K近邻法，朴素贝叶斯法，决策树，logistic
回归与最大熵模型。 其中k近邻法的实现为kd树，朴素贝叶斯通过极大似然估计实现，决策树包含有生成决策树算法ID3,C4.5，决策...
分类：
其他好文 时间：
2014-05-10 03:06:00
阅读次数：
225
用这篇日志记录在做毕业课题的一些思考，按时间分割。2014/02至2014/04：
抽了一些时间，看林轩田老师的《机器学习基石》，大致对机器学习、数据挖掘有了一个认识，数据挖掘更侧重于挖掘大量或潜在的数据，从而对一些问题进行分析，机器学习则是通过大量已知数据的训练，形成机器的思维，从而“学会”对.....
分类：
其他好文 时间：
2014-05-09 10:14:27
阅读次数：
289
在之前为了寻找最有分类器，我们提出了如下优化问题：
在这里我们可以把约束条件改写成如下：
首先我们看下面的图示：
很显然我们可以看出实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。现在我们结合KKT条件分析下这个图。
我们从式子和式子可以看出如果那么，
这个也就说明时，w处于可行域的边界上，这时才是起作用的约束...
分类：
其他好文 时间：
2014-05-09 02:33:02
阅读次数：
345
简介：
1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它，而是把它转化为对偶问题进行解决。
2、为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。即拉格朗日函数，再通过这个函数...
分类：
其他好文 时间：
2014-05-07 22:40:35
阅读次数：
331
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
前面我们提到的数据集都是线性可分的，这样我们可以用SMO等方法找到支持向量的集合。然而当我们遇到线性不可分的数据集时候，是不是svm就不起作用了呢？这里用到了一种方法叫做核函数，它将低维度的数据转换成高纬度的从而实现线性可分。
可能有的人不明白为什么低维度的数据集转换成高...
分类：
编程语言 时间：
2014-05-07 03:39:44
阅读次数：
455
How do you know what machine learning algorithm to
choose for your classification problem? Of course, if you really care about
accuracy, your best bet...
分类：
其他好文 时间：
2014-05-07 00:50:14
阅读次数：
438
1. 推导出函数间隔最小 2. 约束优化函数变形至如下形式 /*min 1/2*||w||^2s.t.
(w[i]*x[i] + b[i] - y[i]) >= 0;*/ 3. 对偶函数 /*min(para alpha)
1/2*sum(i)sum(j)(alpha[i]*alpha[j]*y[i...
分类：
编程语言 时间：
2014-05-07 00:48:13
阅读次数：
498
简单的以下面曲线拟合例子来讲：直线拟合后，相比原来的点偏差最大，最后一个图完全拟合了数据点偏差最小；但是拿第一个直线模型去预测未知数据，可能会相比最后一个模型更准确，因为最后一个模型过拟合了，即第一个模型的方差比最后一个模型小。一般而言高偏差意味着欠拟合，高方差意味着过拟合。他们之间有如下的关系：
...
分类：
其他好文 时间：
2014-05-07 00:28:40
阅读次数：
946
