1、SMO算法需要存储核矩阵吗？其他算法了？2、SVM处理海量数据的困难在哪？3、SVM对偶问题得到的凸二次规划问题求解可以使用梯度下降、拟牛顿法等方法吗？ 参考博客的说法：不论是向量维度大或者是样本量很大的时候，求解这个优化问题难度都不小，于是在解得稀疏性(比如只需要得到支持向量)、目标函数的凸....
分类：
其他好文 时间：
2015-09-04 19:46:17
阅读次数：
137
梯度检验是在编写机器学习算法时必备的技术，可以检验所编写的cost函数是否正确cost函数的主要功能是：计算代价函数、计算代价函数对参数的梯度实际程序中，梯度检验要配合cost函数一起使用 ① 给定一组样本及参数初始值 ② 利用cost函数计算grad ③ 利用computeNumericalGra...
分类：
其他好文 时间：
2015-08-31 13:15:55
阅读次数：
165
Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
角点是两个边缘的连接点，代表了两个边缘变化的方向上的点，在这点上图像梯度有很高的变化。是图像中的重要特征点。在opencv中还有改进版的Harris角点检测：Shi-Tomasi 角点检测算法,但在Emgucv里并没有封装,所以目前无法直接使用。
一、Harris角点检测
Harris角点检测通过判断点在水平和竖直方向上的变化程度来判断是否为角点，使用CornerHarris函数，处理后再用阈值...
分类：
其他好文 时间：
2015-08-29 09:51:25
阅读次数：
614
这个系列是为了应对找工作面试时面试官问的算法问题，所以只是也谢算法的简要介绍，后期会陆续补充关于此
算法的常见面问题。
一、Logistic回归
先说下logistic回归，它是根据现有数据对分类边界建立回归公式，以此进行分类。其计算代价不高，易于实现与理解，但是容易欠拟合、分类精度不太高；
logistic回归可以看成是一种概率估计，使用的的是sigmioid函数，...
分类：
编程语言 时间：
2015-08-26 12:04:29
阅读次数：
286
FOBOS由John Duchi和Yoram Singer提出，翻译为前进后退分离法。算法主要目的是要在进行在线学习实现以下目标（1）减少在线学习方法只用一条样本的梯度计算产生的误差（2）实现特征的稀疏性 算法原理FOBOS将权重的更新分为两个步骤：（1）前向标准梯度下降 （2）后向梯度微调...
分类：
编程语言 时间：
2015-08-25 18:46:08
阅读次数：
276
在线最优化求解(Online Optimization)之四：RDA转载自：http://www.wbrecom.com/?p=394；作者是大牛不论怎样，简单截断、TG、FOBOS都还是建立在SGD的基础之上的，属于梯度下降类型的方法，这类型方法的优点就是精度比较高，并且TG、FOBOS也都能在稀...
分类：
编程语言 时间：
2015-08-25 18:38:29
阅读次数：
402
一步了解常见的梯度下降法主要有两种：（1）批量梯度下降法 （2）随机梯度下降法为预测值，要拟合的函数设为，那么误差准则函数为 这是典型的线性回归问题，现在的目的是使得这个误差准则函数的值最小化，可以用如下两种梯度下降法。（1）批量梯度下降法批量梯度下降法需要把个样本全部带入计算，迭代一次计算量为，先...
分类：
编程语言 时间：
2015-08-19 13:01:00
阅读次数：
419
实例
首先举个例子，假设我们有一个二手房交易记录的数据集，已知房屋面积、卧室数量和房屋的交易价格，如下表：
假如有一个房子要卖，我们希望通过上表中的数据估算这个房子的价格。这个问题就是典型的回归问题，这边文章主要讲回归中的线性回归问题。
线性回归（Linear Regression）
首先要明白什么是回归。回归的目的是通过几...
分类：
其他好文 时间：
2015-08-17 08:49:45
阅读次数：
296
