支持向量机(Support Vector Machine) SVM之SMO算法(转) 此文转自两篇博文 有修改 序列最小优化算法（英语：Sequential minimal optimization, SMO）是一种用于解决支持向量机训练过程中所产生优化问题的算法。SMO由微软研究院的约翰·普莱特（ ...
分类：
编程语言 时间：
2016-05-22 00:34:06
阅读次数：
297
一、原理
梯度提升树（GBT，Gradient Boosted Trees，或称为梯度提升决策树）算法是由Friedman于1999年首次完整的提出，该算法可以实现回归、分类和排序。GBT的优点是特征属性无需进行归一化处理，预测速度快，可以应用不同的损失函数等。
从它的名字就可以看出，GBT包括三个机器学习的优化算法：决策树方法、提升方法和梯度下降法。前两种算法在我以前的文章中都有详细的...
分类：
其他好文 时间：
2016-05-20 19:43:21
阅读次数：
276
本章内容 □sigmod函数和logistic回归分类器 □最优化理论初步□梯度下降最优化算法□数据中的缺失项处理 这会是激动人心的一章，因为我们将首次接触到最优化算法。仔细想想就会发现，其实我们日常生活中遇到过很多最优化问题，比如如何在最短时间内从入点到达氏点？如何投人最少工作量却获得最大的效益？ ...
分类：
其他好文 时间：
2016-05-01 17:46:11
阅读次数：
288
写一个函数计算当参数为n(n很大）时的值1-2+3-4+5-6+7....+n.你可能会马上写出如下代码：1#include<stdio.h>
2#include<stdlib.h>
3longfn(longn)
4{
5longtemp=0;
6inti,flag=1;
7if(n<=0)
8{
9printf("inputerror\n");
10exit(1);
11}
12for(i=1;i<=n;++i)..
分类：
其他好文 时间：
2016-04-12 07:53:15
阅读次数：
221
三人行必有我师焉 ——《论语·述而》 一、多项式计算的优化算法 假设 是一个多项式，求解该多项式的直接方法为计算Pn(x)中的每一项，然后求各项之和的到结果。 然而这种方法的效率并不高，因为它需要进行 n+(n-1)+(n-2)+…+1=n(n-1)/2 次乘法运算，而我们知道乘法运算的效率要远远小... ...
分类：
编程语言 时间：
2016-04-11 14:17:11
阅读次数：
180
优化算法入门系列文章目录（更新中）： 1. 模拟退火算法 2. 遗传算法 一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主 ...
分类：
编程语言 时间：
2016-04-09 16:34:33
阅读次数：
194
1.鲍威尔优化法综述
鲍威尔法又称方向加速法，它由Powell于1964年提出，是利用共轭方向可以加快收敛速度的性质形成的一种搜索方法。该方法不需要对目标函数进行求导，当目标函数的导数不连续的时候也能应用，因此，鲍威尔算法是一种十分有效的直接搜索法。
Powell法可用于求解一般无约束优化问题，对于维数n
不同于其他的直接法，Powell法有一套完整的理论体系，故其计算效率高于其他直接法。该...
分类：
编程语言 时间：
2016-04-01 18:49:59
阅读次数：
4272
Alec Radford has created some great animations comparing optimization algorithms SGD, Momentum, NAG, Adagrad, Adadelta,RMSprop (unfortunately no Adam) ...
分类：
编程语言 时间：
2016-03-28 13:28:40
阅读次数：
448
原文链接：http://sebastianruder.com/optimizing-gradient-descent
博文地址：
梯度下降是最流行的优化算法之一并且目前为止是优化神经网络最常见的算法。与此同时，每一个先进的深度学习库都包含各种算法实现的梯度下降（比如lasagne's, caffe's,
和 keras'的文档）。然而，这些算法经常作为黑盒优化程序使用，所以难以感受...
分类：
编程语言 时间：
2016-03-26 07:54:03
阅读次数：
2330
支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于...
分类：
其他好文 时间：
2016-03-26 07:16:56
阅读次数：
477
