一、介绍 Logistic回归是广泛应用的机器学习算法，虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。 面对一个回归或者分类问题，建立代价函数(损失函数)，使用最优化算法（梯度上升法、改进的随机梯度上升法），找到最佳拟合参数，将数据拟合到一 ...
分类：
其他好文 时间：
2018-01-27 11:25:47
阅读次数：
209
SVM算法的学习策略就是间隔最大化，是求解凸二次规划的最优化算法，也等价于正则化的合页损失函数的最小化问题。 SVM适合中小规模的数据，预测时不能给出具体的概率结果 支持向量机包含三种模型：1、线性可分支持向量机； 2、线性支持向量机； 3、非线性支持向量机； SVM算法的优缺点： 优点：泛化错误率 ...
分类：
其他好文 时间：
2017-12-21 17:22:18
阅读次数：
151
梯度下降算法，参考Edwin《最优化导论》8.2章节，算法采用go语言实现。 此处算法仍然存在疑惑，主要是获取梯度下降时如何确定步长，即使采用割线法获取最优步长，那么割线法的初始值又如何确定？？ 下面程序中虽然采用了牛顿法获取极值，但非常依赖初始取值范围！！ ...
分类：
编程语言 时间：
2017-09-16 17:23:12
阅读次数：
154
斐波那契数列搜索，参考Edwin《最优化导论》第四版7.3章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:16:28
阅读次数：
205
割线法获取极值，参考Edwin《最优化导论》第四版 7.6章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:14:35
阅读次数：
242
参考《 Edwin》最优化导论第四版，7.2章节，算法采用go语言实现 ...
分类：
编程语言 时间：
2017-09-16 17:09:29
阅读次数：
195
前言 以下内容是个人学习之后的感悟，如果有错误之处，还请多多包涵~ 梯度下降法 一、简介 梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地 逼近最小偏差模型。 二、原理 梯度下降法，顾名思义，从高处寻找最佳通往低处的方向，然 ...
分类：
其他好文 时间：
2017-08-26 04:49:28
阅读次数：
403
启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计 ...
分类：
其他好文 时间：
2017-08-17 14:26:18
阅读次数：
321
今天课上主要讲的是梯度下降算法。 上一次老师留了梯度下降算法求解线性回归的作业。大部分用java和C++实现的。 笔记也主要来自课程ppt，老师课程的ppt也主要参考的斯坦福吴恩达老师的讲义。 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯 ...
分类：
编程语言 时间：
2016-12-01 01:34:52
阅读次数：
320
The damped least squares method is also called the Levenberg-Marquardt method. Levenberg-Marquardt算法是最优化算法中的一种。它是使用最广泛的非线性最小二乘算法，具有梯度法和牛顿法的优点。当λ很小时，步长 ...
分类：
其他好文 时间：
2016-10-12 22:25:56
阅读次数：
296
