这篇文章将介绍感知器、逻辑回归的求解和SVM的部分求解，包含部分的证明。本文章涉及的一些基础知识，已经在《梯度下降、牛顿法和拉格朗日对偶性》中指出，而这里要解决的问题，来自《从感知器到SVM》 、《从线性回归到逻辑回归》两篇文章。 感知器： 前面的文章已经讲到，感知器的目标函数如下： $min \ ...
分类：
其他好文 时间：
2016-06-10 11:04:59
阅读次数：
456
这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
Gradient Descent 机器学习中很多模型的参数估计都要用到优化算法，梯度下降是其中最简单也用得最多的优化算法之一。梯度下降(Gradient Descent)[3]也被称之为最快梯度(Steepest Descent)，可用于寻找函数的局部最小值。梯度下降的思路为，函数值在梯度反方向下降 ...
分类：
其他好文 时间：
2016-05-22 19:56:18
阅读次数：
837
求平方根的方法有很多种，这里介绍的是牛顿法求平方根。 方法是这样的：如果对x的平方根的值有了一个猜测y，那么就可以通过执行一个简单操作去得到一个更好的猜测：只需求出y和x/y的平均值（他更接近实际的平方根值） 代码实现： 注：这一平方根算法实际上是牛顿法的一个特例，牛顿法是一种寻找方程的根的通用技术 ...
分类：
其他好文 时间：
2016-05-17 11:12:43
阅读次数：
144
Implement int sqrt(int x). Compute and return the square root of x. 实现 int sqrt(int x)，计算X的平方根。 这道题如果是求double精度的平方根，可以用牛顿法，而这里只需要整数精度，所以使用二分查找法即可，查找范围 ...
分类：
其他好文 时间：
2016-05-15 16:49:19
阅读次数：
164
Logistic Regression and Newton's Method 作业链接：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.h ...
分类：
其他好文 时间：
2016-05-09 20:37:40
阅读次数：
330
1.数学 2.机器学习 Java 机器学习 工具 & 库 1.处理小数据效果好 2.深度学习—大数据，超过500w；图像，语言方面效果奇好 SVD 最小二乘法 梯度下降法 局部加权回归 1.最大似然估计 2.logistic回归 3.感知器的初步—logistic的简化情节 牛顿法 1.介绍了牛顿方 ...
分类：
其他好文 时间：
2016-04-23 11:53:53
阅读次数：
699
（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3) DFP 算法 (4) BFGS 算法 (5) L-BFGS 算法 ...
分类：
其他好文 时间：
2016-04-20 09:20:18
阅读次数：
138
随机梯度下降 mini batch 批梯度下降算法 牛顿法 考虑这样一个问题，找到函数值为0的点，对于方程，目标是找到一个，使得，这里是一个实数，牛顿法是按照如下方式进行的： 一维情况下，牛顿方法可以简单理解为：随机选取一个点，然后求出f在该点处的切线L，该切线L的斜率即f在该点处倒数，该切线与x轴 ...
分类：
其他好文 时间：
2016-04-09 16:40:07
阅读次数：
186
