一、感知器 perceptron 上节讲到线性回归，输入特征向量，与权重参数对应相乘得到输出的实数结果，但实际中还有选择分类的事情，例如银行要不要给客服发信用卡，发还是不发这是一个分类问题。 比如，银行根据一个人的工资、工作年限、负债情况、信用问题等作为特征来判断是不是该给这个客户信用卡，我们来考虑 ...
分类：
其他好文 时间：
2017-06-09 23:37:10
阅读次数：
255
“牛顿下降法和梯度下降法在机器学习和自适应滤波中都很重要，本质上是为了寻找极值点的位置。但是收敛的速度不同。 本文中就两种方法来探究一下，哪种收敛方法速度快“ 牛顿下降法的递推公式： xn+1=xn?f′(xn)/f′′(xn) 梯度下降算法的递推公式： xn+1=xn?μ?f′(xn) 解释一 下 ...
分类：
其他好文 时间：
2017-06-04 09:49:44
阅读次数：
183
查看原文请点这里 在看Ng的ml课程，第二课中讲的是梯度下降算法。所以把与梯度下降算法有关的数学知识复习整理了一下便于自己理解。相信在不断的深入学习中对gradient descent将会有更深更全面的了解，到时候我将不断补充本篇文章。 文件夹 微分导数方向导数梯度梯度下降算法梯度下降算法的应用 数 ...
分类：
其他好文 时间：
2017-06-03 11:21:05
阅读次数：
144
一，随机梯度下降法(Stochastic Gradient Descent) 当训练集很大且使用普通梯度下降法(Batch Gradient Descent)时，因为每一次\(\theta\)的更新，计算微分项时把训练集的所有数据都迭代一遍，所以速度会很慢 批量梯度下降法是一次性向计算m组数据的微分 ...
分类：
编程语言 时间：
2017-05-08 21:56:23
阅读次数：
218
先是几个英文： linear regression线性回归 gradient descent梯度下降 normal equations正规方程组 notation符号： m denote（指示） the number of training examples x denote the input v ...
分类：
编程语言 时间：
2017-05-08 21:00:48
阅读次数：
205
引言 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 为什么使用梯度下降法 我们使用梯度下降法最小化目标函数J(θ)。在 ...
分类：
编程语言 时间：
2017-04-10 10:53:29
阅读次数：
246
1.前言
这几种方法呢都是在求最优解中经常出现的方法，主要是应用迭代的思想来逼近。在梯度下降算法中，都是围绕以下这个式子展开：
其中在上面的式子中hθ(x)代表，输入为x的时候的其当时θ参数下...
分类：
其他好文 时间：
2017-04-09 13:07:35
阅读次数：
341
作者：桂。 时间：2017-04-01 06:39:15 链接：http://www.cnblogs.com/xingshansi/p/6654372.html 声明：欢迎被转载，不过记得注明出处哦~ 【学习笔记07】 未完待续 前言 西蒙.赫金的《自适应滤波器原理》第四版第四章：最速下降算法。优化 ...
分类：
编程语言 时间：
2017-04-02 00:39:02
阅读次数：
373
首先参考的是这篇文章：http://blog.csdn.net/sadfasdgaaaasdfa/article/details/45970185 但是其中的函数太老了。所以要改。另外出发点是我自己的这篇文章 http://www.cnblogs.com/charlesblc/p/6206198.h ...
分类：
编程语言 时间：
2016-12-21 20:34:52
阅读次数：
636
