本文总结自《Neural Networks and Deep Learning》第1章的部分内容。 使用梯度下降算法进行学习（Learning with gradient descent） 1. 目标 我们希望有一个算法，能让我们找到权重和偏置，以至于网络的输出y(x) 能够拟合所有的训练输入x。 ...
分类：
编程语言 时间：
2016-12-11 02:13:19
阅读次数：
259
今天课上主要讲的是梯度下降算法。 上一次老师留了梯度下降算法求解线性回归的作业。大部分用java和C++实现的。 笔记也主要来自课程ppt，老师课程的ppt也主要参考的斯坦福吴恩达老师的讲义。 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯 ...
分类：
编程语言 时间：
2016-12-01 01:34:52
阅读次数：
320
测试代码（ｍａｔｌａｂ）如下： clear; load E:\dataset\USPS\USPS.mat; % data format: % Xtr n1*dim % Xte n2*dim % Ytr n1*1 % Yte n2*1 % warning: labels must range from ...
分类：
编程语言 时间：
2016-11-18 15:59:11
阅读次数：
614
梯度下降优化算法综述 参考：http://blog.csdn.net/heyongluoyao8/article/details/52478715 该文翻译自An overview of gradient descent optimization algorithms。 总所周知，梯度下降算法是机器 ...
分类：
编程语言 时间：
2016-10-08 16:52:16
阅读次数：
488
本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。 前言: 上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和 ...
分类：
编程语言 时间：
2016-09-23 01:20:05
阅读次数：
211
目录: 1. 前言 2. 正文 2.1 梯度 2.2 梯度下降算法 2.2.1 批量梯度下降算法 2.2.2 随机梯度下降算法 3.参考文献 1.前言 这篇随笔,记录的是个人对于梯度算法的些许理解. 由于充斥着太多关于梯度算法的各种说明软文,所以呢? 本文是从一个实例出发,来逐步使用各种算法进行求解 ...
分类：
编程语言 时间：
2016-09-21 15:57:55
阅读次数：
2989
梯度下降优化算法综述?? 该文翻译自An overview of gradient descent optimization algorithms。?? 总所周知，梯度下降算法是机器学习中使用非常广泛...
分类：
编程语言 时间：
2016-09-09 08:52:38
阅读次数：
416
# -*- coding:utf8 -*- import mathimport matplotlib.pyplot as plt def f(w, x): N = len(w) i = 0 y = 0 while i < N - 1: y += w[i] * x[i] i += 1 y += w[N ...
分类：
编程语言 时间：
2016-09-04 17:20:47
阅读次数：
174
线性回归模型回忆一下第一节课提出的预测房屋每平方单位价格的例子。在这个例子中，我们可以画一条直线，尽量符合数据点的分布趋势。我们已经知道这是一个回归问题，即预测连续值的输出。实际上，这是一个典型的线性回归模型。之所以这样定义，大概是因为回归方程可以用一个线性函数来表示。我们可以假设这个线性函数为：这是一个关于x的一元一次方程。其中两个参数的值我们还不知道，要根据训练集中的数据求解出来。这里要定义几个...
分类：
编程语言 时间：
2016-07-13 17:22:19
阅读次数：
619
本章总结优化学习率的知识，而前置知识就是“线性回归、梯度下降算法”，因此如果这一章你看的云里雾里甚至连学习率是什么都不知道的话就需要先吧前置知识搞定了。
其他说明
因为本总结的前置知识是“线性回归、梯度下降算法”，所以之后的内容都是以“求目标函数f(x)的极小值”为目的。
不过不用担心求极大值的话该怎么办，因为直接给f(x)加个负号就将问题转换为了求极...
分类：
其他好文 时间：
2016-07-13 16:28:04
阅读次数：
555
