1 前言 线性回归形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于线性回归的解直观表达了各属性在预测中的重要性，因此线性回归有很好的可解释性。 1.1 什么是回归分析 回归分析是一种预测性的建模技术 ...
分类：
其他好文 时间：
2021-06-02 18:59:23
阅读次数：
0
阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进 ...
分类：
其他好文 时间：
2021-03-18 14:27:25
阅读次数：
0
一、监督学习 1、回归模型 1.1 线性回归模型 求解 最小二乘法 梯度下降法 2、分类模型 2.1 K近邻（KNN） 示例 KNN距离计算 KNN算法 2.2 逻辑斯蒂回归 逻辑斯蒂回归 —— 分类问题 Sigmoid函数（压缩函数） 逻辑斯谛回归损失函数 梯度下降法求解 2..3 决策树 示例 ...
分类：
其他好文 时间：
2021-02-10 12:54:48
阅读次数：
0
本章将介绍函数,极限,无穷大和无穷小,连续性与导数,偏导数,方向导数,梯度等高等数学基本概念. 这些概念贯穿本书的各个章节,也是理解人工智能算法的基础数学知识. 梯度下降算法是机器学习领域的重要算法,是应用最广泛的优化算法之一. 在本章综合实例中将重点介绍梯度下降法及其应用实例,并通过Python语 ...
分类：
其他好文 时间：
2020-12-21 11:08:12
阅读次数：
0
主要内容（下划线部分）：接上篇博文：干货|掌握机器学习数学基础之优化[1]（重点知识）1、计算复杂性与NP问题2、上溢和下溢3、导数，偏导数及两个特殊矩阵4、函数导数为零的二三事5、方向导数和梯度6、梯度有什么用7、梯度下降法8、牛顿法1方向导数和梯度：方向导数:在之前讲偏导数的时候，相信很多人已经看出，偏导数求的都是沿着坐标轴的变化率，不管多少维也好，都只是求的变化率，那现在问题来了，如果我想求
分类：
其他好文 时间：
2020-11-30 15:14:34
阅读次数：
5
文章主要目录如下：1.批量梯度下降法BGD原理讲解2.随机梯度下降法SGD原理讲解3.小批量梯度详解MBGD原理讲解4.具体实例以及三种实现方式代码详解5.三种梯度下降法的总结在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为
分类：
其他好文 时间：
2020-11-27 11:55:19
阅读次数：
30
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为：对应的损失函数为：（这里的1/2是为了后面求导计算方便）下图作为一个二维参数（theta0，theta1）组对应能量函数的可视化图：下面我们来分别讲解三种梯度下降法1批量梯度
分类：
其他好文 时间：
2020-11-27 10:49:35
阅读次数：
5
深度学习测试题（1）答案和解析1.损失函数的定义预测值与真实值之间的差距。选A。题中给出的是一个sigmoid函数极限的是在（0,1），这里问的是它的导数S‘(x)=S(x)(1-S(x))，所以应该是0。选B。根据复合函数求二阶导数，容易得出答案1/4。选A。首先被计算的是激活函数的梯度，选C。我们回顾下之前介绍的VGG网络结构，VGG中根据卷积核大小和数目的不同，可以分为A、A-LRN
分类：
其他好文 时间：
2020-11-16 13:28:27
阅读次数：
7
在FNN（DNN）的前向传播，反向梯度推导以及代码验证中，我们不仅总结了FNN（DNN）这种神经网络结构的前向传播和反向梯度求导公式，还通过tensorflow的自动求微分工具验证了其准确性。在本篇章，我们将专门针对CNN这种网络结构进行前向传播介绍和反向梯度推导。更多相关内容请见《神经网络的梯度推 ...
分类：
其他好文 时间：
2020-09-17 12:17:39
阅读次数：
25
在解决问题中，θ可能不是一个值，可能是一个向量，所以在求导的时候可以写成求梯度的形式，求函数在每个方向上的偏导数。 其实和上一节处理的问题也相似，只不过这个处理的不是一个数，是一个向量。 这是一个三元函数的曲线图。图中的红色圈圈就是函数曲线。假如起始点从左上角那个点出发，一直到数值最低的点，其实这个 ...
分类：
其他好文 时间：
2020-07-27 23:56:02
阅读次数：
90
