线性回归 人工智能是机器学习的父类；机器学习是深度学习的父类 1. 怎么做线性回归？ 2. 理解回归 -- 最大似然函数 3. 应用正态分布概率密度函数 -- 对数总似然 4. 推导出损失函数 -- 推导出解析解 5. 代码实现解析解的方式求解 -- 梯度下降法的开始 -- sklearn模块使用线 ...
分类：
其他好文 时间：
2018-08-14 22:51:12
阅读次数：
307
1. 何为损失函数： 在机器学习里面，基本上所有的算法都是在对一个目标函数进行最大化或者最小化的一个过程，那么我们常常把这个最小化的函数称为损失函数，一般采用梯度下降法求解这个损失函数的最小值所对应的参数。可以认为，损失函数为我们的模型优化提供了方向。 2. 损失函数类型： 2.1 平方损失L2 （ ...
分类：
其他好文 时间：
2018-07-31 13:29:17
阅读次数：
435
1.梯度下降法 (1)需要选择学习率a (2)需要多次迭代 优点：梯度下降法在特征变量很多的情况下也能运行地相当好 2.正规方程法 (1)不需要选择学习率a (2)不需要迭代 (3) 正规方程法不需要做特征缩放 缺点：当正规方程法的特征矩阵维度比较大时，会慢很多 总结：当n维比较小时，正规方程法比较 ...
分类：
其他好文 时间：
2018-07-28 20:32:38
阅读次数：
288
梯度下降法公式： 如何确保梯度下降正常工作？如何选择学习率a (learning rate )？ 今天就给大家总结一下学习率有关的知识 ...
分类：
其他好文 时间：
2018-07-28 18:29:09
阅读次数：
143
梯度下降法 既然在变量空间的某一点处，函数沿梯度方向具有最大的变化率，那么在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。 如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，如下： 同时梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值 ...
分类：
其他好文 时间：
2018-07-28 17:21:04
阅读次数：
164
https://www.cnblogs.com/maybe2030/p/5089753.html 阅读目录 1. 批量梯度下降法BGD 2. 随机梯度下降法SGD 3. 小批量梯度下降法MBGD 4. 总结 https://www.cnblogs.com/maybe2030/p/5089753.ht ...
分类：
其他好文 时间：
2018-07-28 15:23:33
阅读次数：
182
本文假设你已经对基本的神经网络结构，梯度下降法有一定的了解。 反向传播，主要是链式法则的反复应用。（链式法则是微积分中的求导法则，用于求一个复合函数的导数） 一个基本的神经网络模型可以表示为如下图所示： \L_{1}层是输入层，\L_{2}层是隐藏层，\L_{3}层是输出层。 1. 参考文献：htt ...
分类：
其他好文 时间：
2018-07-26 21:22:41
阅读次数：
134
一、神经网络基础 1. 神经元模型 神经网络中最基本的单元是神经元模型（neuron）。 细胞体分为两部分，前一部分计算总输入值（即输入信号的加权和，或者说累积电平），后一部分先计算总输入值与该神经元阈值的差值，然后通过激活函数（activation function）的处理，产生输出从轴突传送给其 ...
分类：
其他好文 时间：
2018-07-21 21:28:37
阅读次数：
692
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为： 对应的损失函数为： 下图为一个二维参数（θ0和θ1）组对应能量函数的 ...
分类：
其他好文 时间：
2018-07-11 14:47:25
阅读次数：
190
