虽然之前已经大概介绍了关于神经网络的基本结构，但是对于神经网络来说，还有很多可以提升的地方，包括不限于：参数的初始化，正则化，检测方式，除了梯度下降以外的优化算法，超参的调试，批量标准化，和TensorFlow等等。下面我们依次来介绍。 参数的初始化 由于 梯度消失/爆炸 的原因，参数的初始化关系着 ...
分类：
其他好文 时间：
2020-02-04 22:07:11
阅读次数：
95
1、梯度下降思想在数学中的梯度下降是：xk+1=xk+λkPkλk表示步长Pk表示方向，沿梯度方向下降最快沿着方向不断更新x，直到x达到最小为了得到最好的拟合线，我们的目标是让损失函数达到最小因此，引入梯度下降的思想：条件：有一个J(θ0，θ1)目标：让J(θ0，θ1)最小步骤：1、初始化θ0，θ12、持续改变θ0，θ1的值，让J(θ0，θ1)越来越小3、直到得到一个J(θ0，θ1)的最小值2、梯
分类：
编程语言 时间：
2020-02-01 00:35:31
阅读次数：
104
导数 导数是一个数，函数y(x)在x0点的导数y'(x0)反应了在x0处y随x的变化快慢 微分 微分指函数值的微小变化 在x0可微：在x0点y和x的微分成线性关系（只与该点函数值有关） 导数可看做函数的微分与自变量的微分之商，故导数又称微商 偏导数 函数在一点处沿坐标轴的变化率 方向导数 函数在一点 ...
分类：
编程语言 时间：
2020-01-29 22:00:26
阅读次数：
96
梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解 其实对SGD的优化，跟自动控制中的PID思路其实是一样的 P（Propotion）比例项即当前偏差 I（Intergration）积分项即偏差的累积 D（differentiation）微分项即偏差的变化 SGD加入微分项 ...
分类：
其他好文 时间：
2020-01-27 19:11:38
阅读次数：
91
1. 感知机模型 输入为实例的特征向量， 输出为实例的类别， 取+1和-1；感知机对应于输入空间中将实例划分为正负两类的分离超平面， 属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点， 分为原始形式和对偶形式；1957年由Rosenb ...
分类：
其他好文 时间：
2020-01-26 11:40:01
阅读次数：
130
一般都是用机器学习、梯度下降或sklearn、pytorch来做函数拟合运算，今天介绍遗传编程，或称基因编程/GP，来做这个计算 最终就是构造一棵树AST，来表示运算的先后、权重： 具体原理可以参考这篇文章：https://blog.csdn.net/ocd_with_naming/article/ ...
分类：
其他好文 时间：
2020-01-25 23:34:32
阅读次数：
89
梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这 ...
分类：
其他好文 时间：
2020-01-24 17:28:40
阅读次数：
113
机器学习的过程说白了就是让我们编写一个函数使得costfunction最小，并且此时的参数值就是最佳参数值。 定义 假设存在一个代价函数 fun：$J\left(\theta_{0}, \theta_{1}\right)$ 通过不断地调整$\theta_{0}$和$\theta_{1}$是函数$J\ ...
分类：
编程语言 时间：
2020-01-24 14:27:52
阅读次数：
80
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ，即模型具有较高的 偏差 ，说明模型没有从数据中学到什么，如下左图所示。而 过拟合 ，即模型具有较高的 方差 ，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。 通常，欠拟合是由于模型过于简单或使用数据集的特 ...
分类：
其他好文 时间：
2020-01-23 21:16:34
阅读次数：
135
1. 梯度：对于一元函数，梯度是导数/斜率；对于多元函数，梯度是由偏导数组成的向量 梯度的方向：是函数在给定点上升最快的方向 梯度的反方向：是函数在给定点下降最快的方向 多元函数的梯度：（偏导） 2. 梯度下降：函数在某一点处沿着梯度的反方向逐步迭代，求出函数的局部最小值的过程。我们的最终目的是找到 ...
分类：
其他好文 时间：
2020-01-23 16:57:12
阅读次数：
118
