导数 导数是一个数，函数y(x)在x0点的导数y'(x0)反应了在x0处y随x的变化快慢 微分 微分指函数值的微小变化 在x0可微：在x0点y和x的微分成线性关系（只与该点函数值有关） 导数可看做函数的微分与自变量的微分之商，故导数又称微商 偏导数 函数在一点处沿坐标轴的变化率 方向导数 函数在一点 ...
分类：
编程语言 时间：
2020-01-29 22:00:26
阅读次数：
96
安装 pip install scikit-opt 对于当前的开发者版本： git clone git@github.com:guofei9987/scikit-opt.git cd scikit-opt pip install . Genetic Algorithm 第一步：定义你的问题 impo ...
分类：
编程语言 时间：
2020-01-29 21:34:21
阅读次数：
499
梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解 其实对SGD的优化，跟自动控制中的PID思路其实是一样的 P（Propotion）比例项即当前偏差 I（Intergration）积分项即偏差的累积 D（differentiation）微分项即偏差的变化 SGD加入微分项 ...
分类：
其他好文 时间：
2020-01-27 19:11:38
阅读次数：
91
梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这 ...
分类：
其他好文 时间：
2020-01-24 17:28:40
阅读次数：
113
SON(Self-Organized Networks) 是在LTE的网络的标准化阶段由移动运营商主导提出的概念，其主要思路是实现无线网络的一些自主功能，减少人工参与，降低运营成本。 根据优化算法的执行位置，SON（Self Organization Network，自组织网络）可以分为三类：集中式 ...
分类：
其他好文 时间：
2020-01-08 23:24:41
阅读次数：
201
原文链接： "这里" 介绍 反向传播算法可以说是神经网络最基础也是最重要的知识点。基本上所以的优化算法都是在反向传播算出梯度之后进行改进的。同时，也因为反向传播算法是一个递归的形式，一层一层的向后传播误差即可，很容易实现（这部分听不懂没关系，下面介绍）。不要被反向传播吓到，掌握其核心思想就很容易自己 ...
分类：
编程语言 时间：
2020-01-08 00:42:19
阅读次数：
159
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0 ...
分类：
编程语言 时间：
2020-01-06 19:30:38
阅读次数：
136
最陡下降法（steepest descent method）又称梯度下降法（英语：Gradient descent）是一个一阶最优化算法。 函数值下降最快的方向是什么？沿负梯度方向 d=?gk ...
分类：
其他好文 时间：
2020-01-05 10:09:13
阅读次数：
83
1.scipy的optimize模块提供了许多数值优化算法。 2.求解非线性方程组： scipy.optimize.fsolve(func, x0, args=(), fprime=None, full_output=0, col_deriv=0, xtol=1.49012e-08, maxfev= ...
分类：
其他好文 时间：
2019-12-27 17:55:44
阅读次数：
80
1.placeholder 一个数据占位符，用于在构建一个算法时留出一个位置，然后在run时填入数据。 2.variable 存储节点作为数据流图中的有状态节点，其主要作用是在多次执行相同数据流图时存储特定的参数，如深度学习或机器学习的模型参数。对于无状态节点，其输出由输入张量和节点操作共同确定，对 ...
分类：
其他好文 时间：
2019-12-22 10:42:04
阅读次数：
85
