1. 前向传播和反向传播 ①前向传播 forward propagation：从前往后，根据输入和参数计算输出值和损失值，并将当地梯度（local gradient），即每个结点的输出值对该节点的输入值的偏导数，保留 在内存中以供反向传播计算梯度时使用，注意：前一个结点的输出是后一个结点的输入 ②反 ...
分类：
其他好文 时间：
2020-01-24 18:57:01
阅读次数：
132
1. 梯度：对于一元函数，梯度是导数/斜率；对于多元函数，梯度是由偏导数组成的向量 梯度的方向：是函数在给定点上升最快的方向 梯度的反方向：是函数在给定点下降最快的方向 多元函数的梯度：（偏导） 2. 梯度下降：函数在某一点处沿着梯度的反方向逐步迭代，求出函数的局部最小值的过程。我们的最终目的是找到 ...
分类：
其他好文 时间：
2020-01-23 16:57:12
阅读次数：
118
在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
MS SQL 代码片段收集 查询依赖关系 查询包含此表的语句 查看索引 查看约束 删除约束 查询系统表中的索引及索引列 删除索引 查看统计信息 删除统计信息 只取数字 跨库导数据 数据库全角字符转半角 实现 随机查询 （over函数和newid） sql 中的 over 函数和 row_number ...
分类：
数据库 时间：
2020-01-18 13:04:40
阅读次数：
122
BGP（边界网关协议）是一种协议，通过在边缘路由器之间交换路由和可达性信息来管理数据包如何通过互联网路由。
分类：
其他好文 时间：
2020-01-13 14:28:03
阅读次数：
160
—关于数学学习的思考 学问的本质是人与知识，人与人，人与自己的对话，当我们进入了对话的进程，我们就入门了 就是从问题引入定义，这个定义一般会对应着几何直观；然后定义又引入定义的性质，比如导数的性质，极限的性质等，另外，定义包含着运算，比如导数，从导数的定义直接就可以推出运算法则。然后从定义和运算法则 ...
分类：
其他好文 时间：
2020-01-12 18:08:10
阅读次数：
119
sigmoid与softmax sigmoid与softmax可以神经网络的输出单元。 原理 sigmoid 预测二值型变量$y$的值，定义如下： $$\hat{y}= \sigma( \omega^{T}h+b)=\frac{1}{1+exp{-( \omega^ {T}h+b)}}$$ 通常使用 ...
分类：
其他好文 时间：
2020-01-09 00:58:35
阅读次数：
145
费马引理 设f(x)满足在x0点处 可导且取极值，则 f'(x0)=0 点x0取极值则x0的导数必为0 费马引理的证明 证明区间内一点导数为零，考虑罗尔定理和费马引理 导数不为0，导函数必然保号（恒正或恒负，因为零点定理） 罗尔定理 罗尔定理推广 罗尔定理的使用 利用乘积求导公式的逆用，(uv)' ...
分类：
其他好文 时间：
2020-01-04 14:39:32
阅读次数：
109
牛顿法与最速下降法一样是解无约束最优化问题的最早使用算法， 它的基本思想是用迭代点的梯度和二阶导数对目标函数进行二次函数逼近， 然后把二次函数的极小点作为新的迭代点， 并不断重复这一过程， 直至求出极小点。 设$f(x)$的二阶导数$\round^2f(x)$连续， 它在$x_k$的泰勒展开式前三项 ...
分类：
其他好文 时间：
2020-01-01 17:08:38
阅读次数：
102
Sobel算子 应用于图像特征的提取，边缘检测，变化率最大的地方就是边缘过度的地方。边缘是什么 – 是像素值发生跃迁的地方，是图像的显著特征之一，在图像特征提取、对象检测、模式识别等方面都有重要的作用。如何捕捉/提取边缘 – 对图像求它的一阶导数delta = f(x) – f(x-1), delt ...
分类：
其他好文 时间：
2019-12-31 19:00:07
阅读次数：
106
