1.梯度下降法 是一种基于搜索的最优化方法，作用是最小化一个损失函数。 但不是所有的函数都有唯一的极值点。 解决方案：多次运行，随机初始化点 梯度下降法的初始点也是一个超参数 线性回归法的损失函数具有唯一的最优解。 模拟实现梯度下降法 1 import numpy as np 2 import ma ...
分类：
其他好文 时间：
2020-06-05 21:05:44
阅读次数：
70
一、图像梯度算法 1、图像梯度-Sobel算子 dst = cv2.Sobel(src, ddepth, dx, dy, ksize) ddepth:图像的深度 dx和dy分别表示水平和竖直方向 ksize是Sobel算子的大小 1 # *******************图像梯度算法****** ...
分类：
编程语言 时间：
2020-06-02 22:55:48
阅读次数：
79
数学分析 1、知识回忆 2、导数 3、梯度 ...
分类：
其他好文 时间：
2020-06-02 00:04:56
阅读次数：
69
今天我们来聊聊Flexbox，它是前端的一个布局方式。在React Native中是主流布局方式。如果你刚刚入门React Native，或者没有多少前端的技术经验，亦或者对其半知半解，那么这篇文章将很好的帮助你参透Flexbox的整个全貌。 purpose 通过这篇文章你将快速吃透整个Flexbo ...
分类：
其他好文 时间：
2020-06-01 14:05:49
阅读次数：
55
当我们在训练一个神经网络的时候，参数的随机初始化是非常重要的，对于逻辑回归来说，把参数初始化为0是很ok的。但是对于一个神经网络，如果我们将权重或者是所有参数初始化为0，梯度下降算法将不会起到任何作用。 1.为什么逻辑回归参数初始化为0是ok的？ 下图所示，是logistic回归的图解： 假设我们用 ...
分类：
其他好文 时间：
2020-06-01 00:50:01
阅读次数：
226
在网上可以看到很多颜色透明度与编码的对照图。 但是却没有明确的如何写。 首先，透明度从00-FF，一共256个梯度 下面以蓝色为例，标准蓝色是#0000FF，透明度加在最后面，即#0000FFXX（XX代表透明度）；实际效果如下： <div style="background:#0000FF00;w ...
分类：
Web程序 时间：
2020-05-29 10:25:40
阅读次数：
310
ResNet 其他不带残差的网络（plain-CNN）中： 56层的网络比20层的网络，无论是trainning set 还是test set都要表现差 问题： 1) 优化问题，梯度在传播过程中出现梯度消失，或者梯度爆炸 2） weight_matrix_decay 1. Batch Normali ...
分类：
Web程序 时间：
2020-05-28 19:57:38
阅读次数：
75
https://blog.csdn.net/cindy_1102/article/details/89010066一、既然我们已经对消失梯度问题的本质和它在深度神经网络中的表现有了直观的认识，那么让我们关注一个简单而实用的启发式方法来解决这些问题。 为了解决梯度爆炸的问题，Thomas Mikolo ...
分类：
其他好文 时间：
2020-05-26 20:46:27
阅读次数：
73
博客转自：https://www.cnblogs.com/lcchuguo/p/5407709.html 简单介绍 ipopt是一个解决非线性规划最优化问题的工具集，当然，它也能够用于解决线性规划问题的求解。它提供了c/c++接口，很易于使用。 问题 解决类似以下的非线性问题： Ipopt工具採用内 ...
分类：
其他好文 时间：
2020-05-24 23:56:54
阅读次数：
94
[toc] 遗传 选择，交叉，变异 模拟退火 假设前一个状态为$x(n)$，系统根据某一规则（比如梯度下降）使状态变为$x(n+1)$时，系统的能量（通过损失函数算得）由$E(n)$变为E(n+1)，定义由$x(n)$到$x(n+1)$的状态转化的接受概率为： $P=\left\{\begin{ma ...
分类：
其他好文 时间：
2020-05-24 11:37:03
阅读次数：
75
