逻辑回归 一、什么是逻辑回归 是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。主要思想是用最大似然概率方法构造方差，为最大化方差，利用牛顿梯度上升求解方差参数。 优缺点如下： 1 优点：计算代价不高，易于理解和实现。 2 缺点：容 ...
分类：
其他好文 时间：
2020-08-07 12:31:57
阅读次数：
64
CV： 1. 常见的模型加速方法 2. 目标检测里如何有效解决常见的前景少背景多的问题 3. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的，假设网络拟合能力无限强 4. ROIPool和ROIAlign的区别 5. 介绍常见的梯度下降优化方法 6. Detect ...
分类：
编程语言 时间：
2020-08-04 09:55:07
阅读次数：
91
引用自： https://www.lizenghai.com/archives/64931.html AdamW AdamW是在Adam+L2正则化的基础上进行改进的算法。使用Adam优化带L2正则的损失并不有效。如果引入L2正则项，在计算梯度的时候会加上对正则项求梯度的结果。 那么如果本身比较大的 ...
分类：
其他好文 时间：
2020-08-03 13:31:44
阅读次数：
141
激活函数：增加非线性 如果不用激活函数，每一层节点的输入都是上层输出的线性函数。无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，因此网络的逼近能力就相当有限。 Sigmoid: 将输入的连续实值变换为0-1的输出。反向传播中易发生梯度消失，输出不对称（只输出正值） tanh： 输 ...
分类：
其他好文 时间：
2020-07-31 14:08:43
阅读次数：
104
昨天实现了一个计算机函数的提取过程，不过就函数提取的公式而言，因为用的是sklearn提供的多元线性回归分析函数，其中有最小二乘法和梯度下降的模拟。 但是无论是上述的哪种函数的模拟，一旦针对一些相对而言比较复杂的多元非线性问题，就很有可能不能发挥出函数提取的功能了。要做到一种精度比较高的模拟图像识别 ...
分类：
其他好文 时间：
2020-07-29 10:04:19
阅读次数：
67
在解决问题中，θ可能不是一个值，可能是一个向量，所以在求导的时候可以写成求梯度的形式，求函数在每个方向上的偏导数。 其实和上一节处理的问题也相似，只不过这个处理的不是一个数，是一个向量。 这是一个三元函数的曲线图。图中的红色圈圈就是函数曲线。假如起始点从左上角那个点出发，一直到数值最低的点，其实这个 ...
分类：
其他好文 时间：
2020-07-27 23:56:02
阅读次数：
90
之前用的adam优化器一直是这样的： alpha_optim = torch.optim.Adam(model.alphas(), config.alpha_lr, betas=(0.5, 0.999), weight_decay=config.alpha_weight_decay) 没有细想内部参 ...
分类：
其他好文 时间：
2020-07-27 17:57:09
阅读次数：
187
一、简介 GBDT为梯度提升树，是提升树的一种改进形式。 二、算法原理 （1）初始化弱模型 $$f_{0}(x_{i})=arg\min_{c}\sum_{i=1}^{N}L(y_{i},c)$$ （2）在第m轮模型的计算中 （a）对每个样本i，计算负梯度 $$r_{im}=-\frac{\part ...
分类：
其他好文 时间：
2020-07-26 15:34:37
阅读次数：
80
一、偏差和方差 欠拟合的loss主要来自偏差 过拟合的loss主要来自方差 应对大的偏差的方法： 增加更多特征作为输入 使用更复杂的模型 应对大的方差的方法： 更多数据 正则化 k折交叉验证 二、梯度下降 Adagrad 二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近，因此学习率需要考虑 ...
分类：
其他好文 时间：
2020-07-22 20:53:23
阅读次数：
106
SVM现在主流的有两个方法。一个是传统的推导，计算支持向量求解的方法，一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数，所以最近也有人提出的深度SVM其实就是使用hinge loss的神经网络。 本文的目的是讲解传统的推导。 SVM的超平面 SVM模型的 ...
分类：
其他好文 时间：
2020-07-22 20:16:36
阅读次数：
68
