一、偏差和方差 欠拟合的loss主要来自偏差 过拟合的loss主要来自方差 应对大的偏差的方法： 增加更多特征作为输入 使用更复杂的模型 应对大的方差的方法： 更多数据 正则化 k折交叉验证 二、梯度下降 Adagrad 二次微分大的点梯度虽然大但是可能会比梯度小的点离极值点更近，因此学习率需要考虑 ...
分类：
其他好文 时间：
2020-07-22 20:53:23
阅读次数：
106
SVM现在主流的有两个方法。一个是传统的推导，计算支持向量求解的方法，一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数，所以最近也有人提出的深度SVM其实就是使用hinge loss的神经网络。 本文的目的是讲解传统的推导。 SVM的超平面 SVM模型的 ...
分类：
其他好文 时间：
2020-07-22 20:16:36
阅读次数：
68
Nick-Atom AI炼金术士一枚， 主攻推荐/广告/NLP 一张图搞定人生系列： 1, 看趋势（图2） loss往上走甚至产生小山包（黄线） or 下降的特别急（绿线）， 后几个epoch没变化， lr过高， 调低。 绿线还可以考虑lr decay loss趋近于线性(蓝线)， lr过低， 调高 ...
分类：
其他好文 时间：
2020-07-17 11:23:42
阅读次数：
97
Tensorflow一般经过三阶段的模式函数操作： 模型 inference()阶段：尽可能构建好图表（graph），满足促使神经网络向前反馈并做出相应的预测要求； 策略 loss()阶段：往inference图表中添加生成损失（loss）所需要的操作（ops），如交叉熵损失，正则化损失； 算法 t ...
分类：
其他好文 时间：
2020-07-14 21:50:43
阅读次数：
63
计算机视觉任务主要分为：分类、检测、识别、定位四大类。 L1 loss ,L2 loss和smooth L1 loss 引自：https://cloud.tencent.com/developer/article/1441560 一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差 ...
分类：
其他好文 时间：
2020-07-12 18:48:12
阅读次数：
100
Cryptology-3DES（Triple DES） -1981 American 百度百科 3DES（或称为Triple DES）是三重数据加密算法（TDEA，Triple Data Encryption Algorithm）块密码的通称。它相当于是对每个数据块应用三次DES加密算法。由于计算机 ...
分类：
其他好文 时间：
2020-07-09 00:41:36
阅读次数：
61
参考博客：https://www.cnblogs.com/king-lps/p/9497836.html 在yolov3中可以使用focal loss，这是什么东西呢，这个loss主要是解决正负样本不均衡的问题的，该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 原来的 ...
分类：
其他好文 时间：
2020-07-06 20:17:23
阅读次数：
67
import tensorflow as tf (train_x,train_y),(test_x,test_y) = tf.keras.datasets.mnist.load_data() 划分验证集和测试集 valid_x = train_x[:5000] valid_y = train_y[: ...
分类：
Web程序 时间：
2020-07-03 21:15:30
阅读次数：
82
这篇cvpr2019的论文主要提出了一个损失函数Class-Balanced Loss用来处理数据长尾问题 长尾问题是由于分类问题中数据集每类的数据量不同，导致分类准确度下降。举个极端点的例子有助于理解：A、B二分类问题，数据集中，A、B数据量比例为999：1，为了减少损失值，网络很自然的将所有图片 ...
分类：
其他好文 时间：
2020-07-03 19:11:00
阅读次数：
71
https://decodingmarkets.com/places-quantitative-trading-strategies/ Quantitative trading involves the use of mathematical calculations, data analysis ...
分类：
其他好文 时间：
2020-07-02 10:43:42
阅读次数：
54
