1. 模型定义 将问题转化为数学公式建模 模型就是一个数学公式，例如 w表示权重，b表示偏差，yhat表示预测值≠标签 2. 模型训练 -- 调整最终参数的过程 1. 训练数据（训练集，样本，标签--真实值，特征--用来预测标签的因素x1,x2） 2. 损失函数（衡量标签（真实值）与预测值之间的误差 ...
分类：
其他好文 时间：
2020-09-08 21:06:31
阅读次数：
60
一、网络 二、激活函数 激活函数：对隐藏变量使用按元素运算的非线性函数进行变换，作为下一个全连接层的输入。这个非线性函数被称为激活函数。 三、正则化 正则化：正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。 四、损失函数 五、网络模型优化算法 ...
分类：
编程语言 时间：
2020-07-29 21:59:19
阅读次数：
100
代码和其他资料在 github 一、tf.keras概述 首先利用tf.keras实现一个简单的线性回归，如 \(f(x) = ax + b\)，其中 \(x\) 代表学历，\(f(x)\) 代表收入，分别代表输入特征和输出值。为了描述预测目标与真实值之间的整体误差最小，需要定义一个损失函数，数学描 ...
分类：
其他好文 时间：
2020-07-26 15:25:59
阅读次数：
78
SVM现在主流的有两个方法。一个是传统的推导，计算支持向量求解的方法，一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数，所以最近也有人提出的深度SVM其实就是使用hinge loss的神经网络。 本文的目的是讲解传统的推导。 SVM的超平面 SVM模型的 ...
分类：
其他好文 时间：
2020-07-22 20:16:36
阅读次数：
68
梯度下降法主要分为三种， 梯度下降法 随机梯度下降 小批量梯度下降 下面分别来介绍一下，这样更加有助于理解它们之间的联系。 梯度下降法 梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降 下面就以均方误差讲解一下，假设损失函数如下： 其中 是预测值， 是真实值，那么要最小化上面损失 ...
分类：
其他好文 时间：
2020-07-20 22:40:33
阅读次数：
75
1. 均方误差MSE 2. 平均绝对误差MAE # true: 真目标变量的数组 # pred: 预测值的数组 def mse(true, pred): return np.sum((true - pred)**2) def mae(true, pred): return np.sum(np.abs ...
分类：
其他好文 时间：
2020-07-16 00:09:41
阅读次数：
74
Softmax softmax可以将经交叉熵损失函数的输出都映射到 0 到 1 间，且各分类累和为 1。符合概率分布。 假设共有 n 个输出 [Z1,...,Zn]，对第 i 个元素 Zi 的softmax的计算公式：Si = ezi / sum(ezn) softmax的反向传播求导过程 http ...
分类：
其他好文 时间：
2020-07-15 23:12:01
阅读次数：
195
计算机视觉任务主要分为：分类、检测、识别、定位四大类。 L1 loss ,L2 loss和smooth L1 loss 引自：https://cloud.tencent.com/developer/article/1441560 一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差 ...
分类：
其他好文 时间：
2020-07-12 18:48:12
阅读次数：
100
1. 分析为什么平方损失函数不适用于分类问题. 分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值 和 标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。 假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或 3， ...
分类：
其他好文 时间：
2020-07-11 22:38:55
阅读次数：
159
交叉熵损失函数 交叉熵的几种表达形式 Binary CrossEntropy Categorical CrossEntropy 对数似然函数与交叉熵的关系 均方误差与交叉熵误差(sigmoid为激活函数) 均方误差(MSE)与梯度更新 交叉熵误差与梯度更新 对比与结论 多分类交叉熵函数的梯度更新(s ...
分类：
其他好文 时间：
2020-07-08 19:48:06
阅读次数：
99
