在实际使用的时候，神经网络是很复杂的，要借助计算图才能使其条理清晰，让复杂的事情变的直观便于研究。 神经网络的计算是有一个前向传播以及一个反向传播构成的。 先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数，并对这些参数进行梯度下降 然后用新的参数 ...
分类：
其他好文 时间：
2020-01-19 09:19:03
阅读次数：
60
记录一下李宏毅机器学习课程关于对抗攻击的内容； 1、 一般模型training过程： 输入x_0，调整模型Network的参数θ，使得输出y_0和y_true的loss越小越好；损失函数：L_train(θ) = C(y_0, y_true) Non-targeted Attack： 固定模型Net ...
分类：
其他好文 时间：
2020-01-17 23:03:56
阅读次数：
83
1 线性目标的梯度优化 损失函数： 算法1 : 批量梯度下降BGD 每次迭代使用所有样本来对参数进行更新。 损失函数： 代数形式： 矩阵形式： 更新： 代数形式伪代码： 矩阵形式伪代码： 算法2：随机梯度下降SGD 每次迭代使用一个样本来对参数进行更新。 一个样本的损失函数： 代数形式伪代码： 矩阵 ...
分类：
其他好文 时间：
2020-01-17 00:10:24
阅读次数：
92
1.解决回归问题 2.思想简单，实现容易 3.许多强大的非线性模型的基础 4.结果具有很好的可解释性 5.蕴含机器学习中的很多重要思想 注意：分类问题 损失函数：度量出没有拟合出样本的部分 效用函数：度量是拟合的程度 ...
分类：
编程语言 时间：
2020-01-15 23:00:41
阅读次数：
85
根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
背景 在机器学习中经常会碰到“损失函数”,“成本函数”, 和“目标函数”。在学习中理解概念是至关重要的。 "todo" 解析 1、“损失函数”一般是指对 单个样本 的做的损失 $$ |y_i f(x_i)| $$ 2、“成本函数”一般是 数据集上 总的成本和损失 $$ 1/N\cdot\sum_{i ...
分类：
其他好文 时间：
2020-01-07 00:53:11
阅读次数：
132
机器学习初步 有监督和无监督区别, 一个有标签一个无标签 机器学习的目的, 寻找一个模式 与环境进行交互, 有一个反馈 有监督分为两类问题 主要任务是分类和回归 降维也是无监督的学习 每一行是一个样本, 每一列是一个特征(属性维度) 线性回归 多变量情形 损失函数 平方损失函数 指数损失函数 交叉熵 ...
分类：
其他好文 时间：
2020-01-02 20:59:01
阅读次数：
86
一、Cost Function and Backpropagation 神经网络的损失函数： $$J(\Theta) = \frac{1}{m} \sum_{i=1}^m \sum_{k=1}^K \left[y^{(i)}_k \log ((h_\Theta (x^{(i)}))_k) + (1 ...
分类：
Web程序 时间：
2020-01-01 23:28:50
阅读次数：
101
来源：https://www.jianshu.com/p/c02a1fbffad6 简单易懂的softmax交叉熵损失函数求导 来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的 ...
分类：
其他好文 时间：
2020-01-01 18:58:50
阅读次数：
67
基于距离的norm1和norm2 所谓正则化，就是在损失函数中增加范数，那么老调重弹一下，所谓范数是指空间向量的大小距离之和，那么范数有值单一向量而言的范数，其实所谓单点向量其实是指指定向量到原点的距离。 d = Σ||xi||· 还有针对两个向量求距离的范数；那么作为距离，最常用到的就是马哈顿距离... ...
分类：
其他好文 时间：
2020-01-01 16:37:31
阅读次数：
112
