MIM攻击原论文地址——https://arxiv.org/pdf/1710.06081.pdf 1.MIM攻击的原理 MIM攻击全称是 Momentum Iterative Method,其实这也是一种类似于PGD的基于梯度的迭代攻击算法。它的本质就是,在进行迭代的时候,每一轮的扰动不仅与当前的梯 ...
分类:
其他好文 时间:
2019-07-31 10:46:18
阅读次数:
207
七,专著研读(Logistic回归) 分类:k 近邻算法,决策树,朴素贝叶斯,Logistic回归,支持向量机,AdaBoost算法。 运用 k 近邻算法,使用距离计算来实现分类 决策树,构建直观的树来分类 朴素贝叶斯,使用概率论构建分类器 Logistic回归,主要是通过寻找最优参数来正确分类原始 ...
分类:
其他好文 时间:
2019-07-28 09:35:44
阅读次数:
116
推荐系统 简介 推荐系统是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。 前景 随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自 ...
分类:
其他好文 时间:
2019-07-27 12:28:20
阅读次数:
275
Q1多维特征 上图中列数即为特征的个数,行数是样本数。函数假设如下: 其中x0=1。 Q2多变量梯度下降 和单变量的损失函数相同: 其中, 求导迭代如下: Q3梯度下降法实践1-特征缩放 特征之间的尺度变化相差很大(如一个是0-1000,一个是0-5),梯度算法需要非常多次的迭代才能收敛,如下图所示 ...
分类:
其他好文 时间:
2019-07-25 23:17:46
阅读次数:
127
目录 BN的由来 BN的作用 BN的操作阶段 BN的操作流程 BN可以防止梯度消失吗 为什么归一化后还要放缩和平移 BN在GoogLeNet中的应用 BN在GoogLeNet中的应用 BN的由来 BN是由Google于2015年提出,论文是《Batch Normalization_ Accelera ...
分类:
其他好文 时间:
2019-07-24 22:32:39
阅读次数:
150
$c_{t}=c_{t 1} \otimes \sigma\left(W_{f} \cdot\left[H_{t 1}, X_{t}\right]\right) \oplus \tanh \left(W_{c} \cdot\left[H_{t 1}, X_{t}\right]\right) \oti ...
分类:
其他好文 时间:
2019-07-24 19:25:49
阅读次数:
80
RNN中的梯度消失/爆炸原因 梯度消失/梯度爆炸是深度学习中老生常谈的话题,这篇博客主要是对RNN中的梯度消失/梯度爆炸原因进行公式层面上的直观理解。 首先,上图是RNN的网络结构图,$(x_1, x_2, x_3, …, )$是输入的序列,$X_t$表示时间步为$t$时的输入向量。假设我们总共有$ ...
分类:
其他好文 时间:
2019-07-24 19:22:12
阅读次数:
119
“?”即“全称量化符号”, 读作“任意”。 ∑-1 : 协方差矩阵 σ2 方差 (sigma) σ 标准差 微分算子, 在二维图像中表示 梯度 (nabla) ε (epsilon) ...
分类:
其他好文 时间:
2019-07-23 17:14:06
阅读次数:
182