Reference：李航 --《统计学习方法》 10 种主要的统计学习方法概括总结 方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 感知机 二类分类 分离超平面 判别模型 极小化误分点到超平面距离 误分点到超平面距离 随机梯度下降 k 近邻 多类分类，回归 特征空间，样本点 ...
分类：
其他好文 时间：
2020-07-06 14:36:46
阅读次数：
104
import paddle.fluid as fluidimport numpy#定义数据train_data = [[0], [1], [2], [3], [4], [5], [10]]y_true = [[3], [13], [23], [33], [43], [53], [103]]#定义网络 ...
分类：
其他好文 时间：
2020-06-26 14:52:44
阅读次数：
57
SVI变分推断的前两篇介绍了变分推断的构造方法、目标函数以及优化算法CAVI，同时上一篇末尾提到，CAVI并不适用于大规模的数据的情况，而这一篇将要介绍一种随机优化（stochastic optimization）的方法。这种优化方法与随机梯度下降（Stochastic Gradient Desce ...
分类：
其他好文 时间：
2020-06-23 01:00:54
阅读次数：
76
可参考博客： https://blog.csdn.net/rujin_shi/article/details/78997271?utm_medium=distribute.pc_relevant_right.none-task-blog-BlogCommendFromMachineLearnPai2 ...
分类：
其他好文 时间：
2020-06-09 23:32:52
阅读次数：
87
反向传播算法基于多元函数链式法则，以下记录多元函数链式法则的证明与反向传播算法的实例推演。 多元复合函数的求导法则（多元链式法则） 定义 如果函数$u=\varphi(t)$及$v=\psi(t)$都在点$t$可导，函数$z = f(u,v)$在对应点$(u,v)$具有连续偏导数（重点），那么复合函 ...
分类：
编程语言 时间：
2020-06-06 18:33:46
阅读次数：
49
变分推断总结，内容包括变分推断求解目标，中场理论，指数分布求解例子和随机梯度变分推断 ...
分类：
其他好文 时间：
2020-04-25 01:18:00
阅读次数：
78
梯度下降和随机梯度下降之间的关键区别： 1、标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的。 2、在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算。 3、标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯 ...
分类：
其他好文 时间：
2020-04-06 17:51:21
阅读次数：
101
BiasLFM(bias latent factor model)带偏置项的隐语义推荐模型，加入三个偏置项（所有评分的平均，用户偏置项表示用户的评分习惯和物品没关系， * 物品偏置项表示物品接受的评分中和用户没关系的因素）矩阵分解,训练得到U,I矩阵,以及用户偏置项和物品偏置项 * 对user-it ...
分类：
编程语言 时间：
2020-04-02 22:42:19
阅读次数：
116
1. 基本算法 1.1 随机梯度下降 1.2 动量算法 1.3 nesterov动量算法 2. 自适应学习率算法 2.1 AdaGrad 2.2 RMSProp 2.3 Adam 3. 二阶导数方法 3.1 牛顿法 3.2 共轭梯度法 1.1 随机梯度下降 从数据集中随机抽取m个小批量样本（满足样本 ...
分类：
编程语言 时间：
2020-04-02 01:36:38
阅读次数：
106
train.py: # -*- coding: UTF-8 -*- """ 训练神经网络模型 大家之后可以加上各种的 name_scope（命名空间） 用 TensorBoard 来可视化 一些术语的概念 # Batch size : 批次(样本)数目。一次迭代（Forword 运算（用于得到损失函 ...
分类：
其他好文 时间：
2020-02-22 22:23:04
阅读次数：
85
