梯度下降和随机梯度下降之间的关键区别： 1、标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的。 2、在标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算。 3、标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯 ...
分类：
其他好文 时间：
2020-04-06 17:51:21
阅读次数：
101
BiasLFM(bias latent factor model)带偏置项的隐语义推荐模型，加入三个偏置项（所有评分的平均，用户偏置项表示用户的评分习惯和物品没关系， * 物品偏置项表示物品接受的评分中和用户没关系的因素）矩阵分解,训练得到U,I矩阵,以及用户偏置项和物品偏置项 * 对user-it ...
分类：
编程语言 时间：
2020-04-02 22:42:19
阅读次数：
116
Reference: https://developers.google.com/machine-learning/crash-course/reducing-loss/learning-rate Learning Rate 正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习 ...
分类：
其他好文 时间：
2020-04-02 15:51:48
阅读次数：
91
1. 基本算法 1.1 随机梯度下降 1.2 动量算法 1.3 nesterov动量算法 2. 自适应学习率算法 2.1 AdaGrad 2.2 RMSProp 2.3 Adam 3. 二阶导数方法 3.1 牛顿法 3.2 共轭梯度法 1.1 随机梯度下降 从数据集中随机抽取m个小批量样本（满足样本 ...
分类：
编程语言 时间：
2020-04-02 01:36:38
阅读次数：
106
2020年04月01号 愚人时节在家作，期待清明小假期，此才星期三，心里压力大而影响睡眠，因而也引起了心跳不稳，心率紊乱，状态及精神严重不足。 继续沿用昨日的图来作为开篇之语！ 今日之收获: ★ 学习了机器学习的数学课程，梯度下降及牛顿优化法。 ★ 开篇看道德经<众妙之门> ★ 记做case两年来， ...
分类：
其他好文 时间：
2020-04-02 01:12:31
阅读次数：
98
1 什么是逻辑回归 1.1逻辑回归与线性回归的区别： 线性回归预测的是一个连续的值，不论是单变量还是多变量（比如多层感知器），他都返回的是一个连续的值，放在图中就是条连续的曲线，他常用来表示的数学方法是Y=aX+b； 与之相对的，逻辑回归给出的值并不是连续的，而是 类似于“是” 和 “否” 的回答， ...
分类：
其他好文 时间：
2020-03-30 19:35:21
阅读次数：
74
实质理解： 训练过程： CNN在做卷积的时候，每一层的输出（可理解为形成的高维特征向量）是通过卷积的前向传播算法和反向传播算法（也就是梯度下降算法），结合真实的标签（前向传播结果与真实标签做误差）， 将前向传播的结果无限逼近具有真实标签，在此过程中不断的更新权重，形成具有真实标签类别信息的权重矩阵。 ...
分类：
其他好文 时间：
2020-03-23 20:35:15
阅读次数：
83
请注意本文的神经网络的结构略不同于以往的神经网络。在这里，只有点与点的连线上会有激活函数，一个节点本身是不会有运算的。 看了网上大部分文章和3B1B的视频，BP算法用到的就是链式法则。但由于数学家喜欢把一件事情复杂化，程序员喜欢用矩乘来优化复杂度，BP算法就看上去有些难以理解。 最近看了CNN，自己 ...
分类：
其他好文 时间：
2020-03-18 23:58:43
阅读次数：
199
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是机器学习专题的第12篇文章，我们一起来看下Kmeans聚类算法。 在上一篇文章当中我们讨论了KNN算法，KNN算法非常形象，通过距离公式找到最近的K个邻居，通过邻居的结果来推测当前的结果。今天我们要来看的算法同样非常直观，也是最经 ...
分类：
编程语言 时间：
2020-03-18 09:47:48
阅读次数：
91
一.线性回归实现总结 手动实现线性回归，损失函数，梯度下降优化函数 线性回归是神经网络的基石，每一个神经元都可以看作是一个线性回归 https://www.cnblogs.com/xieviki650/p/ML_Linear-regression.html 推荐李宏毅老师的机器学习视频，结合视频和作 ...
分类：
其他好文 时间：
2020-03-08 19:46:48
阅读次数：
79
