【阿里算法天才盖坤】解读阿里深度学习实践，CTR 预估、MLR 模型、兴趣分布网络等 盖坤，江湖人称“靖世”，是阿里巴巴集团“负责变现”的阿里妈妈精准展示技术部的资深总监。在 3 月 29 日新智元产业 · 跃迁 AI 技术峰会上，盖坤详解了阿里妈妈的深度学习演进之路，在用深度学习进行广告推荐、全库 ...
分类：
编程语言 时间：
2020-05-02 18:52:31
阅读次数：
81
拟牛顿法 当特征特别多的时候，求海森矩阵的逆矩阵，运算量是非常大且慢，考虑用一个n阶矩阵来替代，这就是拟牛顿法的基本思路 ...
分类：
其他好文 时间：
2020-04-16 13:40:51
阅读次数：
69
1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。 收敛速度很快。 海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。 缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。 2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。 ...
分类：
其他好文 时间：
2020-04-12 16:58:07
阅读次数：
174
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结 目录 背景 简述 内容详解 密度聚类 层次聚类 模型效果判断 附件：手写推导过程练习 一、线性回归函数定义 二、线性回归的模型函数和损失函数由来 原因：中心极限定理 实际问题中，很多随机现象可以看做众多因素的独立影... ...
分类：
其他好文 时间：
2020-02-23 22:00:31
阅读次数：
85
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 牛顿法和拟牛顿法牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下... ...
分类：
其他好文 时间：
2019-10-16 17:41:08
阅读次数：
106
今天给大家分享的是最优化理论。 简单的来说，就是求一个函数（空间上的一条曲线或曲面）在一个区间中的最小值。由于函数有可能很复杂，或区间范围很大，我们就利用最优化来将区间缩小。最后，确定我们所要的最小值是在经过计算后的缩小的范围中能够得到。 当然，以上的说法不是特别准确。但是，我们可以简单认为是求函数 ...
分类：
其他好文 时间：
2019-08-19 22:58:43
阅读次数：
97
今日学习打卡，logistic regression 这个概念来自于统计学，也可用于机器学习，可用于2项分类（0，1），也可以多项分类（0，1，2，...）。 线性回归，一般用R2来作为检测模型好坏的指标。 logistic regression则是用likelihood，计算每个值的likelih ...
分类：
其他好文 时间：
2019-07-29 14:28:11
阅读次数：
98
梯度下降： 1，批量梯度（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）的区别 2，和最小二乘比较 1，梯度下降法需要选择步长，而最小二乘法不需要。 2，梯度下降法是迭代求解，最小二乘法是计算解析解。 3，最小二乘仅适用数据量较小的情况下 3，和牛顿法比较 1，梯度下降法是梯度求解 ...
分类：
其他好文 时间：
2019-02-22 10:39:45
阅读次数：
184
牛顿法需要计算目标函数的二阶偏导数，计算复杂，而且有时目标函数的海森矩阵无法保持正定，因此有人提出了拟牛顿法：一种类似牛顿法的方法。思路是不用二阶偏导数就构造出可以近似海森矩阵的正定对称阵。拟牛顿条件是指出了用来近似的矩阵应该满足的条件。 ...
分类：
其他好文 时间：
2018-05-13 21:07:59
阅读次数：
158
