主要内容（下划线部分）：接上篇博文：干货|掌握机器学习数学基础之优化[1]（重点知识）1、计算复杂性与NP问题2、上溢和下溢3、导数，偏导数及两个特殊矩阵4、函数导数为零的二三事5、方向导数和梯度6、梯度有什么用7、梯度下降法8、牛顿法1方向导数和梯度：方向导数:在之前讲偏导数的时候，相信很多人已经看出，偏导数求的都是沿着坐标轴的变化率，不管多少维也好，都只是求的变化率，那现在问题来了，如果我想求
分类：
其他好文 时间：
2020-11-30 15:14:34
阅读次数：
5
长篇自动驾驶技术综述论文（下） 三维目标检测 鉴于经济性，可用性和研究的广泛性，几乎所有的算法都使用相机作为主要的感知方式。把相机应用在ADS中，限制条件除了前面讨论到的光照等因素外，还有一个问题就是目标检测是在图像空间的，忽略了场景的尺度信息。而当需要进行避障等动态驾驶任务时，我们需要将二维图像映 ...
分类：
其他好文 时间：
2020-05-21 10:08:20
阅读次数：
76
四参数正弦函数高斯牛顿法拟合 先给出几个主要的参考资料： 这个过程比较详细，我主要参考的是这个：https://wenku.baidu.com/view/70d5d05f312b3169a451a401.html 这个对概念介绍的比较清楚：https://wenku.baidu.com/view/5 ...
分类：
其他好文 时间：
2020-05-17 10:39:41
阅读次数：
84
CanChen ggchen@mail.ustc.edu.cn 讲完了二次线性规划，这节课主要是讲了一般的非线性约束最优化怎么解。 等式约束-Lagrange-Newton 先列Lagrange方程： 然后用牛顿法求方程的根（这个迭代又被称为Newton-Raphson迭代）： Sequential ...
分类：
其他好文 时间：
2020-05-16 20:27:33
阅读次数：
76
两种解法： 1.单独判断1，二分法在范围[2，num/2]搜索，如果平方与num相等，则返回true 2.牛顿法 JAVA class Solution { public boolean isPerfectSquare(int num) { if(num == 1) return true; lon ...
分类：
其他好文 时间：
2020-05-10 10:37:24
阅读次数：
59
【阿里算法天才盖坤】解读阿里深度学习实践，CTR 预估、MLR 模型、兴趣分布网络等 盖坤，江湖人称“靖世”，是阿里巴巴集团“负责变现”的阿里妈妈精准展示技术部的资深总监。在 3 月 29 日新智元产业 · 跃迁 AI 技术峰会上，盖坤详解了阿里妈妈的深度学习演进之路，在用深度学习进行广告推荐、全库 ...
分类：
编程语言 时间：
2020-05-02 18:52:31
阅读次数：
81
拟牛顿法 当特征特别多的时候，求海森矩阵的逆矩阵，运算量是非常大且慢，考虑用一个n阶矩阵来替代，这就是拟牛顿法的基本思路 ...
分类：
其他好文 时间：
2020-04-16 13:40:51
阅读次数：
69
1.牛顿法：是通过求解目标函数的一阶导数为0时的参数，进而求出目标函数最小值时的参数。 收敛速度很快。 海森矩阵的逆在迭代过程中不断减小，可以起到逐步减小步长的效果。 缺点：海森矩阵的逆计算复杂，代价比较大，因此有了拟牛顿法。 2.梯度下降法：是通过梯度方向和步长，直接求解目标函数的最小值时的参数。 ...
分类：
其他好文 时间：
2020-04-12 16:58:07
阅读次数：
174
1. 基本算法 1.1 随机梯度下降 1.2 动量算法 1.3 nesterov动量算法 2. 自适应学习率算法 2.1 AdaGrad 2.2 RMSProp 2.3 Adam 3. 二阶导数方法 3.1 牛顿法 3.2 共轭梯度法 1.1 随机梯度下降 从数据集中随机抽取m个小批量样本（满足样本 ...
分类：
编程语言 时间：
2020-04-02 01:36:38
阅读次数：
106
线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结 目录 背景 简述 内容详解 密度聚类 层次聚类 模型效果判断 附件：手写推导过程练习 一、线性回归函数定义 二、线性回归的模型函数和损失函数由来 原因：中心极限定理 实际问题中，很多随机现象可以看做众多因素的独立影... ...
分类：
其他好文 时间：
2020-02-23 22:00:31
阅读次数：
85
