码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习需要的数学总结

时间:2018-12-01 15:12:53      阅读:137      评论:0      收藏:0      [点我收藏+]

标签:fda   http   基础课程   乘法   https   分析   常用   密度   jna   

技术分享图片
数学知识

数学知识总括

  • 微积分(高等数学)
  • 线性代数
  • 概率论与数理统计
  • 凸优化

微积分

微积分学,数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象,极限是微积分的基本概念,微分和积分是特定过程特定形式的极限

微积分/高等数学。在机器学习中,微积分主要用到了微分部分,作用是求函数的极值,就是很多机器学习库中的求解器(solver)所实现的功能。在机器学习里会用到微积分中的以下知识点:

  • 导数和偏导数的定义与计算方法
  • 梯度向量的定义
  • 极值定理,可导函数在极值点处导数或梯度必须为0
  • 雅克比矩阵,这是向量到向量映射函数的偏导数构成的矩阵,在求导推导中会用到
  • Hessian矩阵,这是2阶导数对多元函数的推广,与函数的极值有密切的联系
  • 凸函数的定义与判断方法
  • 泰勒展开公式
  • 拉格朗日乘数法,用于求解带等式约束的极值问题

其中最核心的是记住多元函数的泰勒展开公式,根据它我们可以推导出机器学习中常用的梯度下降法,牛顿法,拟牛顿法等一系列最优化方法:

技术分享图片
技术分享图片

线性代数

线性代数的理论是计算技术的基础,同系统工程,优化理论及稳定性理论等有着密切联系,随着计算技术的发展和计算机的普及,线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象,概念之间联系很密切。内容包括行列式,矩阵,向量空间,线性方程组,矩阵的相似对角化,二次型,线性空间与线性变换等, 机器学习中主要用到以下知识点

  • 向量和它的各种运算,包括加法,减法,数乘,转置,内积
  • 向量和矩阵的范数,L1范数和L2范数
  • 矩阵和它的各种运算,包括加法,减法,乘法,数乘
  • 逆矩阵的定义与性质
  • 行列式的定义与计算方法
  • 二次型的定义
  • 矩阵的正定性
  • 矩阵的特征值与特征向量
  • 矩阵的奇异值分解
  • 线性方程组的数值解法,尤其是共轭梯度法
技术分享图片
技术分享图片

概率论与数理统计

主要内容包括:概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容, 机器学习中主要用到以下知识点

  • 随机事件的概念,概率的定义与计算方法
  • 随机变量与概率分布,尤其是连续型随机变量的概率密度函数和分布函数
  • 条件概率与贝叶斯公式
  • 常用的概率分布,包括正态分布,伯努利二项分布,均匀分布
  • 随机变量的均值与方差,协方差
  • 随机变量的独立性
  • 最大似然估计
技术分享图片
技术分享图片

凸优化

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用

凸优化是机器学习中经常会提及的一个概念,这是一类特殊的优化问题,它的优化变量的可行域是凸集,目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解,因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题,基本上已经宣告此问题得到了解决。在机器学习中,线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。

技术分享图片
技术分享图片

机器学习需要的数学总结

标签:fda   http   基础课程   乘法   https   分析   常用   密度   jna   

原文地址:https://www.cnblogs.com/NiceCui/p/10048872.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!