高等数学基础 | 01 微积分 | 02 泰勒公式与拉格朗日乘子法 | 03 线性代数基础 | 04 特征值与矩阵分解 | 05 概率论基础 | 06 随机变量与概率统计 | 07 随机变量的几种分布 | 08 核函数变换 | 09 熵与激活函数 | 10 假设检验 | 11 相关分析 | 12 回 ...
分类：
其他好文 时间：
2020-12-15 12:46:29
阅读次数：
4
交替方向乘子法(ADMM)简明梳理 本文对ADMM所涉及的一些数学知识进行简单的讲解, 并在最后汇总, 写出ADMM的基本形式. 本文对推导过程酌情省略. 拉格朗日乘子法 给定二元函数$z=f(x,y)\(和约束条件\)\psi(x,y)=0$, 求二元函数$z=f(x,y)$在约束条件下的极值点. ...
分类：
其他好文 时间：
2020-07-01 22:17:13
阅读次数：
96
目录 KTT介绍 KTT的理解 内容详解 一、KTT介绍： KKT条件是泛拉格朗日乘子法的一种形式；主要应用在当我们的优化函数存在不等值约束的情况下的一种最优化求解方式；KKT条件即满足不等式约束情况下的条件： 二、KTT的理解： 可行解必须在约束区域g(x)之内，由图可知可行解x只能在g(x)0。... ...
分类：
其他好文 时间：
2020-02-24 22:22:37
阅读次数：
107
一、拉格朗日乘子法 1、通俗解释 给个函数：$Z=f(x,y)$如何求出它的极值点呢？有了前面的知识，简单来说直接求它的偏导不就OK了吗？ 那现在假如说对这个函数加上一个约束条件呢？也就说现在假如有这样一个约束条件$2xy+2yz+2zx=S$，那该怎么样求出函数$Z(x,y,z)=xyz$的最大值 ...
分类：
其他好文 时间：
2020-01-05 17:13:06
阅读次数：
386
支持向量机SVM 对于分类问题，还有一种算法叫做支持向量机SVM，我们简化一下二分类数据，假设这些数据只有二维特征，其数据如下： 我们希望找到一条线，把这些数据能够分类识别，图中三条线，H1是失败的，H2和H3都可以正确分类，但是明显肉眼可以识别出，H3要比H2更好，对于新的未知数据其准确度也是更高 ...
分类：
其他好文 时间：
2020-01-01 20:33:46
阅读次数：
83
用极大似然来求解参数, 求导很有技巧,之前跟之前LDA相似, 还得用拉格朗日乘子求条件极值 ...
分类：
其他好文 时间：
2019-12-21 09:20:17
阅读次数：
144
这学期有一门运筹学，讲的两大块儿：线性优化和非线性优化问题。在非线性优化问题这里涉及到拉格朗日乘子法，经常要算一些非常变态的线性方程，于是我就想用python求解线性方程。查阅资料的过程中找到了一个极其简单的解决方式，也学到了不少东西。先把代码给出。 是不是很简洁？因为调用了强大的包numpy~ 我 ...
分类：
编程语言 时间：
2019-10-20 17:34:14
阅读次数：
99
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 支持向量机总结支持向量机中有线性可分支持向量机、线性支持向量机、非线性支持向量机、线性支持回归等算法，算是前期比... ...
分类：
其他好文 时间：
2019-10-16 17:46:32
阅读次数：
69
在SVM中，我们的超平面参数最终只与间隔边界上的向量（样本）有关，故称为支持向量机。 求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1 因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时，对偶 ...
分类：
其他好文 时间：
2019-10-02 13:12:30
阅读次数：
164
