无约束优化算法 假设求解$\min L(\theta)$，$L(\cdot)$光滑 直接法 两个条件 函数是凸函数 一阶导数为零等式有闭式解 迭代法 假设优化问题为$\begin{aligned} \delta_t = \mathop{\arg \min}_{\delta} L(\theta_t+\ ...
分类：
编程语言 时间：
2019-11-24 15:44:26
阅读次数：
102
设$f$是有限开区间$(a,b)$上凸函数，并且在该区间上有界，证明$\lim\limits_{x→a^{+}}f(x)$和$\lim\limits_{x→b^{-}}f(x)$存在 设$x∈(a,b)$时,$f(x)≤M$，$x＞x_{1}＞x_{0}$为$(a,b)$内任意三点，根据$f(x)$ ...
分类：
其他好文 时间：
2019-11-17 15:08:46
阅读次数：
78
第一阶段 机器学习基础与凸优化 【核心知识点】 - KNN，Weighted KNN、近似KNN - KD树，近似KD树、哈希算法、LSH - 岭回归、LASSO、ElasticNet - 正则：L1, L2, L-inifity Norm - LR、GD、SGD、小批量SGD - 凸集，凸函数、判 ...
分类：
其他好文 时间：
2019-11-12 16:14:59
阅读次数：
168
最优化问题 基本形式 分类 线性规划问题 实例 线性规划问题的标准形式 线性规划问题的求解 凸集和凸函数 空间里面的直线 仿射线 凸集 超平面和半平面 凸函数 凸优化问题 定义 ...
分类：
其他好文 时间：
2019-10-08 18:54:34
阅读次数：
99
[toc] 最近学习了一些凸优化的知识，想写几篇随笔作为总结备忘。在此篇中我们简要地介绍一点点基本概念。 1. 凸集 定义1. 集合$S\in\mathbb{R}^{n}(n\geq 1)$ 被称为是凸集，如果对于任意的$x,y\in S$,$t\in (0,1)$则 $t ...
分类：
其他好文 时间：
2019-10-05 22:31:44
阅读次数：
126
在SVM中，我们的超平面参数最终只与间隔边界上的向量（样本）有关，故称为支持向量机。 求解最优超平面，即求最大化间隔，或最小化间隔的倒数：||w||2/2，约束条件为yi(wTxi+b)>=1 因为此函数为凸函数（拉格朗日乘子法的前提条件），可用拉格朗日乘子法转化为对偶问题，当满足KKT条件时，对偶 ...
分类：
其他好文 时间：
2019-10-02 13:12:30
阅读次数：
164
课程内容 1. 预备知识 2. 线性规划 3. 一维搜索方法 4. 无约束最优化方法 5. 约束最优化方法 6. 工程应用优化 预备知识 1. 最优化问题 2. 多元函数的Taylor公式 3. 多元函数极值问题 4. 凸集、凸函数和凸优化 5. 算法相关概念 6. 算法概述 最优化问题 数学表示 ...
分类：
其他好文 时间：
2019-09-22 15:04:49
阅读次数：
97
一、无约束优化 对于无约束的优化问题，直接令梯度等于0求解。 如果一个函数$f$是凸函数，那么可以直接通过$f(x)$的梯度等于0来求得全局极小值点。 二、有约束优化 若$f(x)，h(x)，g(x)$三个函数都是线性函数，则该优化问题称为线性规划。若任意一个是非线性函数，则称为非线性规划。 若目标 ...
分类：
其他好文 时间：
2019-09-03 14:56:50
阅读次数：
226
引言 本文先介绍凸函数的4种定义方式，然后介绍一些凸函数。 凸函数的第一个定义 $f: R^n \rightarrow R$为凸函数，等价于：$dom f$为凸，且 $$\forall x,y \in dom f, 0 \leq \theta \leq 1$$ 有 $$f(\theta x + (1 ...
分类：
其他好文 时间：
2019-08-30 20:50:36
阅读次数：
74
题意 构造 $n$ 个点使其凸度（顶点数最多的凸多边形的顶点数）恰好为 $m$，且任意三点不能共线。 （题意有点绕，建议看英文原文 分析 首先，题目并不是求凸包上的顶点数，而是求能形成的凸多边形的最大顶点数。 直接构造符合条件的结果。 易知，凸函数上的点都能构成凸多边形。 将 $m$ 个点置于 $y ...
分类：
其他好文 时间：
2019-08-17 22:11:32
阅读次数：
106
