梯度寻优

标签：case   组合   数学   数值   表示   平面   begin   建模   球面   

无论做任何事情，人们总是希望以最小的代价获取最大的利益，力求最好！为此，人们发明各式各样的数学工具：导数、积分等。现代优化理论大都来源于处理多元问题时导致的复杂性，它有三个重要的基础：

• 矩阵理论：矩阵是描述多元问题的最基本的工具，为多元问题分析和求解提供了基本的数据结构。
• 数值分析：导数和微分为多元问题分析和求解提供了基本的数学方法。
• 计算机：为多元问题分析和求解提供了基本的实践工具。

由此，一个最优化问题需要我们同时具备三种基本的能力：数学建模、公式推导、算法设计。

最优化的数学描述

\[ \begin{aligned} &\min_{x\in ?^n} && f(x) && (\text{等价于 } \max_{x\in ?^n} -f(x))\&\operatorname{s.t.} && \begin{cases} h_i(x) = 0\g_j(x) \leq 0 \end{cases} \end{aligned} \]

• \(x\) 被称为决策变量或问题的解
• \(\operatorname{s.t.}\) 为英文 subject to 的缩写，表示受制于
• \(f(x)\) 称为目标函数或代价函数 (Cost Function)
• \(h(x)\) 为等式约束，\(g(x)\) 为不等式约束

除此之外，最优化问题中的无约束问题可以描述为
\[ \underset{x}{\arg \max}\, f(x), (? \underset{x}{\arg \max}\, -f(x)) \]

其中 \(\arg\max\) 符号是指求解当函数 \(f(x)\) 达到最大值 (或最小值) 时 \(x\) 的取值。

根据目标函数与约束函数的不同形式，可以把最优化问题分为不同的类型：

• 若 \(f(x)\), \(h(x)\), \(g(x)\) 均为线性函数，就称为线性规划；
• 若任意其中一个是非线性函数，则就称为非线性规划；
• 若目标函数为二次函数 (如二次型)，约束全为线性函数，就称为二次规划；
• 若目标函数为向量函数，则称为多目标规划;
• 其他。

凸集与分离定理

• 设 \(A\) 是线性空间 \(X\) 的一个子集，\(x,y \in X\)，联结 \(x,y\) 两点的线段是集合

\[ [x,y] = \{λx + (1-λ)y: 0 ≤ λ \leq 1 \}. \]

• 若 $? x,y \in A, [x,y] ? A $, 则称 \(A\) 是 \(X\) 中的凸集, 而 \(x_1,\cdots, x_n\) 的凸组合, 是集合

\[\{x=\displaystyle\sum_{k=1}^n λ_kx_k: λ_k \geq 0, \sum_{k=1}^n λ_k = 1 \}\]

• \(α \in I, A_{α}\) 是包含 \(A\) 的凸集, 集 \(A\) 的凸包 为

\[{\operatorname{co}(A)} = \bigcap_{α \in I} A_{α}\]

• 集 \(A\) 的核定义为

\[ A^{\circ} = \{x: ? y \in X, ? δ= δ(y)>0, \,\operatorname{s.t.}\, |t| > δ, x+ty \in A \} \]

若 \(A\) 是凸集, 且 \(A^{\circ} \neq ?,\) 则称 \(A\) 为凸体. 在赋范线性空间 \((X, ||\cdot ||)\) 中, 凸体 \(A\) 可定义为
若 \(? x,y \in A, x \neq y, ||x|| = ||y||,\) 则 \(||x+y|| < ||x|| + ||y||.\)

凸集的几何意义

若 \(x,y \in S(0, r)(\text{球面})(||x||=||y||=r),\) 则联结 \(x,y\) 线段的中点 \((x+y)/2 \in B(0,r)\)(球体). 即若 \(x,y\) 在同一球面上, 则线段 \([x,y]\) 的中点就位于该球体的内部.

超平面

设 \(X\) 为实数域 \(?\) 上的线性空间, \(f\) 是 \(X\) 上的实值泛函, 则
\[ L_f (α) = \{x\in X: f(x) = α, α \in ? \} \]
称为 \(X\) 中的超平面.

梯度寻优

标签：case   组合   数学   数值   表示   平面   begin   建模   球面   

原文地址：https://www.cnblogs.com/q735613050/p/9495428.html