鞍点和极大极小理论

标签：style   int   strong   art   c   for   

　　设$\phi: X \times Z \mapsto R$是闭凸函数，其中$X$和$Z$分别是$\mathbb{R}^n$和$\mathbb{R}^m$的非空子集，考虑如下的极大极小问题：\begin{align*}\min_{\boldsymbol{x}} & \ \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) \\ \mbox{s.t.} & \ \boldsymbol{x} \in X. \end{align*}和\begin{align*} \max_{\boldsymbol{z}} & \ \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) \\ \mbox{s.t.} & \ \boldsymbol{z} \in Z. \end{align*}那么一个最直接的问题就是在什么条件下有如下的极大极小等式\begin{align} \label{equ: minimax problem} \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) = \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) \end{align}成立，且相应的极值都能取到。极大极小问题是一个很普遍的问题，下面给出两个例子：

1. 考虑如下只有两个玩家的零和博弈，其中玩家A有$n$个策略，玩家B有$m$个策略，若玩家A选择策略$i$的同时玩家B选择策略$ j $，则玩家A需支付$a_{ij}$的报酬给玩家B，玩家A的目标就是最小化他支付的报酬，玩家B的目标就是最大化他得到的报酬。不妨设他们都采用混合策略，即玩家A按概率分布$\boldsymbol{x} = (x_1,\dots,x_n)$选择策略，玩家B按概率分布$\boldsymbol{z} = (z_1,\dots,z_m)$选择策略，那么玩家A的期望支付报酬就是\begin{align*} \sum_{i=1}^n \sum_{j=1}^m a_{ij} x_i z_j = \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{z}, \end{align*}其中矩阵$\boldsymbol{A} \in \mathbb{R}^{n \times m}$第$i$行第$j$列的元素是$a_{ij}$。若每个玩家都考虑最坏的情况，即玩家A最小化$\max_{\boldsymbol{z}} \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{z}$，玩家B最大化$\min_{\boldsymbol{x}} \boldsymbol{x}^\top \boldsymbol{A} \boldsymbol{z}$，不难看出这两个问题就是上面的极大极小问题，在下一章我们将证明这两个问题的最优值是相等的。
2. 考虑如下含有不等式约束的优化问题：\begin{align*} \min_{\boldsymbol{x}} & \ f(\boldsymbol{x}) \\ \mbox{s.t.} & \ \boldsymbol{x} \in X, \boldsymbol{g}(\boldsymbol{x}) \leq \boldsymbol{0}. \end{align*}其中$X$是$\mathbb{R}^n$的非空子集，$f: \mathbb{R}^n \mapsto \mathbb{R}$，$g_j: \mathbb{R}^n \mapsto \mathbb{R}$是给定函数。引入Lagrangian乘子得到如下形式的Lagrangian函数：\begin{align*} L(\boldsymbol{x}, \boldsymbol{\mu}) = f(\boldsymbol{x}) + \sum_{j=1}^r \mu_j g_j(\boldsymbol{x}). \end{align*}不难看出若$\boldsymbol{x}$破坏了某个约束，即若某个$g_j(\boldsymbol{x}) > 0$，那么将有$\sup_{\boldsymbol{\mu} \geq \boldsymbol{0} } L(\boldsymbol{x}, \boldsymbol{\mu}) = \infty$；若$\boldsymbol{x}$满足所有约束，将有$\sup_{\boldsymbol{\mu} \geq \boldsymbol{0} } L(\boldsymbol{x}, \boldsymbol{\mu}) = f(\boldsymbol{x})$，于是原问题可写为\begin{align*} \min_{\boldsymbol{x}} & \ \sup_{\boldsymbol{\mu} \geq \boldsymbol{0} } L(\boldsymbol{x}, \boldsymbol{\mu}) \\ \mbox{s.t.} & \ \boldsymbol{x} \in X. \end{align*}我们引入如下形式的对偶问题：\begin{align*} \max_{\boldsymbol{\mu}} & \ \inf_{\boldsymbol{x} \in X} L(\boldsymbol{x}, \boldsymbol{\mu}) \\ \mbox{s.t.} & \ \boldsymbol{\mu} \geq \boldsymbol{0}. \end{align*}那么极大极小问题实质上就是原始问题和对偶问题是否存在对偶间隙(duality gap)，即极大极小等式(\ref{equ: minimax problem})是否成立。

　　通过观察，不难发现对于$\forall \bar{\boldsymbol{z}} \in Z$有\begin{align*}\inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \bar{\boldsymbol{z}}) \leq \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}).\end{align*}于是对再$\bar{\boldsymbol{z}}$取上确界有\begin{align*}\sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) \leq \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}). \end{align*}故只需要研究在什么条件下有\begin{align*} \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) \geq \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}). \end{align*}为此我们先引入鞍点(saddle point)的概念，若向量$\boldsymbol{x}^* \in X$和$\boldsymbol{z}^* \in Z$使得\begin{align*} \phi(\boldsymbol{x}^*, \boldsymbol{z}) \leq \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) \leq \phi(\boldsymbol{x}, \boldsymbol{z}^*), \ \forall \boldsymbol{x} \in X, \forall \boldsymbol{z} \in Z. \end{align*}成立，则称$(\boldsymbol{x}^*, \boldsymbol{z}^*)$为$\phi$的鞍点。由定义可知，$(\boldsymbol{x}^*, \boldsymbol{z}^*)$为$\phi$的鞍点当且仅当$\boldsymbol{x}^* \in X$，$\boldsymbol{z}^* \in Z$且\begin{align*} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}^*, \boldsymbol{z}) = \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) = \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}^*). \end{align*}

　　命题3.4.1：$(\boldsymbol{x}^*, \boldsymbol{z}^*)$为$\phi$的鞍点当且仅当极大极小等式成立且$\boldsymbol{x}^*$是\begin{align} \label{equ: saddle point a} \begin{split} \min_{\boldsymbol{x}} & \ \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) \\ \mbox{s.t.} & \ \boldsymbol{x} \in X. \end{split} \end{align}的最优解，$\boldsymbol{z}^*$是\begin{align} \label{equ: saddle point b} \begin{split} \max_{\boldsymbol{z}} & \ \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) \\ \mbox{s.t.} & \ \boldsymbol{z} \in Z. \end{split} \end{align}的最优解。

　　证明：一方面，若$\boldsymbol{x}^*$和$\boldsymbol{z}^*$分别是(\ref{equ: saddle point a})和(\ref{equ: saddle point b})的最优解，那么\begin{align*} \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) = \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}^*) \leq \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) \leq \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}^*, \boldsymbol{z}) = \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}). \end{align*}若极大极小等式(\ref{equ: minimax problem})成立，上式中全部取等号，故\begin{align*} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}^*, \boldsymbol{z}) = \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) = \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}^*), \end{align*}即$(\boldsymbol{x}^*, \boldsymbol{z}^*)$为$\phi$的鞍点。

　　另一方面，若$(\boldsymbol{x}^*, \boldsymbol{z}^*)$为$\phi$的鞍点，则\begin{align*} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}^*, \boldsymbol{z}) = \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) = \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}^*), \end{align*}显然\begin{align*} \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) \leq \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}^*, \boldsymbol{z}) = \phi(\boldsymbol{x}^*, \boldsymbol{z}^*) = \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}^*) \leq \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}), \end{align*}故极大极小等式(\ref{equ: minimax problem})成立且上式中全部取等号，这意味着$\boldsymbol{x}^*$和$\boldsymbol{z}^*$分别是(\ref{equ: saddle point a})和(\ref{equ: saddle point b})的最优解。

　　若极大极小等式成立，则鞍点集合是$X^*$和$Z^*$的Cartesian积，其中$X^*$和$Z^*$分别是(\ref{equ: saddle point a})和(\ref{equ: saddle point b})的最优解的最优解集合，于是任取$\boldsymbol{x}^* \in X^*$及$\boldsymbol{z}^* \in Z^*$可以得到一个鞍点$(\boldsymbol{x}^*, \boldsymbol{z}^*)$。 若极大极小等式不成立，则没有鞍点，参考如下这个例子。

　　例3.4.2：设\begin{align*} \phi(\boldsymbol{x}, \boldsymbol{z}) = \frac{1}{2} \boldsymbol{x}^\top \boldsymbol{Q} \boldsymbol{x} + \boldsymbol{x}^\top \boldsymbol{z} - \frac{1}{2} \boldsymbol{z}^\top \boldsymbol{R} \boldsymbol{z}, \ X = Z = \mathbb{R}^n, \end{align*}其中$\boldsymbol{Q}$和$\boldsymbol{R}$都是正定对称矩阵，易知有\begin{align*} \sup_{\boldsymbol{z} \in \mathbb{R}^n} \phi(\boldsymbol{x}, \boldsymbol{z}) = \frac{1}{2} \boldsymbol{x}^\top (\boldsymbol{Q} + \boldsymbol{R}^{-1}) \boldsymbol{x}, \ \inf_{\boldsymbol{x} \in \mathbb{R}^n} \phi(\boldsymbol{x}, \boldsymbol{z}) = - \frac{1}{2} \boldsymbol{z}^\top (\boldsymbol{Q}^{-1} + \boldsymbol{R}) \boldsymbol{z}.\end{align*}因此\begin{align*} \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) = 0 = \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}), \end{align*}此时有$X^* = Z^* = \{ \boldsymbol{0} \}$，即$( \boldsymbol{0} , \boldsymbol{0} )$是唯一的鞍点。

　　若$\boldsymbol{Q}$不是半正定矩阵，$\boldsymbol{R}$是正定矩阵且$\boldsymbol{Q} + \boldsymbol{R}^{-1}$是正定矩阵，那么\begin{align*}\sup_{\boldsymbol{z} \in \mathbb{R}^n} \phi(\boldsymbol{x}, \boldsymbol{z}) = \frac{1}{2} \boldsymbol{x}^\top (\boldsymbol{Q} + \boldsymbol{R}^{-1}) \boldsymbol{x}, \ \inf_{\boldsymbol{x} \in \mathbb{R}^n} \phi(\boldsymbol{x}, \boldsymbol{z}) = - \infty, \forall\boldsymbol{z} \in \mathbb{R}^n. \end{align*}此时有$X^* = \{ \boldsymbol{0} \}$，$Z^* = \mathbb{R}^n$，但是\begin{align*} 0 = \inf_{\boldsymbol{x} \in X} \sup_{\boldsymbol{z} \in Z} \phi(\boldsymbol{x}, \boldsymbol{z}) > \sup_{\boldsymbol{z} \in Z} \inf_{\boldsymbol{x} \in X} \phi(\boldsymbol{x}, \boldsymbol{z}) = - \infty, \end{align*}极大极小等式不成立，故没有鞍点。

鞍点和极大极小理论,布布扣,bubuko.com

鞍点和极大极小理论

标签：style   int   strong   art   c   for   

原文地址：http://www.cnblogs.com/murongxixi/p/3712933.html