定义

给定函数 $f: \mathbb{R}^n \mapsto \mathbb{R}$, 且 $f$ 在 $x$ 一个邻域内有定义, 若存在 $g \in \mathbb{R}^n$, 使得

其中 $\Vert \cdot \Vert$ 是向量范数, 则称 $f$ 在 $x$ 处 可微. 此时, $g$ 称为 $f$ 在 $x$ 处的 梯度, 记为 $\nabla f(x)$.

定义

如果函数 $f(x): \mathbb{R}^n \mapsto \mathbb{R}$ 在点 $x$ 处的二阶偏导数 $\dfrac{\partial^2 f}{\partial x_i \partial x_j}$ 存在, 则称 $f$ 在 $x$ 处 二次可微. 此时, $n \times n$ 矩阵

称为 $f$ 在 $x$ 处的 Hessian 矩阵. 若 $\nabla^2 f(x)$ 在 $D$ 上连续, 则称 $f$ 在 $D$ 上 二次连续可微.

定义

给定函数 $f: \mathbb{R}^{m \times n} \mapsto \mathbb{R}$, 且 $f$ 在 $X$ 一个邻域内有定义, 若存在 $G \in \mathbb{R}^{m \times n}$, 使得

其中 $\Vert \cdot \Vert$ 是矩阵范数, 则称 $f$ 在 $X$ 处 (Fréchet)可微. 此时, $G$ 称为 $f$ 在 $X$ 处的 梯度, 记为 $\nabla f(X)$.

定义

给定函数 $f: \mathbb{R}^{m \times n} \mapsto \mathbb{R}$, 若存在矩阵 $G \in \mathbb{R}^{m \times n}$, 使得

则称 $f$ 在 $X$ 处 (Gâteaux)可微.

定义

广义实数 是一种扩充实数域的数, 记为 $\bar{\mathbb{R}} = \mathbb{R} \cup \{ \pm \infty \}$. 映射 $f: \mathbb{R}^n \mapsto \bar{\mathbb{R}}$ 称为 广义实值函数.

定义

给定广义实值函数 $f$ 和非空集合 $X$. 如果存在 $x \in X$ 使得 $f(x) < +\infty$, 并且对任意的 $x \in X$, 都有 $f(x) > -\infty$, 那么称函数 $f$ 关于集合 $X$ 是 适当的．

定义

对于广义实值函数 $f: \mathbb{R}^n \mapsto \bar{\mathbb{R}}$,

• $C_\alpha = \{x \mid f(x) \le \alpha \}$ 称为 $f$ 的 $\alpha$-下水平集.
• $\text{epi} f = \{ (x, t) \mid f(x) \le t \}$ 称为 $f$ 的 上方图.
• 若 $\text{epi} f$ 为闭集, 则称 $f$ 为闭函数.
• 若对任意的 $x \in \mathbb{R}^n$, 有 $\liminf_{y \to x} f(y) \ge f(x)$, 则称 $f$ 为 下半连续函数.

定理

对于广义实值函数 $f$, 以下命题等价:

1. $f(x)$ 的任意 $\alpha$-下水平集都是闭集;
2. $f(x)$ 是下半连续的;
3. $f(x)$ 是闭函数.

证明

(1) $\Rightarrow$ (2): 反证, 假设 $x_k \to \bar{x}$ 但 $\liminf_{k \to \infty} f(x_k) < f(\bar{x})$. 取 $t$ 介于二者之间.

考虑到 $\liminf_{k \to \infty} f(x_k) < t$, 则有无穷多 $x_k$ 使得 $f(x_k) \le t$, 即这些 $x_k$ 在 $C_t$ 中. 由于 $C_t$ 是闭集, 则 $\bar{x} \in C_t$, 即 $f(\bar{x}) \le t$, 矛盾.

(2) $\Rightarrow$ (3): 考虑 $(x_k,y_k) \in \text{epi} f \to (\bar{x},\bar{y})$, 由于 $f$ 下半连续, 则

即 $(\bar{x}, \bar{y}) \in \text{epi} f$.

(3) $\Rightarrow$ (1): 考虑 $x_k \in C_\alpha \to \bar{x}$, 则 $(x_k, \alpha) \in \text{epi} f \to (\bar{x}, \alpha)$, 所以 $(\bar{x}, \alpha) \in \text{epi} f$, 即 $f(\bar{x}) \le \alpha$, 所以 $\bar{x} \in C_\alpha$.

定义

适当函数 $f: \mathbb{R}^n \mapsto \mathbb{R}$ 称为 凸函数, 如果 $\text{dom} f$ 是凸集, 且对任意的 $x, y \in \text{dom} f$ 和 $\theta \in [0,1]$, 有

定义

若存在常数 $m > 0$, 使得 $g(x) = f(x) - \frac{m}{2} \Vert x \Vert^2$ 是凸函数, 则称 $f$ 是 强凸函数, $m$ 称为 强凸参数.

定理凸函数判定定理

适当函数 $f: \mathbb{R}^n \mapsto \mathbb{R}$ 是凸函数的充要条件是, 对任意的 $x \in \text{dom} f$, 函数 $g: \mathbb{R} \mapsto \mathbb{R}$ 是凸函数, 其中

定理一阶条件

对于定义在凸集上的可微函数 $f$, $f$ 是凸函数当且仅当

证明

必要性: 设 $f$ 凸, 则 $\forall x, y \in \text{dom} f, t \in [0,1]$, 有

令 $t \to 0$, 即

充分性: $\forall x, y \in \text{dom}f, t\in (0,1)$, 取 $z = tx+(1-t)y$, 则

一式乘以 $t$, 二式乘以 $1-t$, 相加即得.

定理梯度单调性

设 $f$ 为可微函数, 则 $f$ 为凸函数当且仅当 $\text{dom} f$ 为凸集且 $\nabla f$ 为单调映射.

证明

必要性: 根据一阶条件, 有

相加即可.

充分性: 考虑 $g(t)=f(x+t(y-x))$, 则 $g^\prime(t)=\nabla f(x+t(y-x))^T (y-x)$, 从而 $g^\prime (t) \ge g^\prime (0)$.

定理

函数 $f(x)$ 是凸函数当且仅当 $\text{epi}f$ 是凸集.

定理二阶条件

设 $f$ 为定义在凸集上的二阶连续可微函数, $f$ 是凸函数当且仅当 $\nabla^2 f(x) \succeq 0, \forall x \in \text{dom} f$. 若不取等, 则为严格凸函数.

证明

必要性: 反设 $f(x)$ 在 $x$ 处 $\nabla^2 f(x) \prec 0$, 则存在 $v \in \mathbb{R}^n$, 使得 $v^T \nabla^2 f(x) v < 0$, 考虑 Peano 余项

取 $t$ 充分小,

这和一阶条件矛盾.

充分性: 对于任意的 $x, y \in \text{dom} f$, 有

由一阶条件, $f$ 为凸函数.

定义

$f: \mathbb{R}^n \mapsto \mathbb{R}$ 称为 拟凸的, 如果 $\text{dom} f$ 是凸集, 且对任意 $\alpha$, 下水平集 $C_\alpha$ 是凸集.

若 $f$ 是拟凸的, 则称 $-f$ 是 拟凹的. 若 $f$ 既是拟凸又是拟凹的, 则称 $f$ 是 拟线性的.

定理

• 拟凸函数满足类 Jenson 不等式: 对拟凸函数 $f$ 和 $\forall x, y \in \text{dom} f, \theta \in [0,1]$, 有

• 拟凸函数满足一阶条件: 定义在凸集上的可微函数 $f$ 拟凸当且仅当

定义

如果正值函数 $f$ 满足 $\log f$ 是凸函数, 则 $f$ 称为 对数凸函数; 若为凹函数, 则 $f$ 称为 对数凹函数.

定义

$f: \mathbb{R}^n \mapsto \mathbb{R}^m$ 称为 $K$-凸函数, 如果 $\text{dom} f$ 是凸集, 且

对任意 $x,y \in \text{dom} f, 0 \le \theta \le 1$ 成立.