正定矩阵与二次型：能量与凸性
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Strang §6.5 / Boyd & Vandenberghe §A.5 复核。
一句话定义
对称矩阵 A 正定 ⟺ 二次型 $x^\top A x > 0$ 对一切 $x\ne0$ 成立 ⟺ 特征值全正 ⟺ 顺序主子式全正——它定义"处处上凸的能量碗"，是凸优化、最小二乘唯一性（kp-019）、高斯分布、多变量极值判别的共同语法。
为什么重要
"碗状"（凸）是优化最珍贵的性质：正定=碗底唯一、牛顿法/共轭梯度可放心用；半正定=碗底可能是平谷（无数最优）。机器学习的损失二阶条件、高斯过程的核矩阵、协方差矩阵合法性——判定正定性是这些场景的第一道检查。
前置知识
kp-015（谱定理）。
核心概念
- 二次型：$q(x)=x^\top Ax$（A 对称）——n 元二次齐次函数。
- 正定（PD）：$x^\top Ax>0\ \forall x\ne0$；半正定（PSD）：≥0；负定/不定对称定义。
- 等价判别（对称 A）：
1. 特征值全正； 2. 顺序主子式全正（Sylvester 判据，手算首选）； 3. 存在 $A=B^\top B$（Cholesky 分解 $A=LL^\top$）； 4. 主元全正（消元视角）； 5. 所有 $x^\top Ax>0$（定义本身）。
- 几何：$q(x)=1$ 的等高面是椭球（正定）——轴方向=特征向量、半轴长 $=1/\sqrt{\lambda_i}$（kp-015 的极性）。
- 负定/不定：全负特征值=倒碗；混合符号=马鞍面（不定）——多元函数极值的二阶判据（Hessian，kp-021）。
原理与机制
为什么特征值判据成立：$x=Qy$ 换到特征坐标，$x^\top Ax=\sum\lambda_i y_i^2$——二次型在特征基下是"平方的加权和"；全正系数 ⇒ 恒正。谱定理把抽象定义变成逐项检查——这是 kp-015 的直接红利。
为什么最小二乘的正则矩阵 $X^\top X$ 总半正定：$x^\top X^\top Xx=\|Xx\|^2\ge0$——平方和自动 PSD；且 PSD ⟺ 可写成 $B^\top B$（Cholesky 即"开平方根"）。$X$ 满列秩时升级为正定（零空间只有零），正规方程唯一可解（kp-019）。
凸性与优化的接口：目标函数 Hessian 处处正定 ⇒ 严格凸 ⇒ 局部最优=全局最优、梯度=0 即解。多变量极值判据 $D_i>0$ 且 $D_{nn}>0$（Hessian 正定）本质就是逐点检查"碗性"（kp-021）。
图示
q(x) = xᵀAx ; A=QΛQᵀ ⇒ q = Σ λᵢ yᵢ² (特征坐标下纯平方和)
λ 全正 → 椭球碗(正定) ; 含 0 → 平谷(PSD) ; 混合 → 马鞍(不定)
判据: 特征值>0 | 顺序主子式>0 | A=LLᵀ(Cholesky) | 主元>0
2D 例: q = 5x² + 8xy + 5y² → λ=(9,1) → 椭圆直观类比
二次型是"能量地形"：正定=碗（处处上坡，唯一谷底）；半正定=山谷但谷底是平走廊（多个最优点）；不定=马鞍（有的方向上坡有的下坡，驻点是鞍点非极值）。特征值就是各方向的坡度倍率——有一个负坡就有溜坡方向。
实例或案例
- 高斯分布：协方差矩阵必须 PSD（否则"方差"为负无意义）；其等高线椭球形状由特征系统决定。
- 核方法（SVM/GP）：核矩阵必须 PSD 才是合法内积核——核设计的硬约束。
- 最小二乘：$X^\top X$ 正定 ⟺ 解唯一；病态时 Cholesky 崩，转 QR/SVD（kp-023）。
常见误区
- 误区一："特征值全非负=正定"。那叫半正定；正定要求严格为正（零特征值给出一整个平谷方向）。
- 误区二："逐元素为正 ⇒ 正定"。反例：$\begin{bmatrix}1&2\\2&1\end{bmatrix}$ 元素全正但特征值 3,−1（不定）——元素与谱是两码事。
- 误区三："只查对角元"。对角元正只保证 $q(e_i)>0$（坐标轴向）；必须查全方向（主子式/谱）。
与其他知识点的关系
自测题
- 用主子式判别 $\begin{bmatrix}2&-1\\-1&2\end{bmatrix}$。
答：一阶主子式 2>0，行列式 4−1=3>0 → 正定（特征值 1,3）。
- 为什么 $A=B^\top B$ 必半正定？
答：$x^\top B^\top Bx=\|Bx\|^2\ge0$——平方和天然非负；B 满列秩时正定。
- 二维不定二次型的等高线形状？
答：双曲线族（马鞍面水平切片）——两特征值异号，一个方向上坡一个下坡。
延伸阅读
- Strang《Introduction to Linear Algebra》§6.5（正定与最小二乘的联系）。
- Boyd & Vandenberghe《Convex Optimization》§A.5、§3.1（凸函数的 Hessian 判据）。
- Axler《Linear Algebra Done Right》§7（正算子）。