伪逆（Moore-Penrose）：不可逆矩阵的最优撤销
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Strang §7.3 / Trefethen & Bau Lecture 11 复核。
一句话定义
Moore-Penrose 伪逆 $A^+ = V\Sigma^+U^\top$（SVD 把奇异值取倒数、转置再拼回）为任何矩阵提供"最合理的撤销"：解 $Ax=b$ 时给出"最优双保险"答案——所有最小二乘解中范数最小者（欠定）/所有最小残差解中范数最小者（超定），秩亏与长方阵从此有解。
为什么重要
现实矩阵普遍不满秩（冗余特征、重复测量、深度网络权重）——真逆不存在时，伪逆是唯一带"最优性证书"的通用解。它是秩亏最小二乘的收口（kp-019 的兜底）、控制论与统计的常规工具，也是理解"广义逆"家族的坐标原点。
前置知识
核心概念
- 定义：$A^+ = V\Sigma^+U^\top$，$\Sigma^+$ 把非零奇异值替换为 $1/\sigma_i$（零保持零——零方向不放大噪声）。
- 四条 Penrose 条件：$AA^+A=A$、$A^+AA^+=A^+$、$(AA^+)^\top=AA^+$、$(A^+A)^\top=A^+A$——"逆"的性质在可逆时退化一致。
- 答案的双最优：
- 超定（列满秩）：$x^+=A^+b$ = 最小二乘唯一解； - 欠定（行满秩）：$x^+=A^+b$ = 无穷多最小二乘解中范数最小者； - 秩亏：同时兼顾——最小残差解集中范数最小。
- 投影分解：$A^+ = \mathcal{C}(A)$ 上的"逆动作"——$AA^+$ = 列空间投影、$A^+A$ = 行空间投影（正是 kp-018 的四子空间账本）。
原理与机制
为什么零奇异值取 0 而不是无穷：$1/\sigma$ 在 σ→0 时爆炸——保留它等于在"几乎压没的方向"上疯狂放大噪声；置 0 意味着"这些方向里没有信息，别问"。截断 SVD 伪逆（丢弃小 σ）正是数值上对噪声的主动防御（kp-023 的截断准则）。
为什么范数最小的解来自零空间：欠定时通解 $x=x_p+\mathcal{N}(A)$——解集沿零空间平移，范数最小的成员恰是"零空间分量归零"的那一个（垂直分解 kp-005）——$A^+b$ 的构造恰好落在行空间内。最优性=把自由度用在刀刃上（行空间），零空间分量一律不浪费。
与真逆的关系：满秩方阵时 σ 全正、$\Sigma^+=\Sigma^{-1}$，$A^+=A^{-1}$——伪逆是逆的最自然推广（不是唯一推广，但是四条件唯一解）。
图示
A⁺ = V Σ⁺ Uᵀ , Σ⁺: 1/σᵢ (σᵢ>0), 0 (σᵢ=0)
超定: x⁺ = 唯一最小二乘解
欠定: x⁺ = 最小范数解 (零空间分量=0, 落在行空间)
秩亏: 最小残差 ∩ 最小范数 双最优
截断伪逆: σᵢ < 阈值 → 置 0 (噪声防御)直观类比
真逆是"原路返回"；伪逆是"最优折返路线"：回不去就找最接近的点（最小残差），路有多条就挑最省力的那条（最小范数）。对"已经被压扁的方向"（σ≈0），它拒绝倒放（除零），因为那只会放大噪音。
实例或案例
- 秩亏回归：
np.linalg.pinv(A) @ b直接给出可用的系数——多重共线性的"无脑但最优"处理。 - 机器人逆运动学：雅可比长方/奇异时，伪逆给关节速度指令（ $dq=J^+dx$ ），奇异点附近截断防关节飞转。
- 深度学习：全连接层"宽度冗余"等价解的挑选即隐式最小范数原则（与 kp-031 呼应）。
常见误区
- 误区一："伪逆=手算 $(A^\top A)^{-1}A^\top$"。那是列满秩时的公式；秩亏时该式根本不存在——SVD 版才是普适定义。
- 误区二："伪逆解就是精确解"。欠定/超定下 $Ax^+\ne b$ 依然可能——它优化的是残差与范数的双最优，不是"满足方程"。
- 误区三："小奇异值保留越多越准"。数据带噪时，尾部 σ 常是噪声而非信号；截断（丢弃小 σ）通常比"完整伪逆"更准——这是 SVD 去噪的原理。
与其他知识点的关系
自测题
- 写出对角阵 $\text{diag}(3,0,5)$ 的伪逆。
答：$\text{diag}(1/3,\ 0,\ 1/5)$——非零取倒数、零保持零。
- 欠定系统为什么 $A^+b$ 落在行空间？
答：通解=特解+零空间分量；范数最小 ⟺ 零空间分量为零（垂直分解 kp-005）⇒ 解在行空间内。
- 数据带噪时为什么常用截断伪逆而非完整伪逆？
答：小奇异值方向信噪比低，1/σ 会放大噪声；截断把噪声方向置零，误差-方差更平衡（kp-023）。
延伸阅读
- Strang《Introduction to Linear Algebra》§7.3–7.4。
- Trefethen & Bau《Numerical Linear Algebra》Lecture 11（伪逆的四种视角）。
- Albert《Regression and the Moore-Penrose Pseudoinverse》（专论）。