投影与最小二乘：找不到精确解时的最优解
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Strang §4.2–4.3 复核。
一句话定义
$Ax=b$ 无精确解时（b 在列空间外），最小二乘找"列空间里离 b 最近的点" $Ax^*$——条件是残差 $b-Ax^*$ 垂直于列空间，即正规方程 $A^\top(Ax-b)=0$；解出的投影矩阵 $P=A(A^\top A)^{-1}A^\top$ 把任何向量投到列空间，是回归与拟合的几何内核。
为什么重要
真实数据永远带噪：测量点不在任何直线上（拟合直线）、样本不满秩（多重共线性）、约束互相打架（超定系统）——最小二乘是"降格求最优"的通用答案，也是机器学习线性回归的本体（kp-030）。它演示了线代的经典解题范式：把优化问题翻译成垂直条件。
前置知识
核心概念
- 优化形式：$\min_x\|Ax-b\|^2$——误差平方和最小。
- 正交条件：残差 $r=b-Ax^* \perp \mathcal{C}(A)$（最优解在列空间内的点，再挪必更远）⟺ $A^\top(b-Ax^*)=0$ ⟺ 正规方程 $A^\top Ax=A^\top b$。
- 投影矩阵：$P=A(A^\top A)^{-1}A^\top$——$Px$ = b 的列空间投影；性质 $P^2=P$（幂等）、$P^\top=P$（对称）、$P$ 特征值只有 0/1。
- 几何 vs 代数：几何一句话（垂足），代数两行（正规方程）；两者等价因为正交配对（kp-008）。
- 解法谱系：正规方程（Cholesky）→ QR（数值更稳，kp-014）→ SVD/伪逆（秩亏兜底，kp-020）。
原理与机制
为什么"垂足=最近点"：对列空间内任意 $Ap$，$\|b-Ap\|^2 = \|r\|^2 + \|Ax^*-Ap\|^2$（勾股，因 $r\perp\mathcal{C}(A)$）≥ $\|r\|^2$——残差一旦垂直，任何偏离都只会加平方项。勾股定理在这里完成了微积分才做完的事（无需求导的优化证明）。
正规方程的矩阵账：$A^\top A$ 半正定（$x^\top A^\top Ax=\|Ax\|^2$，kp-016）；满列秩时正定 → Cholesky 可解、解唯一；秩亏时无穷多解 → 伪逆挑最小范数解（kp-020）。
投影矩阵的性质从哪来：$P^2=P$（投两次=投一次）、$P^\top=P$（正交投影）——两者互为充要（对称幂等=正交投影）；$\sigma$ 只含 0/1（保留方向与压没方向，与 kp-012 的投影矩阵一致）。
误差的两个来源（统计学视角预告）：$\hat x - x_{true}$ 的方差由 $(A^\top A)^{-1}$ 的尺度控制——列接近相关（病态，kp-023）时估计方差爆炸。这是"正交实验设计优于共线设计"的数学理由。
图示
b ∉ C(A): Ax* = proj(b), 残差 r = b − Ax* ⊥ C(A)
正规方程: AᵀAx = Aᵀb (法向量式)
投影矩阵: P = A(AᵀA)⁻¹Aᵀ ; P²=P, Pᵀ=P, σ∈{0,1}
解法: 正规方程(Cholesky) < QR(推荐) < SVD(秩亏兜底)直观类比
在桌上找离灯泡最近的地面点：就是从灯泡垂直往桌面画线（投影）。最小二乘 = 数据点 b 悬在"所有模型输出"构成的桌面外，把灯泡垂直按到桌面上，按到的点就是最优模型输出——垂直，就是"最优"的全部秘密。
实例或案例
- 直线拟合：设计矩阵列=[1, t_i]，正规方程给出斜率截距——经典回归（kp-030 的完整版）。
- GPS 定位：观测方程超定带噪 → 最小二乘求位置。
- 样本不满秩（两列成比例）：$A^\top A$ 奇异 → 转伪逆/正则化（岭回归加 λI 正是"强行正定"，kp-030）。
常见误区
- 误区一："正规方程是解最小二乘的最好办法"。数值上 QR/SVD 更稳（$\kappa^2$ vs $\kappa$，kp-023）；正规方程的价值在几何清晰而非工程首选。
- 误区二："最小二乘是线代的凑合产物"。它是统计学的正主（高斯/勒让德的误差理论源头），只是线代给出了它的几何真相。
- 误区三："投影矩阵任何 A 都能算"。需要 $A^\top A$ 可逆（满列秩）；秩亏时该公式失效，必须走 SVD 伪逆（kp-020）。
与其他知识点的关系
自测题
- 推导最小二乘的正交条件（一行微积分或几何）。
答：几何——残差必须⊥列空间否则还能在列空间内移动减小误差；代数——$\nabla\|Ax-b\|^2=2A^\top(Ax-b)=0$。
- 证明 $P^2=P$。
答：$P^2=A(A^\top A)^{-1}A^\top A(A^\top A)^{-1}A^\top = AI(A^\top A)^{-1}A^\top=P$（投影投两次仍是同一点）。
- 什么情形 $A^\top A$ 不可逆、如何应对？
答：A 列线性相关（秩亏）；应对：SVD/伪逆（kp-020）或岭正则 $A^\top A+\lambda I$ 强制正定。
延伸阅读
- Strang《Introduction to Linear Algebra》§4.2–4.3（投影与最小二乘的原文）。
- Trefethen & Bau《Numerical Linear Algebra》Lecture 11、19。
- Wasserman《All of Statistics》回归章（统计视角对接）。