线性回归的线代视角：从最小二乘到岭回归
本文基于模型知识整理（生成时未联网核对），统计结论建议对照 Wasserman《All of Statistics》复核。
一句话定义
线性回归 $\hat y = Xw$ 在线代语言里就是最小二乘：$w^*=(X^\top X)^{-1}X^\top y$（正规方程）——几何上是把 y 投影到列空间（kp-019）；病态时正则化升级为岭回归 $w^*=(X^\top X+\lambda I)^{-1}X^\top y$（强行正定），SVD/伪逆视角则把两者统一为"按奇异值过滤"。
为什么重要
这是本库知识树的"总装车间"：内积（度量误差）、投影（最优拟合）、正定（解的唯一性）、条件数（病态诊断）、伪逆（秩亏兜底）、PCA（特征压缩）——全部在一条回归流水线上合影。学懂本条，前面所有抽象都有了工资单。
前置知识
核心概念
- 数据矩阵约定：X 是 n×p（行=样本、列=特征），y 是 n 维；模型 $\hat y=Xw$，损失 $\|Xw-y\|^2$。
- 正规方程：$w^*=(X^\top X)^{-1}X^\top y$；几何解释：$Xw^*$ 是 y 在列空间的投影，残差垂直（kp-019）。
- 统计字典：帽子矩阵 $H=X(X^\top X)^{-1}X^\top$（投影矩阵）、残差 $e=(I-H)y$、$R^2=1-\|e\|^2/\|y-\bar y\|^2$——统计术语全是线代对象。
- 岭回归：$\min\|Xw-y\|^2+\lambda\|w\|^2$ ⇒ $w^*=(X^\top X+\lambda I)^{-1}X^\top y$——对角加 λ 抬高全部特征值（压低 κ，kp-023），以偏差换方差。
- SVD 统一视角：$w^*=\sum_i \frac{u_i^\top y}{\sigma_i}v_i$；岭回归把系数换成 $\frac{\sigma_i}{\sigma_i^2+\lambda}$——大 σ 几乎不动、小 σ 被压扁；λ→∞ 退化为零模型，λ=0 是 OLS，λ→最优在中间（正则化的谱画像）。
原理与机制
为什么多重共线性伤害回归：特征列近共线 ⇒ $X^\top X$ 病态（kp-023）⇒ 系数对样本扰动剧烈（方差爆炸）、个别系数甚至反号——"预测还准、解释全毁"。诊断用 κ 或 VIF；治疗用岭回归/删特征/降维（PCA 回归，kp-021）。
为什么岭回归"有偏但更稳"：加 λ 牺牲无偏性（估计中心偏离真值）换取方差骤降——总误差（偏差²+方差）在中间 λ 最小；谱视角下它压制小奇异值方向（噪声主导的方向）。这就是"正则化=用先验约束换稳定性"的线代表达。
为什么中心化让截距消失：X、y 都减均值后，最优 w 不变、截距=ȳ——"先去均值再回归"既是简化也是标准化纪律（kp-021/023 的前置步骤）。
图示
损失 min ‖Xw−y‖²
正规方程: (XᵀX)w = Xᵀy (几何: 投影, kp-019)
病态: κ(XᵀX)=κ² → 系数不稳 (kp-023)
岭回归: (XᵀX+λI)w = Xᵀy (抬谱压噪)
SVD 谱: wᵢ系数 = σᵢ/(σᵢ²+λ) (软过滤)
统计语言: 帽子矩阵 H = 投影 P ; R², 残差 e=(I−H)y直观类比
拟合直线像"用一块直尺压住散点"：最小二乘=直尺只能整体平移旋转（列空间有限），找离所有点总距离最近的摆法。共线性=两个传感器在报几乎同一个数（列近共线），尺子不知道该信谁（系数乱跳）；岭回归=给每个传感器装上"别太自信"的弹簧。
实例或案例
- 房价回归：面积与房间数高度相关 → OLS 系数飘忽 → 岭回归稳定解释。
- 多项式拟合：高次基函数使 X 范德蒙德化（kp-028，天然病态）→ 必须正则化或正交多项式基。
- 推荐系统矩阵分解：交替最小二乘（ALS）= 本条回归的迭代化身 + 正则项（kp-018 的应用闭环）。
常见误区
- 误区一："R² 高=模型好"。R² 只度量列空间解释力；过拟合时 R²→1 而泛化崩坏——需要训练/验证切分（统计纪律超出线代范围）。
- 误区二："岭回归的 λ 用默认值"。λ 是偏差-方差旋钮，必须交叉验证选择；λ=1e-4 与 100 的模型是两个模型。
- 误区三："相关变量必须删掉"。删特征损失信息；岭/伪逆/PCA 回归都是"保留信息、压制病态"的替代方案。
与其他知识点的关系
自测题
- 从 $\min\|Xw-y\|^2$ 推出正规方程（两行）。
答：梯度 $2X^\top(Xw-y)=0$（kp-022）→ $X^\top Xw=X^\top y$。
- 岭回归的解在 λ→∞ 时趋向什么？λ=0 呢？
答：λ→∞ 时 $w\to0$（只有惩罚）；λ=0 时退化为普通最小二乘；中间 λ 权衡偏差与方差。
- 两特征相关 0.999 时 OLS 发生什么、给出两种处理。
答：$X^\top X$ 接近奇异 → κ 巨大 → 系数方差爆炸；处理：岭正则或 PCA 降维后再回归（或删一列）。
延伸阅读
- Wasserman《All of Statistics》第 13 章（回归的统计面）。
- Strang《Introduction to Linear Algebra》§4.3、§7.4（投影与正则化）。
- Hastie 等《ISL》第 3、6 章（回归与正则化的入门经典）。