PCA 主成分分析：用谱定理降维
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Strang §7.3 / Bishop《PRML》§12.1 复核。
一句话定义
PCA 把数据中心化后对其协方差矩阵（对称半正定）做谱分解：最大特征值对应的特征向量是"方差最大的方向"（第一主成分），依次类推；保留前 k 个主成分即最优线性降维——投影误差与方差损失都是最小的（与 SVD 截断等价）。
为什么重要
PCA 是"高维数据的地图绘制术"：几百维特征往往实际躺在几维子空间附近——找到那几个正交方向就同时获得可视化、去噪、压缩与去相关。它也是"谱方法看数据"的原型：之后所有降维/聚类方法（LDA、谱聚类、t-SNE 的思想对照）都从它的框架出发。
前置知识
kp-015（谱定理）、kp-016（半正定）、kp-004（换基）。
核心概念
- 预处理：数据中心化（减均值）——主成分过原点；可选标准化（除以各列标准差）——量纲不同时必需。
- 协方差矩阵：$C=\frac{1}{n-1}X^\top X$（X 已中心化，行为样本）——对称半正定；对角元=各特征方差、非对角=特征间协方差。
- 主成分：C 的特征向量；对应特征值=该方向上的方差。第一主成分 = $\arg\max_{\|w\|=1}\|Xw\|^2$（投影方差最大）。
- 得分（投影）：样本的新坐标 $T = XV_k$——去相关（各主成分两两零协方差，因特征向量正交）。
- 与 SVD 的等价：对中心化 X 直接 SVD $X=U\Sigma V^\top$，则 V 即主成分、$XV=U\Sigma$ 即得分——不必显式构造协方差矩阵（数值上更稳更省）。
原理与机制
为什么"方差最大方向=最大特征向量"：投影方差 $\frac1n\sum_i (x_i^\top w)^2 = w^\top Cw$——瑞利商（kp-015 极性）！最大化它=取最大特征向量；依次在正交补里重复即得第二、第三主成分。PCA 是谱定理的应用题：协方差的谱=数据的正交方差账本。
为什么降维是"最优"的：保留前 k 个主成分时，重构误差 $\sum_{i>k}\lambda_i$（丢弃方差之和）在所有秩 k 线性投影中最小——与 Eckart-Young（kp-018）同源。数学保证：PCA 的"有损"是线性降维里最有损得最少的。
方差的取舍与解释：碎石图（特征值递减曲线）选 k——保留总方差 90%/95%；特征值接近 0 的方向≈常数/冗余方向（可删）；巨大离群特征值常提示未去除的均值或量纲问题。
注意事项清单：量纲未标准化 → 大数值特征垄断第一主成分（假主成分）；非线性结构（环形/流形）PCA 无能为力 → 核 PCA/流形学习；主成分方向对样本扰动敏感（病态谱，kp-023）。
图示
X (中心化) → C = XᵀX/(n−1) → 谱分解 C = QΛQᵀ
主成分 = Q 的列; 方差 = λᵢ
得分 T = XVₖ (去相关); 重构误差 = Σ_{i>k} λᵢ 最优
等价实现: SVD of X → V=主成分, XV=得分 (免构造 C)直观类比
拍一群人的合影：PCA 是找到"人群最舒展的几个姿势方向"（方差最大），让大家只按这几个姿势站——二维照片保住主要信息，丢掉的只是没人做的冷门姿势（小方差方向）。
实例或案例
- 人脸识别（Eigenfaces）：人脸图像 PCA——前几十个"特征脸"张成人脸空间。
- 基因组数据：前两主成分图常直接按地理/族群聚类（可视化经典）。
- 金融：收益率 PCA 的前几因子=市场/行业/久期因子（因子模型）。
常见误区
- 误区一："PCA 主成分=原特征的子集"。主成分是原特征的线性组合（新造特征），不是选列；选列叫特征选择。
- 误区二："PCA 保留的成分都可解释"。主成分正负号与混合系数常无物理含义——它优化方差不优化可解释性。
- 误区三："忘记中心化/标准化"。未中心化则第一主成分被均值方向劫持；量纲混杂则大数值特征称王——预处理是 PCA 成败的一半。
与其他知识点的关系
自测题
- 为什么协方差矩阵必半正定？
答：$C=\frac{1}{n-1}X^\top X$——形如 $B^\top B$（kp-016），$w^\top Cw=\frac{1}{n-1}\|Xw\|^2\ge0$（就是投影方差）。
- PCA 与直接对 X 做 SVD 的关系？
答：等价——X 的右奇异向量即主成分、奇异值平方/(n−1) 即特征值；SVD 实现免构协方差、数值更稳。
- 特征未标准化会出什么问题？
答：量纲大的特征主导方差与第一主成分， PCA 反映"单位选择"而非数据结构——必须标准化（相关矩阵版 PCA）。
延伸阅读
- Bishop《Pattern Recognition and Machine Learning》§12.1（PCA 的概率视角亦有）。
- Strang《Introduction to Linear Algebra》§7.3（SVD 与 PCA 的统一）。
- Jolliffe《Principal Component Analysis》（专著，第二版）。