内积、范数与正交：给空间装上尺子和角度
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Axler 第 6 章复核。
一句话定义
内积 $\langle u,v\rangle$ 给空间装上"长度与角度"的度量结构（$\mathbb{R}^n$ 标准内积即点积 $u^\top v$），范数 $\|v\|=\sqrt{\langle v,v\rangle}$ 量长度，内积为零定义正交——有了这套结构，投影、正交基、最小二乘、谱定理才有舞台。
为什么重要
纯代数的向量空间只有"组合"没有"几何"；内积补上几何后，"最接近""误差最小""垂直分解"这些优化语言才可定义——机器学习的损失函数（距离）、PCA 的方差方向、傅里叶的频率分解、QR/SVD 的正交基，全部建立在内积上。
前置知识
kp-002（向量空间）；初中勾股定理直觉。
核心概念
- 内积公理：对称/共轭对称、对第一个变量线性、正定 $\langle v,v\rangle \ge 0$ 且零 ⟺ v=0。
- 点积：$u\cdot v = \sum u_i v_i = u^\top v$；$\cos\theta = \frac{u\cdot v}{\|u\|\|v\|}$。
- 范数：$\|v\|_2 = \sqrt{\sum v_i^2}$（欧氏）；另有 $\|v\|_1=\sum|v_i|$（曼哈顿）、$\|v\|_\infty=\max|v_i|$——不同范数度量不同"长度观"。
- 正交：$u\cdot v=0$；正交组必无关；正交基下坐标 = 内积：$c_i = \frac{\langle v, b_i\rangle}{\langle b_i,b_i\rangle}$（标准正交基下 $c_i=v^\top b_i$，无需解方程！）。
- 柯西-施瓦茨：$|u\cdot v| \le \|u\|\|v\|$——角度公式的合法性来源。
- 勾股定理：正交分解下 $\|u+v\|^2 = \|u\|^2 + \|v\|^2$。
原理与机制
正交基为什么是"好基"：一般基下求坐标要解方程 $Bc=v$（求逆，kp-004）；正交基下坐标就是逐个投影（一次内积）——因为各方向"互不掺水"。这是傅里叶系数=相关、PCA 得分=投影的共同机制：换到正交基，表示问题从"解方程"降为"量内积"。
正交补与分解：$\text{span}(b_1,\dots,b_k)$ 的正交补 $W^\perp$（与 W 全部垂直的向量集合）也是子空间，且 $V = W \oplus W^\perp$（直和）——任意向量唯一分解为"W 内 + 垂直分量"。最小二乘（kp-019）正是把 b 分解为"列空间分量 + 垂直残差"。
范数选择的含义：L2 度量欧氏距离（最小二乘对应），L1 促成稀疏（Lasso 的几何原因），L∞ 管最坏误差——优化问题选哪个范数，就选了哪种"误差观"。
图示
u·v = ‖u‖‖v‖cosθ
u·v = 0 ⇔ 垂直
正交基 (b₁,b₂): v 的坐标 = (v·b₁, v·b₂) ← 内积即坐标, 免解方程
分解: v = proj_W(v) + (v−proj_W(v)), 两分量正交直观类比
内积是"默契度打分"：两向量方向越一致分数越高、垂直则互不干扰（分数 0）、相反则负分。正交基是一组"互不干扰的评委"：每个评委只给一个维度的分，总分（向量）由各评委独立打分拼出——不必解联立方程。
实例或案例
- 余弦相似度 = 归一化点积：文档/词向量相似检索（kp-031 的语义检索）。
- 傅里叶系数 = 与正弦基的内积：正交性保证各频率独立提取。
- L2 正则与 L1 正则：损失用 L2 度误差、惩罚用 L1 促稀疏——范数选择的直接应用。
常见误区
- 误区一："内积就是点积"。点积是 $\mathbb{R}^n$ 的标准内积；加权内积 $\sum w_i u_iv_i$、函数内积 $\int fg$ 同样合法——凡满足三公理皆可。
- 误区二："正交=垂直=线性无关"。正交必无关，但无关未必正交（夹角 30° 的两向量无关而不正交）。
- 误区三："范数唯一"。欧氏范数只是最常见者；不同任务选不同范数（稀疏/鲁棒/最坏界）。
与其他知识点的关系
自测题
- 判断 (1,1) 与 (2,−2) 是否正交，并求各自范数。
答：$1\cdot2 + 1\cdot(-2)=0$ 正交；范数均为 $\sqrt{2}$ 与 $\sqrt{8}=2\sqrt2$。
- 为什么标准正交基下坐标 = 内积？
答：$v=\sum c_i b_i$ 两边与 $b_j$ 内积，正交性使其余项归零，得 $c_j=v\cdot b_j$（各方向互不干扰）。
- L1 范数下的"单位球"是什么形状？这解释了什么？
答：菱形（顶点在坐标轴上）——优化碰到的顶点是稀疏点（某些坐标为 0），解释 L1 正则促稀疏。
延伸阅读
- Axler《Linear Algebra Done Right》第 6 章（内积空间）。
- Strang《Introduction to Linear Algebra》§3.2。
- Boyd & Vandenberghe《Convex Optimization》附录 A（范数家族）。