对偶空间与线性泛函:向量的"影子世界
本文基于模型知识整理(生成时未联网核对),关键结论建议对照 Axler §3.F 复核。
一句话定义
线性泛函是"吃向量、吐标量"的线性映射($\varphi: V\to\mathbb{R}$),全体泛函构成对偶空间 $V^*$;在有限维且装了内积时,每个泛函唯一对应一个向量($\varphi(v)=\langle w, v\rangle$,Riesz 表示)——$V^*\cong V$,行向量世界与列向量世界互为镜像。
为什么重要
它揭示"行向量 vs 列向量""协变 vs 逆变"的深层结构:梯度是泛函(吃位移吐变化量),权重矩阵 $w^\top x$ 的 $w^\top$ 是泛函,机器学习的"打分器"全是线性泛函。有了对偶视角,转置、协方差、对偶基不再是一堆约定,而是同一镜像的两面。
前置知识
核心概念
- 线性泛函:$\varphi(\alpha u + \beta v) = \alpha\varphi(u)+\beta\varphi(v)$,值域是标量。
- **对偶空间 $V^*$**:全体线性泛函——本身也是向量空间(泛函可加可缩放);$\dim V^*=\dim V$。
- 对偶基:$\varphi_i(v_j)=\delta_{ij}$(第 i 个泛函"只读第 i 个坐标")——坐标函数是天然的对偶基。
- Riesz 表示(有限维内积空间):$\varphi(v)=w\cdot v$ 对唯一 $w$ 成立——泛函 ≈ 向量($w_i=\varphi(e_i)$)。
- 对偶映射:$T:V\to W$ 的转置 $T^\top:W^*\to V^*$ 定义为 $(T^\top\varphi)(v)=\varphi(Tv)$——转置矩阵就是线性映射的对偶映射的坐标(转置不再是"行列互换"的把戏而是结构本身)。
原理与机制
为什么泛函由取值决定:$v=\sum v_ie_i$ ⇒ $\varphi(v)=\sum v_i\varphi(e_i)$——知道在基上的 n 个取值,泛函就完全确定;$\varphi(e_i)$ 排成一行就是泛函的"坐标"(行向量)。行向量=线性泛函的坐标表示——这就是 $w^\top x$ 中 $w^\top$ 的身份。
为什么转置是对偶:泛函 $\varphi$ 想"测"复合后的输出 $\varphi(Tv)$;对偶映射把它变成对输入的直接测量 $(T^\top\varphi)(v)$。取坐标后这条定义恰好给出 $A^\top$(行列互换)——矩阵转置规则从对偶性自然涌现(与 kp-007 的"复合顺序反转"互相印证)。
梯度与泛函:方向导数 $Df(x)[\delta] = \nabla f\cdot\delta$——导数是"吃位移吐变化率"的线性泛函,梯度向量是它的 Riesz 表示(kp-022 的深层解释:为什么 BP 传的是伴随 $J^\top$——伴随映射就是对偶空间的映射)。
图示
V (列向量) ◄──Riesz表示──► V* (行向量/泛函)
φ(v) = w·v , wᵢ = φ(eᵢ)
对偶基: φᵢ(vⱼ)=δᵢⱼ (读坐标函数)
转置 = 对偶映射: (Tᵀφ)(v) = φ(Tv) → 矩阵表现为 Aᵀ
直观类比
向量是"演员",泛函是"打分器":每个打分器给每个演员一个分数(线性地)。对偶空间=全部打分器组成的世界。有了内积(Riesz),每个打分器都对应一位"评委会代表"(向量 w)——两个世界一一对应,戏与评分互为镜像。
实例或案例
- 线性回归权重 $w^\top x$:模型打分器即泛函;正则化在泛函空间上做几何(间隔最大化)。
- 微分算子:$\frac{d}{dx}$ 是多项式空间上的线性映射,其伴随(自伴/反对称)决定谱性质(Sturm-Liouville 理论的种子)。
- 经济学影子价格:约束的拉格朗日乘子=资源约束的"对偶变量"——对偶空间的经济含义。
常见误区
- 误区一:"V 与 V* 是同一个空间"。有限维+内积下同构(Riesz),但同构依赖内积选择;无内积时两者仍是不同对象(维数相同而已)。
- 误区二:"行向量只是列向量转置了一下"。代数上等价,语义上它属于对偶空间("测量者"而非"被测者");协变/逆变坐标的区分在广义相对论中成为硬约束。
- 误区三:"对偶只是记号游戏"。对偶问题(LP 对偶、泛函分析)常常比原问题好解——对偶是求解策略不是装饰。
与其他知识点的关系
自测题
- 求泛函 $\varphi(x_1,x_2,x_3)=2x_1-x_3$ 的 Riesz 表示向量。
答:$w=(2,0,-1)$——$\varphi(v)=w\cdot v$;坐标即 $\varphi(e_i)$。
- 用对偶映射解释 $(AB)^\top=B^\top A^\top$。
答:先 A 后 B 的对偶 = 先 B* 后 A*(测量顺序反转)——对偶映射反序复合,坐标化即该恒等式。
- 为什么 $\dim V^*=\dim V$?
答:对偶基 $\{\varphi_i\}$ 与 $\{e_i\}$ 一一对应且线性无关张成 V*——两组基等长(kp-004)。
延伸阅读
- Axler《Linear Algebra Done Right》§3.F(对偶空间的现代处理)。
- Strang《Introduction to Linear Algebra》§8(转置的意义章节)。
- Boyd & Vandenberghe《Convex Optimization》§2(对偶思想的优化侧)。