- 线性代数
- 研究向量空间与线性映射的学科；两大核心问题是解 $Ax=b$ 与结构提取。
- 线性（叠加性）
- 满足 $L(x+y)=L(x)+L(y)$ 且 $L(cx)=cL(x)$ 的性质。
- 向量空间
- 对加法与数乘封闭且满足八公理的集合。
- 子空间
- 向量空间中自身也是向量空间的子集；判定只需验加法与数乘封闭。
- 线性组合
- 向量各乘标量再相加。
- 张成（span）
- 一组向量的全部线性组合构成的子空间。
- 线性无关
- 只有全零系数才能凑出零向量的向量组；等价于无冗余。
- 基
- 线性无关且张成全空间的向量组；每个向量有唯一坐标表示。
- 坐标
- 向量在给定基下的表示系数。
- 维数
- 基中向量个数；空间的内在属性与基的选择无关。
- 维数定理
- $\dim U+\dim W=\dim(U+W)+\dim(U\cap W)$。
- 内积
- 赋予空间长度与角度的对称正定双线性（或共轭双线性）函数。
- 范数
- 向量的长度函数；L2/L1/L∞ 度量不同误差观。
- 正交
- 内积为零；正交基下坐标=内积（免解方程）。
- 柯西-施瓦茨不等式
- $|u\cdot v|\le\|u\|\|v\|$。
- 线性变换
- 保持加法与缩放的映射。
- 矩阵表示
- 变换在给定基下的编码——基像按列排列。
- 列即像
- 矩阵第 j 列 = 第 j 个基向量被搬到的位置。
- 矩阵乘法
- 变换复合；结合律恒成立、交换律一般不成立。
- 分块乘法
- 把矩阵切块后按块运算的记号压缩术。
- 列空间
- 列的全部线性组合=变换的像；$Ax=b$ 有解 ⟺ b 属于它。
- 零空间
- $Ax=0$ 的解集=被压成零的输入方向。
- 四大子空间
- 列空间、零空间、行空间、左零空间；两两配对正交。
- 秩-零化度定理
- $\text{rank}(A)+\dim\mathcal{N}(A)=n$。
- 秩
- 主元数=无关行数=无关列数=列空间维数。
- 高斯消元
- 行变换化阶梯形的求解程序；解集不变。
- 增广矩阵
- $[A|b]$；其秩大于 A 的秩即无解。
- 逆矩阵
- 满足 $A^{-1}A=AA^{-1}=I$ 的撤销动作；方阵满秩才存在。
- 行列式
- 变换的（有向）体积缩放因子；$\det A=\prod\lambda_i$。
- 定向
- 行列式的符号；负值表示翻转手性（镜像）。
- 特征值/特征向量
- $Av=\lambda v$——只被缩放不被掰弯的方向与倍率。
- 特征多项式
- $\det(A-\lambda I)$；零点即特征值。
- 谱
- 特征值的全体。
- 迹
- 对角元之和 $=\sum\lambda_i$。
- 代数重数/几何重数
- 特征值作为根的重数 / 其独立特征向量个数。
- 对角化
- $A=P\Lambda P^{-1}$——换到特征基后动作退化为纯缩放。
- 相似
- $B=P^{-1}AP$——同一变换的不同基编码；共享谱、行列式、迹。
- 矩阵幂
- $A^k=P\Lambda^kP^{-1}$——最大特征值统治渐近行为。
- 正交矩阵
- $Q^\top Q=I$；保长保角的刚体运动。
- Gram-Schmidt
- 减去已有方向投影的正交化程序。
- QR 分解
- $A=QR$——正交×上三角；最小二乘与谱算法的地基。
- 谱定理
- 对称矩阵恒可正交对角化 $A=Q\Lambda Q^\top$；特征值全实。
- 对称矩阵
- $A=A^\top$；不同特征值的特征向量自动正交。
- 谱分解
- $A=\sum\lambda_iq_iq_i^\top$——秩一片的加权和。
- 瑞利商
- $x^\top Ax/\|x\|^2$；极值=最大/最小特征值。
- 二次型
- $x^\top Ax$ 形式的齐次二次函数。
- 正定/半正定
- $x^\top Ax>0/\ge0$ 对一切非零 x；判据=谱全正/顺序主子式全正。
- Cholesky 分解
- $A=LL^\top$——正定矩阵的"开平方根"。
- 若尔当标准形
- 对角块+超对角 1 的规范形；驯服缺陷矩阵。
- 广义特征向量
- $(A-\lambda I)^kv=0$ 的向量；串成若尔当链。
- 幂零算子
- 某次幂为零的算子（若尔当块的剪切成分）。
- SVD（奇异值分解）
- $A=U\Sigma V^\top$——旋转/缩放/旋转；任意矩阵皆可。
- 奇异值
- $\sigma_i=\sqrt{\text{$A^\top A$ 特征值}}$；缩放幅度排序。
- Eckart-Young 定理
- 截断 SVD 是 Frobenius 范数下最优的秩 k 近似。
- 投影矩阵
- $P=A(A^\top A)^{-1}A^\top$；对称幂等，谱⊂{0,1}。
- 最小二乘
- $\min\|Ax-b\|^2$；解=把 b 投影到列空间。
- 正规方程
- $A^\top Ax=A^\top b$——正交条件的代数形。
- 残差
- $b-Ax^*$；最优时垂直于列空间。
- 伪逆（Moore-Penrose）
- $A^+=V\Sigma^+U^\top$；最小二乘/最小范数双最优解。
- PCA
- 协方差谱分解的主轴降维；与截断 SVD 等价。
- 协方差矩阵
- $X^\top X/(n-1)$；对称半正定。
- 梯度
- 标量函数的一阶导向量；最速上升方向。
- Jacobian
- 向量函数的一阶导矩阵；局部线性化。
- Hessian
- 二阶导对称矩阵；曲率，正定=局部极小。
- 反向传播
- 链式法则的矩阵形态——Jacobian 转置的连乘。
- 条件数
- $\kappa=\sigma_{\max}/\sigma_{\min}$；输入扰动被放大的倍率。
- 病态（ill-conditioned）
- κ 大；数据噪声导致解剧变。
- 后向稳定
- 算法算出"邻近问题的精确解"的性质。
- 对偶空间
- 全体线性泛函构成的空间；与原空间同维。
- 线性泛函
- 吃向量吐标量的线性映射；坐标=行向量。
- Riesz 表示
- 内积空间中每个泛函唯一对应一个向量。
- 转置=对偶映射
- $(T^\top\varphi)(v)=\varphi(Tv)$ 的坐标化。
- 共轭转置 $A^*$
- $\bar A^\top$；复世界的转置。
- 厄米特矩阵
- $A^*=A$；特征值全实、可酉对角化。
- 酉矩阵
- $U^*U=I$；复旋转。
- 正规矩阵
- $A^*A=AA^*$；可酉对角化的充要刻画。
- 矩阵指数
- $e^{At}=\sum(At)^k/k!$；线性 ODE 的解算子。
- 模态分析
- 解=特征模态 $e^{\lambda_it}v_i$ 的叠加。
- 张量
- 多指标数组；向量=1 阶、矩阵=2 阶。
- 模态展开
- 沿某指标把张量摊平成矩阵。
- einsum
- 指标级多重求和记号；张量运算的通用语言。
- CP/Tucker/TT 分解
- 张量分解三大家族。
- 特殊矩阵族
- 对角/三角/带状/Toeplitz/循环/稀疏等结构族。
- LU 分解
- $PA=LU$；消元的矩阵化记录。
- QR 迭代
- 反复 QR+位移求特征值的算法引擎。
- 共轭梯度（CG）
- 对称正定大稀疏系统的 Krylov 迭代法。
- 预条件
- 把系统改造得更"圆"以加速迭代收敛。
- 随机化 SVD
- 随机投影+小矩阵精确分解的大数据近似算法。
- 多重共线性
- 特征列近线性相关→正规方程病态。
- 岭回归
- $+\lambda\|w\|^2$ 正则化的最小二乘；抬谱压噪。
- 帽子矩阵
- $H=X(X^\top X)^{-1}X^\top$；把 y 投到列空间的投影矩阵。