矩阵类型

一句话总结：特殊结构的矩阵解锁计算捷径和数学保证，单位矩阵、对角、对称、三角、正交、稀疏、置换等类型广泛出现在协方差估计、图算法、正则化和马尔可夫链中。

特殊的矩阵结构能解锁计算捷径和数学保证。 本节介绍单位矩阵、对角、对称、三角、正交、正定、稀疏与随机矩阵等类型，它们出现在协方差估计、图算法、正则化 (regularisation) 与马尔可夫链中.

• 矩阵并非都长一个样。 不同结构赋予矩阵特殊性质，让它们算起来更快、推理起来更简单，或者两者兼得。 下面是你最常遇到的几类。

• 方阵 (square matrix) 的行数与列数相同 (\(n \times n\)). 大多数有意思的性质 (行列式、特征值、逆矩阵) 只对方阵才有意义。

• 单位矩阵 (identity matrix) \(I\) 是一个对角线全为 1、其余全为 0 的方阵。 它是"什么都不做"的变换：对任何相容的矩阵 \(A\)，都有 \(AI = IA = A\).

\[ I = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \]

• 零矩阵 (zero matrix) \(O\) 的所有元素都是零。 它把每个向量都映射为零向量，把信息全部销毁。

• 对角矩阵 (diagonal matrix) 除主对角线外全为零。 用对角矩阵乘一个向量，相当于对每个分量独立地缩放，因此非常高效。

\[ D = \begin{bmatrix} 3 & 0 \\ 0 & 7 \end{bmatrix} \]

• 对称矩阵 (symmetric matrix) 等于自己的转置：\(A = A^T\)，也就是说 \(A_{ij} = A_{ji}\). 对称矩阵有个特殊性质：它们的特征向量两两互相垂直。 协方差矩阵永远是对称的。

\[ S = \begin{bmatrix} 3 & -1 \\ -1 & 6 \end{bmatrix} \]

• 三角矩阵 (triangular matrix) 的对角线一侧全为零。 下三角 (lower triangular) 表示上方为零，上三角 (upper triangular) 表示下方为零。 它们对高效求解方程组至关重要，靠的是前代或回代 (forward / back substitution).

\[ L = \begin{bmatrix} 2 & 0 & 0 \\ 1 & 3 & 0 \\ -1 & 2 & 4 \end{bmatrix} \qquad U = \begin{bmatrix} 5 & -1 & 2 \\ 0 & 1 & 3 \\ 0 & 0 & -2 \end{bmatrix} \]

• 三角矩阵的行列式就是对角元素的乘积。

• 正交矩阵 (orthogonal matrix) 的转置等于它的逆：\(Q^TQ = QQ^T = I\).

• 这意味着你只需转置就能"撤销"变换，计算代价极低。 它的列是单位正交的 (长度为 1 且两两垂直).

• 稀疏矩阵 (sparse matrix) 的大部分元素为零，稠密矩阵 (dense matrix) 则大部分元素非零。

• 现实中很多矩阵极其稀疏。

• 一个百万用户的社交网络可以表示为一个 \(10^6 \times 10^6\) 的矩阵，但每个人只跟少数几个人有关系，所以几乎所有元素都是零。

• 置换矩阵 (permutation matrix) 由单位矩阵的行重排而来。 用它乘向量，相当于打乱向量的元素。 它的每行每列都只有一个 1，其余全为 0.

• 例如下面这个矩阵，把第 3 个元素挪到位置 1，第 1 个挪到位置 2，第 2 个挪到位置 3:

\[ P = \begin{bmatrix} 0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{bmatrix} \]

• Toeplitz 矩阵 的每条对角线 (从左上到右下) 上的值都相同。 注意每条对角线都是常数:

\[ T = \begin{bmatrix} a & b & c \\ d & a & b \\ e & d & a \end{bmatrix} \]

• 这种结构常见于信号处理与卷积，因为把一个固定滤波器滑过信号，等价于乘一个 Toeplitz 矩阵。

• 循环矩阵 (circulant matrix) 是一种特殊的 Toeplitz 矩阵，每一行都是上一行的循环移位。 当一行到达末尾时，就绕回开头:

\[ C = \begin{bmatrix} 1 & 3 & 2 \\ 2 & 1 & 3 \\ 3 & 2 & 1 \end{bmatrix} \]

• 循环矩阵与离散傅里叶变换 (Discrete Fourier Transform, DFT) 紧密相连，是循环卷积的核心。

• Hermite 矩阵 (Hermitian matrix) 是对称矩阵在复数域的对应物：\(A = A^\ast\) (其中 \(A^\ast\) 是共轭转置).

• 对实值矩阵而言，Hermite 矩阵和对称矩阵是一回事。 你会在量子计算和信号处理中遇到它。

• 酉矩阵 (unitary matrix) 是正交矩阵在复数域的对应物：\(U^\ast U = UU^\ast = I\). 正交矩阵在实空间中保持长度，酉矩阵在复空间中保持长度。

• 幂等矩阵 (idempotent matrix) 满足 \(A^2 = A\). 变换施加两次的效果与一次相同，所以它其实是一种投影 (projection). 一旦投影完成，再投影一次不会改变结果。

• 幂零矩阵 (nilpotent matrix) 满足 \(A^k = O\) (零矩阵)，对某个幂次 \(k\) 成立。 施加足够多次变换后，一切都塌缩为零。 例如:

\[ \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}^2 = \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix} \]

• 布尔矩阵 (Boolean matrix) (或二值矩阵) 只包含 0 和 1，表示"是/否"关系。 例如在一个有 3 个节点的图中，邻接矩阵 (adjacency matrix) 记录哪些节点相连:

\[ B = \begin{bmatrix} 0 & 1 & 1 \\ 1 & 0 & 0 \\ 1 & 0 & 0 \end{bmatrix} \]

• 这里，节点 1 与节点 2、3 相连，但节点 2 与节点 3 之间没有连接。

• Vandermonde 矩阵 由一组值的连续幂次构成。 给定值 \(x_1, x_2, x_3\):

\[ V = \begin{bmatrix} 1 & x_1 & x_1^2 \\ 1 & x_2 & x_2^2 \\ 1 & x_3 & x_3^2 \end{bmatrix} \]

• 这种结构出现在多项式插值中：寻找唯一一条穿过给定点集的多项式曲线。

• Hessenberg 矩阵 "几乎"是三角的，第一次对角线以下全为零:

\[ H = \begin{bmatrix} 4 & 2 & 1 \\ 3 & 5 & -1 \\ 0 & 1 & 6 \end{bmatrix} \]

• 它是高效计算特征值的一种有用中间形式。 先把矩阵化为 Hessenberg 形式，迭代算法收敛会更快。

编程任务 (在 CoLab 或 notebook 中完成)

1. 构造一个正交矩阵 (旋转矩阵)，用它乘自己的转置，验证结果为单位矩阵。 试试不同的角度。

   import jax.numpy as jnp
   
   theta = jnp.pi / 4
   Q = jnp.array([[jnp.cos(theta), -jnp.sin(theta)],
                  [jnp.sin(theta),  jnp.cos(theta)]])
   
   print(f"Q @ Q.T:\n{Q @ Q.T}")
   print(f"Determinant: {jnp.linalg.det(Q):.2f}")
   

2. 构造一个对称矩阵，验证它等于自己的转置。 然后算出它的特征值，检查特征向量是否两两垂直。

   import jax.numpy as jnp
   
   S = jnp.array([[4.0, 2.0],
                  [2.0, 3.0]])
   
   print(f"Symmetric: {jnp.allclose(S, S.T)}")
   
   eigenvalues, eigenvectors = jnp.linalg.eigh(S)
   print(f"Eigenvalues: {eigenvalues}")
   print(f"Dot product of eigenvectors: {jnp.dot(eigenvectors[:, 0], eigenvectors[:, 1]):.6f}")
   

---

📌 本节要点

• 方阵与单位矩阵：行列相等的矩阵才可谈行列式、特征值与逆；单位矩阵 \(I\) 是恒等变换。
• 对角与对称矩阵：对角矩阵按分量独立缩放；对称矩阵满足 \(A = A^T\)，特征向量正交，协方差矩阵天然对称。
• 三角矩阵：上/下三角矩阵支持前代/回代高效求解方程组，其行列式等于对角元素乘积。
• 正交矩阵: \(Q^TQ = I\)，转置即逆，保持长度，列向量单位正交。
• 稀疏矩阵：绝大多数元素为零，常见于社交网络等大规模现实数据，存储与计算都有专门优化。
• 置换矩阵：单位矩阵行重排而成，用于打乱向量分量，每行每列恰有一个 1.
• Toeplitz 与循环矩阵：对角线常数结构对应卷积与滤波；循环矩阵与 DFT 密切相关。
• 复数域对应物: Hermite 矩阵对应对称，酉矩阵对应正交，出现在量子计算和信号处理。
• 幂等与幂零矩阵：前者 \(A^2 = A\) 是投影，后者 \(A^k = O\) 表示反复施加最终塌缩为零。
• 特殊结构矩阵：布尔/邻接矩阵编码图的连接；Vandermonde 矩阵用于多项式插值；Hessenberg 矩阵是加速特征值计算的中间形式。