数学笔记：相似矩阵 · 奇异值分解 · 伪逆
一、相似矩阵（Similar Matrices）
1. 定义
设 和 都是 的方阵，若存在可逆矩阵 ，使得
则称 和 互为相似矩阵，记作 。
2. 直观含义
相似矩阵的本质是：
同一个线性变换，在不同基下所对应的矩阵表示。
在张量分析中，一个 型线性变换张量，在不同坐标系（基）下写成的矩阵就是相似矩阵。 相似 ≠ 数值相等，而是“几何本质相同，观测视角（基）不同”。
3. 相似矩阵的性质
既然相似矩阵描述同一个线性变换，那么以下量必然保持不变：
| | |
| | |
| | |
只要认识到“相似矩阵 = 同一线性变换的不同矩阵表示”，上述性质都几乎是显然的。
4. 若尔当标准型（Jordan Canonical Form）
经典对角化公式：
此时 ， 为对角矩阵。
但并非所有矩阵都能对角化，例如：
该矩阵特征值 ，但代数重数 > 几何重数，线性无关特征向量不足。
若尔当指出：
任意方阵 ，即使不可对角化，也一定存在可逆矩阵 ，使得
其中 为若尔当标准型。
由若干 若尔当块（Jordan Block） 组成； 若尔当块特点： 主对角线元素相同（同一特征值）； 次对角线（若存在）全为 1。
二、奇异值分解（SVD）
在讨论伪逆之前，需要先理解矩阵的四个基本子空间的关系：
1. 从可逆方阵到一般矩阵
当 为 可逆方阵 时：
表示行空间中的 经 映射到列空间；逆映射由 给出。
当 不可逆 / 非方阵 时：
零空间中的分量对输出无贡献； 任何 都可分解为： 有效信息仅来自行空间分量 ，且 在列空间中唯一对应。
行空间与列空间维数相同（等于 ），在 作用下一一对应。
2. SVD 的构造思路
在行空间中选取一组标准正交基 ，其在 下的像：
可标准化为列空间的一组标准正交基。
写成矩阵形式：
即：
两边右乘 （注意 正交， ），得 奇异值分解：
其中：
：列空间的标准正交基（ 或 ）； ：行空间的标准正交基（ 或 ）； ：奇异值对角（或半对角）矩阵。
三、伪逆（Moore–Penrose Pseudoinverse）
1. 动机
即使 不可逆或是非方阵，行空间与列空间之间仍存在一一对应，因此可以定义一种“广义的逆” ，把列空间向量映射回行空间。
由 SVD：
逆向操作自然是：
其中 将 中非零奇异值取倒数，并保持维度对齐。
2. 伪逆的作用
左乘伪逆：
效果是：保留向量在 行空间的投影，零空间分量被清零。
右乘伪逆：
效果是：保留向量在 列空间的投影，这正是最小二乘中的投影矩阵。
3. 特殊情形
列满秩（ ，左逆）
此时：
行满秩（ ，右逆）
4. 小结
列满秩：有左逆，左乘得单位阵，右乘得列空间投影矩阵； 行满秩：有右逆，右乘得单位阵，左乘得行空间投影矩阵； 一般情况：伪逆 给出行空间 / 列空间的最优投影映射，是最小二乘解的统一表达式。
📌 一句话总结
相似矩阵是“换基不改变换”，SVD 是“任意矩阵的结构拆解”，伪逆是在不可逆世界中，对逆运算的最合理推广。
