06 特征值与特征向量

从斐波那契出发

斐波那契数列的递推公式可以写成矩阵的形式：${\left[\begin{array}{c}F_{k+2} \\ F_{k+1}\end{array}\right]=\left[\begin{array}{ll}1 & 1 \\ 1 & 0\end{array}\right] \left[\begin{array}{c}F_{k+1} \\ F_{k}\end{array}\right]}$。根据矩阵乘法的结合律可以得到通项公式${\left[\begin{array}{c}F_{k+1} \\ F_{k}\end{array}\right]=\left(\left[\begin{array}{ll}1 & 1 \\1 & 0\end{array}\right]\right)^{k}\left[\begin{array}{l}F_{1} \\ F_{0}\end{array}\right]}$，因此问题转化为求某个矩阵的$k$次幂。但这样的通项公式没有真的给出斐波那契数列通项的解析表达式。

我们知道我们可以通过待定系数把二阶线性递推配凑成一阶线性递推，在这里，我们有两种配凑方法，组合起来得到：$\left[\begin{array}{c} F_{k+2}+\frac{-1+\sqrt{5}}{2} F_{k+1} \\ F_{k+2}+\frac{-1-\sqrt{5}}{2} F_{k+1} \end{array}\right]=\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{l} F_{k+1}+\frac{-1+\sqrt{5}}{2} F_{k} \\ F_{k+1}+\frac{-1-\sqrt{5}}{2} F_{k} \end{array}\right]$。一阶线性递推意味着所乘矩阵必须恰好是对角矩阵。

把我们的配凑也写成矩阵乘以原始的$F_k$的形式，得到$\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+1} \\ F_{k} \end{array}\right]$，最左侧的矩阵可逆，于是得到$\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]^{-1}\left[\begin{array}{cc} \frac{1+\sqrt{5}}{2} & 0 \\ 0 & \frac{1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{k+1} \\ F_{k} \end{array}\right]$。我们发现，如果把中间的三个矩阵看作整体做$k$次幂，逆矩阵会被相互消去。而计算对角矩阵的$k$次幂只需要把对角线的数本身做$k$次幂。这样，我们就最终得到$\left[\begin{array}{c} F_{k+2} \\ F_{k+1} \end{array}\right]=\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]^{-1}\left[\begin{array}{cc} \left(\frac{1+\sqrt{5}}{2}\right)^k & 0 \\ 0 & \left(\frac{1-\sqrt{5}}{2}\right)^k \end{array}\right]\left[\begin{array}{cc} 1 & \frac{-1+\sqrt{5}}{2} \\ 1 & \frac{-1-\sqrt{5}}{2} \end{array}\right]\left[\begin{array}{c} F_{2} \\ F_{1} \end{array}\right]$，这样就可以求出斐波那契数列通项的解析式了！

特征值与特征向量

观察上述过程我们发现，关键是我们把某个矩阵$A$写成了$X\Lambda X^{-1}$的形式，其中$\Lambda$代表一个对角矩阵。这个过程称为矩阵$A$的对角化。

对角化的过程本质上可以归结为求解$Ax=\lambda x$的问题：$A=X\Lambda X^{-1}$等价于$AX=X\Lambda$。设$X = \begin{bmatrix}x_1 & x_2 & \cdots & x_n\end{bmatrix}$，根据分块矩阵的乘法，即要使得$\begin{bmatrix}Ax_1 & Ax_2 & \cdots & Ax_n\end{bmatrix}=\begin{bmatrix}\lambda_1 x_1 & \lambda_2 x_2 & \cdots & \lambda_n x_n\end{bmatrix}$。

所以，想要完成对角化，我们需要对于已知的矩阵$A$找到$n$个向量$x_i$使得存在对应的$\lambda_i$满足$Ax_i=\lambda_i x_i$。同时由于$X^{-1}$要存在，这$n$个$x_i$必须要是线性独立的。

也就是我们要解方程$Ax=\lambda x$，对于满足这个方程的$\lambda,x$，我们把$\lambda$称为$A$的特征值，$x$称为$A$的特征向量。（为了保证线性独立，我们规定$x$不能取零向量）

从几何上理解$Ax=\lambda x$，矩阵$A$可以看作一个从$\R^n$到$\R^n$的一个线性映射，这个方程告诉我们所有特征向量被$A$映射之后是“不改变方向的”。

为了更深入理解，我们来看几个特殊的例子。$A$不可逆等价于$A$存在$\lambda =0$作为一个特征值，因为$Ax=0$存在非零解；如果$A$是对角矩阵，那么一定满足$Ae_i=a_{ii}e_i$，因此对角线上的每个元素都是$A$的特征值，$e_i$一定是特征向量。如果$A$是投影矩阵$P$，那么映射之后不改变方向的只可能是子空间内的向量或者与子空间垂直的向量，相应的特征值分别只能是1与0。

解特征值

$Ax=\lambda x$等价于$(A-\lambda I)x=0$。这是一个线性方程组，并且它有非零解。这意味着矩阵$A-\lambda I$的零空间有维数，这可以直接推出$\det(A-\lambda I)=0$。反过来，对于所有满足$\det(A-\lambda I)=0$的$\lambda$，必定意味着$Ax=\lambda x$有非零解，因此这样的$\lambda,x$就是我们要的特征值与特征向量。我们验证了，$Ax=\lambda x$与$\det(A-\lambda I)=0$是等价的。

$\det(A-\lambda I)=0$是一个关于$\lambda$的$n$次方程，解特征值就是求这个方程的根。我们令$f(\lambda)=\det(A-\lambda I)$，这是一个“特征多项式”。我们只需要找到令这个多项式等于0的“特征根方程”的“特征根”。

根据代数学基本定理，特征根最多只有$n$个（包括重根），之前我们讨论过对角矩阵的特征值，其特征根方程形如$(\lambda-a_{11})\cdots(\lambda-a_{nn})=0$，因此它的特征值恰好就是所有对角线上的元素，不可能存在其它特征根了。

值得注意的是，特征根方程可能在实数域下无解。

对角化

我们的目标是要找到$X$和$\Lambda$使得$A=X^{-1}\Lambda X$或等价地$\Lambda = XAX^{-1}$。这在我们找到$n$个特征值之后是容易的，只需要分别解出$Ax_i=\lambda x_i$（或$(A-\lambda_i I)x_i=0$）。

并不是所有矩阵都可以对角化的，对角化是有条件的。比如$\begin{bmatrix}1&1\\0&1\end{bmatrix}$的特征值只有$1$，解出的特征向量分布在直线$y=0$上，无法找到两个线性独立的特征向量，因此不能对角化。如果我们能找到$n$个线性独立的特征向量，那么$X,A,X^{-1}$就都能得到，对角化就一定能完成。反过来，如果已知对角化能被完成，那么一定能找到$n$个线性独立的特征向量。可见，“存在$n$个线性独立的特征向量”是“可对角化”的充要条件。

我们发现，只要特征值两两不同，那么把每个特征值对应的特征向量拿一个出来，这些向量一定是互相线性独立的，我们就一定可以对角化。即，特征值两两不同是可对角化的充分条件。

Pf：归纳地，$\lambda_1$对应$x_1$，它是线性独立的。如果已经成立$c_1x_1+\cdots+c_{k}x_k=0$当且仅当$c_i=0$恒成立，我们要证明$c_1x_1+\cdots+c_{k}x_k+c_{k+1}x_{k+1}=0$当且仅当$c_i=0$恒成立。若$c_{k+1} =0$，那么根据归纳假设必须满足$c_1$到$c_k$恒等于0。若$c_{k+1} \neq 0$，那么成立$x_{k+1}=-\dfrac{1}{c_{k+1}}(c_1x_1+\cdots+c_kx_k)$。等式两边同时左乘$A$得到$Ax_{k+1}=-\dfrac{1}{c_{k+1}}(c_1Ax_1+\cdots+c_kAx_k)$，作替换得到$\lambda_{k+1}x_{k+1}=-\dfrac{1}{c_{k+1}}(c_1\lambda_{1}x_1+\cdots+c_k\lambda_{k}x_k)$。这时，我们想要把$\lambda_{k+1}$除过去，但它可能为零。我们这样处理：由于$\lambda_i$互不相同，如果有0我们就在最开始把它和$\lambda_1$调换，这就保证了$\lambda_{k+1}$始终不为0。于是有$x_{k+1}=-\dfrac{1}{\lambda_{k+1}c_{k+1}}(c_1\lambda_{1}x_1+\cdots+c_k\lambda_{k}x_k)$。根据基底表示的唯一性，得到$-\dfrac{c_i\lambda_i}{\lambda_{k+1}c_{k+1}}=-\dfrac{c_i}{c_{k+1}}$恒成立，也就得出了$c_i(\lambda_i-\lambda_{k+1})=0$恒成立，由于$\lambda_i \neq \lambda_{k+1}$，因此$c_1$到$c_k$全为0，而$c_{k+1}$和$x_{k+1}$都不为0，这就与等式右侧为0矛盾。

对称矩阵的特征值与特征向量

我们知道一般的矩阵有可能不存在实数的特征值，但根据代数基本定理，$n \times n$的矩阵一定有$n$个复数特征值。相应地，每个特征值都可以对应复数特征向量。

而一个重要的事实是，实数对称矩阵（$S^{\top}=S$）只能有实数特征值！假如我们有复数特征值$\lambda$和复数特征向量$x$，那么如果满足$Sx=\lambda x$，就有$\overline{Sx}=\overline{\lambda x}$，即$\overline{S}\overline{x}=\overline{\lambda}\overline{x}$，两边取转置得到$\overline{x}^{\top}\overline{S}^{\top}=\overline{\lambda}\overline{x}^{\top}$，由于$\overline{S}=S,S=S^\top$，因此等价于$\overline{x}^{\top}S=\overline{\lambda}\overline{x}^{\top}$，同时右乘$x$得$\overline{x}^{\top}Sx=\overline{\lambda}\overline{x}^{\top}x$。而把$Sx=\lambda x$代入左边，得到$\overline{x}^{\top}\lambda x=\overline{\lambda}\overline{x}^{\top}x$，移项得$(\lambda-\overline{\lambda})\overline{x}^{\top}x=0$，由于$x \neq 0$，所以只能$\lambda - \overline{\lambda}=0$，所以推出必须有$\lambda$是实数。

而假如$x$是复数向量，那么$Sx=\lambda x$可以写成$S(a+ib)=\lambda(a+ib)$，就分别得到$Sa=\lambda a$和$Sb=\lambda b$必须同时成立。所以对于每个实数特征值，一定也有实数特征向量。

进一步我们发现，如果实数对称矩阵有两个不同的实数特征值$\lambda_1,\lambda_2$，他们对应着不同的实数特征向量$x_1,x_2$，那么$x_1,x_2$一定是正交的。（一般矩阵不同特征值对应的特征向量是线性独立的，现在有了“对称”这个条件，$x_1,x_2$满足的条件加强了）Pf：从$Sx_1=\lambda_1x_1,Sx_2=\lambda_2x_2$出发，我们有$\lambda_1(x_1^{\top}x_2)=(\lambda_1x_1)^{\top}x_2=(Sx_1)^{\top}x_2$ $=x_1^{\top}Sx_2=x_1^\top \lambda_2x_2=\lambda_2(x_1^{\top}x_2)$，因此由$(\lambda_1-\lambda_2)(x_1^{\top}x_2)=0$得到$x_1^{\top}x_2=0$必须成立。

最后，我们能得到一个最强的命题：任何一个（实）对称矩阵都是可对角化的！也就是说，对任意$S$都存在某个标准正交矩阵$Q$成立$S=Q^{\top} \Lambda Q$

我们用阶数来归纳。首先一阶对称矩阵一定是可对角化的，那么作归纳假设：假设已知所有的$n-1$阶的对称矩阵是可对角化的。那么对于$n$阶的对称矩阵$S$，我们首先能找到它的一个实特征值$\lambda$，于是有$Sx_1=\lambda x_1$。不妨认为$x_1$是单位向量，我们一定可以在$\R^n$中找到一组包含$x_1$的标准正交基，它们构成矩阵$P=\begin{bmatrix}x_1 & x_2 & \cdots & x_n\end{bmatrix}$。由于$P^{\top}P=I$，所以$P^{\top}x_i=e_i$。

我们发现，
$P^{\top} S P=P^{\top} S\left[\begin{array}{llll} \boldsymbol{x}_{1} & \boldsymbol{x}_{2} & \ldots & \boldsymbol{x}_{n} \end{array}\right] =\left[\begin{array}{lll} P^{\top} S \boldsymbol{x}_{1} & P^{\top} S \boldsymbol{x}_{2} & \ldots P^{\top} S \boldsymbol{x}_{n} \end{array}\right]$
$=\left[\begin{array}{llll} P^{\top} \lambda_{1} \boldsymbol{x}_{1} & P^{\top} S \boldsymbol{x}_{2} & \ldots & P^{\top} S \boldsymbol{x}_{n} \end{array}\right] =\left[\begin{array}{llll} \lambda_{1} P^{\top} \boldsymbol{x}_{1} & P^{\top} S \boldsymbol{x}_{2} & \ldots & P^{\top} S \boldsymbol{x}_{n} \end{array}\right]$
$=\left[\begin{array}{llll} \lambda_{1} \boldsymbol{e}_{1} & P^{\top} S \boldsymbol{x}_{2} & \ldots & P^{\top} S \boldsymbol{x}_{n} \end{array}\right] =\begin{bmatrix} \lambda_{1} & \boldsymbol{a}^{\top} \\ \mathbf{0} & B \end{bmatrix}$

而我们知道$P^{\top}SP$本身就是一个对称矩阵，$(P^{\top}SP)^{\top}=P^{\top}S^{\top}P=P^{\top}SP$，所以$\begin{bmatrix} \lambda_{1} & \boldsymbol{a}^{\top} \\ \mathbf{0} & B \end{bmatrix}$恒等于$\begin{bmatrix} \lambda_{1} & \mathbf{0} \\ \boldsymbol{a}& B^{\top} \end{bmatrix}$，于是$a=0,B=B^{\top}$。既然$B$是一个对称矩阵，并且是$n-1$阶的，那么根据归纳假设，$B$是可对角化的，因此一定有$B=(Q')^{\top}\Lambda'Q'$。于是$\left[\begin{array}{cc} \lambda_{1} & \mathbf{0} \\ \mathbf{0} & B \end{array}\right]=\left[\begin{array}{cc} \lambda_{1} & \mathbf{0} \\ \mathbf{0} & (Q')^{\top}\Lambda'Q' \end{array}\right]=\left[\begin{array}{cc} 1 & \mathbf{0} \\ \mathbf{0} & (Q') ^{\top} \end{array}\right]\left[\begin{array}{cc} \lambda_{1} & \mathbf{0} \\ \mathbf{0} & \Lambda^{\prime} \end{array}\right]\left[\begin{array}{cc} 1 & \mathbf{0} \\ \mathbf{0} & Q' \end{array}\right]$，所以可以写出$P^{\top}SP=M^{\top} \Lambda M$，可以看出$M$也是标准正交矩阵。$S=(P^{\top})^{-1}M^{\top} \Lambda M P^{-1}$，所以可以令$Q=MP^{-1}$，得到$S=Q^{\top} \Lambda Q$。由于$Q^\top Q = PM^\top MP^\top = I$，因此$Q$也是标准正交矩阵。

特征根的和与积

设$\det(A-\lambda I)=c_n\lambda^n +c_{n-1}\lambda ^{n-1}+\cdots c_1\lambda +c_0$，其中$c^n=(-1)^n$

取$\lambda =0$（不一定是特征值），一定成立$\det(A)=c_0$。如果$\det(A-\lambda I)=0$，那么方程的解$\lambda_i$就对应着特征值，由韦达定理得$\prod\limits_{i=1}^n\lambda_i=(-1)^n\dfrac{c_0}{c_{n}}=c_0$，因此$\prod\limits_{i=1}^n\lambda_i=\det(A)$。即所有特征值的乘积一定等于行列式的值。（这也印证了如果不可逆就一定有0作为特征值）

由韦达定理还可得$\sum\limits_{i=1}^n\lambda_i=-\dfrac{c_{n-1}}{c_{n}}=(-1)^{n+1}c_{n-1}$。根据行列式的Big Formula，$c_{n-1}=(-1)^{n-1}\sum\limits_{i=1}^nA(i,i)$。因此$\sum\limits_{i=1}^n \lambda_i=(-1)^{n+1}(-1)^{n-1}\sum\limits_{i=1}^n A(i,i)=\sum\limits_{i=1}^n A(i,i)=\text{trace}(A)$，对于任何矩阵其特征值的和就等于主对角线上的元素的和，这个和定义为矩阵的“迹”。

特征子空间

从上述证明中我们发现这样一个事实：一个特征值总能对应一系列特征向量，因为方程$(A-\lambda I)x=0$的解是一个方程组的零空间，也就是说一个特征值对应的特征向量就足以构成一个子空间（排除0），称为特征子空间。

反过来，一个特征向量不可能同时对应两个不同的特征值。因为我们已经证明了不同的特征值一定对应线性独立的特征向量。或者更简单的，$Ax=\lambda_1x,Ax=\lambda_2x$一定意味着$\lambda_1 = \lambda_2$。

现在想问，特征子空间的维数由什么决定？我们有结论，如果$\lambda_0$的特征子空间是$m$维的，那特征根方程中$\lambda_0$至少有$m$重根。对于对称矩阵，特征子空间的维数就等于特征根的重数。

假设特征子空间是$m$维的，那么可以找到$m$个向量构成的基向量$v_1,\cdots,v_m$。根据Steinitz Exchange Lemma，我们可以将这组基扩展为$\C ^n$的一组基，令$P=\left[\begin{array}{llllll} \boldsymbol{v}_{1} & \ldots & \boldsymbol{v}_{m} & \boldsymbol{v}_{m+1} & \ldots & \boldsymbol{v}_{n} \end{array}\right]$。那么