04 正交性

正交性

向量、子空间的正交

对于向量$v,w \in \mathbb{R}^n$，设$v=(x_1,\cdots,x_n),w=(y_1,\cdots,y_n)$，定义他们的内积$v \cdot w=\sum\limits_{i=1}^{n}x_iy_i$。

如果有$v,w$的内积为0（$v \cdot w=0$），那么称这两个向量是正交的，记作$v \bot w$。

向量可以看作一维的矩阵，因此在矩阵运算中，向量的正交写作$v^{\top} w=0$，即$v$作为矩阵的转置矩阵与$w$矩阵做矩阵乘法得到一个$1 \times 1$的矩阵，这个矩阵唯一的那个元素就是0。这样做的好处在于，如果$v$本身是两个矩阵（比如$n \times m$和$m \times 1$）的乘积，那么转置的运算法则也可以应用在$v^{\top}$上。

对于$\mathbb{R}^n$中的两个子空间$V,W$，如果满足对于任意$v \in V, w \in W$都有$v \cdot w=0$，那么称这两个子空间是正交的，记作$V \bot W$。注意，子空间的正交与几何中的垂直不太一样。比如，三维空间中两个过原点的互相“垂直”的平面，它们并不是正交的——各自取一条在交线上的向量就可以说明这两个向量内积并不为0。事实上，如果两个子空间有交集（零向量除外），那么我们就可以取这条向量，$v \cdot w$就变成了$v \cdot v$，由于$v$不为0，因此内积一定大于零，因此一定不互相垂直。正交的子空间是不能有交集的（0除外）。

设$V$的一组基为$\{v_1,v_2,\cdots,v_m\}$，$W$的一组基为$\{w_1,w_2,\cdots,w_s\}$。我们发现，$V$与$W$正交当且仅当$v_i$与$w_j$两两正交。充分性：由于$v_i \in V，w_j \in W$，根据子空间正交的定义就有$v_i \bot w_j$。必要性：把向量用基向量线性表示，应用向量内积的分配律展开一定得到0。

向量、子空间上的投影

对于二维和三维空间的投影我们已经很熟悉了。而对于$\mathbb{R}^m$，如何来定义投影？

类比低维空间的情形情形，对于向量$a,b \in \mathbb{R}^m$，$b$在$a$上的投影$p$应当满足$(b-p) \bot a$。令$p=c\vec{a}$。由$a^{\top} (b-ca)=0$可以解得$c=\dfrac{a^{\top} b}{a^{\top} a}$。

由于$c\vec{a}=\vec{a}c$，我们发现$p=\dfrac{a^{\top} b}{a^{\top} a}a=\dfrac{(a^{\top} b)a}{a^{\top} a}=\dfrac{a(a^{\top} b)}{a^{\top} a}=\dfrac{aa^{\top} }{a^{\top} a}b$，其中$\dfrac{aa^{\top} }{a^{\top} a}$与$b$无关，是一个$n \times n$的矩阵，称为投影矩阵$P$。这个投影矩阵乘在任何一个向量上就得到这个向量在$a$上的投影向量，即$p=Pb$。

在向量上的投影本质上是在一维子空间上的投影。而对于一般的子空间，向量$b \in \mathbb{R}^m$在子空间$V$上的投影$p$也只应当满足$(b-p) \bot V$。取$V$的一组基$a_1,a_2,\cdots,a_n$组成矩阵$A=\begin{bmatrix}a_1 & a_2 & \cdots & a_n\end{bmatrix}$，由于$p \in V$，$p$一定是这些基的一个线性组合，令$\hat{x}=(x_1,x_2,\cdots,x_n)$，那么可以写作$p=A\hat{x}$。这个$\hat{x}$就是线性组合的系数。

根据子空间正交与基正交的等价性，$(b-p) \bot V$等价于$a_i^{\top} (b-A\hat{x})=0$恒成立。而这又等价于$A^{\top} (b-A\hat{x})=0$。因此$A^{\top} b=A^{\top} A\hat{x}$。假如$A^{\top} A$可逆，那么就能解出$\hat{x}=(A^{\top} A)^{-1}A^{\top} b$，于是$p=A\hat{x}=A(A^{\top} A)^{-1}A^{\top} b$。此时，投影矩阵$P=A(A^{\top} A)^{-1}A^{\top}$。当$A$的列数为1时，它正好退化为向量的投影矩阵（其中$1 \times 1$矩阵的逆是它的倒数）。

下面来证明$A^{\top} A$一定是可逆的。注意到$A_{m \times n}$有一个重要性质——它一定是列满秩的，即$\text{rank}(A)=n$。由于$A^{\top} A$是$n \times n$的，我们想要证明的其实就是$\text{rank}(A^{\top} A)=n$。

事实上，我们可以有一个更一般的结论：对于任意的一般的矩阵$A$都有$\text{rank}(A)=\text{rank}(A^\top A)$。更进一步，其实有$N(A)=N(A^\top A)$，即它们的零空间是完全相同的。Pf：考虑$\forall x \in N(A)$，$Ax=0$，因此一定有$A^\top A x = 0$，所以$x \in N(A^\top A)$；$\forall x \in N(A^\top A)$，$A^\top A x=0$，因此一定有$x^\top A^\top A x=0$，即$(Ax)^2=0$，因此$Ax=0$，所以$x \in N(A)$。那么根据Fundamental Theorem，它们具有一样的列宽度，所以既然他们零空间维数相同，它们的列空间维数也必须相同，因此秩相等。

投影矩阵$P_{m \times m}$本身有一些性质：

一个向量被投影两次一定与被投影一次的结果相同，因此有$P^2=P$（也可以直接代入$A(A^{\top} A)^{-1}A^{\top}$验证）；

$P^{\top} =(A(A^{\top} A)^{-1}A^{\top} )^{\top}$ $=A((A^{\top} A)^{-1})^{T}A^{\top}$ $=A(A^{\top} A)^{-1}A^{\top} =P$，因此任何投影矩阵一定是对称矩阵；

我们可以从“距离最短”的角度来看投影：投影$p$是子空间里到$b$距离最小的向量。即$\forall u \in V$，$||b-u||$取到最小值当且仅当$u=p$。证明很容易，$(b-u)^2$ $=(b-p+p-u)^2=(b-p)^2+(p-u)^2+2(b-p)(p-u)$。而因为$p-u \in V$，所以$(b-p) \bot (p-u)$。所以$(b-u)^2=(b-p)^2+(p-u)^2+0$，因此当且仅当$u = p$​时取得最小值。

对于一个子空间，我们对$A$的选择是多样的。而直觉上，投影矩阵$P$应当是唯一的。怎么来证明这种唯一性呢？首先我们发现，从“距离最短”的角度来看投影，最小值只在一个唯一向量处取到，这个最小值就是$p$。这是因为对于任意的$A$，$p$都有唯一的表示，而一旦$p$被表示就与基的选取无关了，它一定是空间里唯一的一个向量（从线性映射的角度看，任何基下的坐标映射的逆映射作用在$p$上都对应着向量空间中唯一的一个向量，可以用基变换矩阵说明这一点）。对于确定的$b$，这个$p$一定是唯一的。如果存在另一个投影矩阵$P'$，那么对于任意的$b$都有$p=Pb=P'b$。即$(P-P')b=0$对于任意$b$恒成立，必须有$P-P'=0$，即$P=P'$。

投影矩阵相同也可以反过来推出子空间相同：$A(A^{\top} A)^{-1}A^{\top} =B(B^{\top} B)^{-1}B^{\top}$可以推出$C(A)=C(B)$。我们知道$v \in C(A)$当且仅当$P_1v=v$，$v \in C(B)$当且仅当$P_2v=v$。而$P_1=P_2$，因此$P_1v=v$当且仅当$P_2v=v$。所以$v \in C(A)$当且仅当$v \in C(B)$，所以$C(A)=C(B)$。

有一个称为“最小二乘法”的方法可以求无解线性方程组的最优近似解。对于线性方程组$Ax=b$，假如$b \notin C(A)$，那么方程组无解。我们定义“最优”的近似解是使得$||b-x||$取到最小值的$x$。而我们已经看到，这个最小值就是$||b-p||$。因此对于$p=A\hat{x}$，$\hat{x}$就是我们的“最小二乘解”。假如$A$是列满秩的，那么我们已经得到了$p=Pb=A(A^{\top} A)^{-1}A^{\top} b$。由于$p$是由$A$的列向量线性组合出来的，根据基向量表示的性质，$\hat{x}$是唯一的，就有$\hat{x}=(A^{\top} A)^{-1}A^{\top} b$。问题在于，$A$可能不是列满秩的。而事实上，求最小二乘解就是求投影，我们只关心$C(A)$而不关心$A$的具体情况。我们可以找到$C(A)$的一组基构成$A'$，那么就直接能得到答案$\hat{x}=(A'^{\top} A')^{-1}A'^{\top} b$。（后面我们还将看到，利用奇异值分解，还可以用伪逆矩阵来求解最小二乘法问题）

正交基

考虑这样一个矩阵$A_{m \times n}=\begin{bmatrix}a_1 & a_2 & \cdots & a_n\end{bmatrix}$，其中$a_i,a_j$非零且两两正交。

一个重要的事实是，我们可以证明$a_1,a_2,\cdots,a_n$是线性独立的：$c_1a_1+c_2a_2+\cdots+c_na_n=0$当且仅当$a_i=0$恒成立。给等式两边同时乘以$a_i$，那么得到$c_ia_i^2=0$，由于$a_i \neq 0$，因此必定有$c_i=0$。$i$可以取$1$到$n$的所有值，因此$c_i$必须全为0。这意味着，两两正交是一个比线性独立更强的条件。

于是我们注意到，$\{a_1,a_2,\cdots,a_n\}$构成了$\mathbb{R}^m$中$C(A)$的一组基，称为一组“正交基”。更特殊的，假如这些向量都是单位向量$\{q_1,q_2,\cdots,q_n\}$，那么就构成了一组“标准正交基”。

任何一个子空间$A$都是有正交基的。我们归纳地构造这组基$q_i$。我们有$A$的一组基$\{a_1,a_2,\cdots,a_n\}$。首先，令$q_1=a_1$。归纳地假设已经构造出$\text{span}(\{q_1,q_2,\cdots,q_k\})=$ $\text{span}(\{a_1,a_2,\cdots,a_k\})$，$q_i$两两正交。根据基的定义，一定有$a_{k+1} \notin \text{span}(\{a_1,a_2,\cdots,a_k\})$。那么，设$a_{k+1}$在子空间$\text{span}(\{q_1,q_2,\cdots,q_k\})$上的投影为$p_{k+1}$，那么就有$(a_{k+1}-p_{k+1})\bot q_i$恒成立，于是令$q_{k+1}=a_{k+1}-p_{k+1}$，就有$q_1$到$q_{k+1}$就是两两正交（$q_{k+1} \neq 0$）。同时，$q_{k+1}$由$a_{k+1}$和$p_{k+1}$组合而成，而$p_{k+1}$由$q_1 \cdots q_k$组合而成。也就是说$a_{k+1}$可以用$q_1 \cdots q_{k+1}$替换。$q_{k+1}$也可以用$a_1 \cdots a_{k+1}$替换。因此一定有$\text{span}(\{q_1,q_2,\cdots,q_{k+1}\})$ $=\text{span}(\{a_1,a_2,\cdots,a_{k+1}\})$。最终，我们就得到了$A$的正交基$\{q_1,q_2,\cdots,q_n\}$。这个过程称为Gram-Schmidt正交化。让所有$q_i$缩成单位向量，我们就可以说，任何一个子空间都有标准正交基。

这给了我们启发。既然任何一个子空间都有“标准正交基”，那么我们在投影的时候，不妨就选择$Q$来代替一般的矩阵$A$。其中$Q=\begin{bmatrix}q_1 & q_2 & \cdots & q_n\end{bmatrix}$。那么$p=Pb=Q(Q^{\top} Q)^{-1}Q^{\top} b$。观察$Q^{\top} Q$，我们发现$Q^{\top} Q(i,i)=q_i \cdot q_i=1$,$Q^{\top} Q(i,j)=q_i \cdot q_j=0$。因此$Q^{\top} Q=I$。于是表达式变得非常简洁，直接有$p=QQ^{\top} b$，根据分块矩阵的运算性质$p=\begin{bmatrix}q_1 & \cdots q_n\end{bmatrix}\begin{bmatrix}q_1^\top b \\ \vdots \\ q_n^\top b\end{bmatrix}=q_1q_1^{\top} b+\cdots+q_nq_n^{\top} b$。而由于$||q_i||=1$，这其实表示$q_iq_i^{\top} b=\dfrac{q_iq_i^{\top} }{q_i^{\top} q_i}b$，这正是$b$在$q_i$上的投影！

也就是说，$b$的投影等于$b$在各个标准正交基上的投影的向量和。当$b$落在子空间内时，$p=b=\sum\dfrac{q_iq_i^{\top} }{q_i^{\top} q_i}b$，说明$b$本身就等于它在各个标准正交基上的投影的向量和——这就是我们熟悉的“正交分解”！对于一般的基，各个投影会互相干扰，而正交的投影是可以各自独立的。

选择标准正交基极大简便了计算。$P=A(A^{\top} A)^{-1}A^{\top}$简化为了$P=QQ^{\top}$，$p=\sum\dfrac{q_iq_i^{\top} }{q_i^{\top} q_i}b$简化为了$p=\sum q_iq_i^{\top} b$。

“$Q$是标准正交基构成的矩阵”与“$Q^{\top} Q=I$”是充要的。我们已经证明了充分性，而必要性也是显然的：$q_i^{\top} q_j=0$得知列向量两两正交，$q_i^{\top} q_i=1$得知所有向量均为单位向量。

正交矩阵

注意标准正交基构成的矩阵$Q$一般不是方阵，不是方阵就不能有逆矩阵。假如$Q$是$n \times n$的，它就被称为“正交矩阵”。正交矩阵一定指方阵。它由$n$个两两垂直的$\mathbb{R}^n$中的单位向量构成。由于$Q$的列线性独立，因此$Q$可逆。由上面的论证知道“$Q$是正交矩阵”与“$Q^{\top} Q=I$”是充要的。由$Q^{\top} Q=I$可得$Q^{-1}=Q^{\top}$，即正交矩阵的转置就是它的逆矩阵。而$(Q^{-1})^{\top} Q^{-1}$ $=(Q^{-1})^{\top} Q^{\top}$ $=(QQ^{-1})^{\top} =I$，因此$Q^{-1}$也是正交矩阵。这说明了$Q^{\top}$也是正交矩阵，即正交矩阵的行向量也是两两正交的单位向量。

有很多矩阵是正交矩阵。用来旋转向量的“旋转矩阵”是正交矩阵，初等行变换中的“排列矩阵”是正交矩阵，镜面反射的“对称矩阵”是正交矩阵……观察普遍性，我们发现正交矩阵有一种“保内积性”：$Qx \cdot Qy=x \cdot y$。因为$(Qx)^{\top} Qy=x^{\top} Q^{\top} Qy=x^{\top} y$。当$x,y$是同一个向量时，“保内积”退化为了“保模长”，即$(Qx)^2=x^2$，推出$||Qx||=||x||$。旋转、置换、对称都是不改变被作用的向量的长度的。

正交补空间

对于$\mathbb{R}^n$中一个子空间$V$，我们把$\mathbb{R}^n$中所有与$V$正交的向量收集在一起形成一个集合。我们发现，这个集合是一个子空间：对于$u_1 \bot V,u_2 \bot V$，一定有$(u_1+u_2) \bot V$，也有$cu_1 \bot V$。这个子空间就称为$V$的正交补空间，记作$V^\bot$。

根据Gram-Schmidt正交化，我们一定可以找到$V$的一组标准正交基$v_1,\cdots,v_k$。根据Steinitz Exchange Lemma，我们可以把这组基扩张为整个$\R^n$的标准正交基$v_1,\cdots,v_k,v_{k+1},\cdots,v_n$，并且我们可以认为$V$就是$\text{span}\{v_1,\cdots,v_k\}$。

观察$\text{span}\{v_{k+1},\cdots,v_{n}\}$，其中的任何一个向量都正交于$V$。而任何一个与$V$正交的向量$w$都可以写成基的表示$w=c_1v_1+\cdots+c_kv_k+c_{k+1}v_{k+1}+\cdots+c_nv_n$，等式两边依次与$v_{1..k}$做内积就得到$w \cdot v_i=c_iv_i^2$，即$0=c_i$，因此$c_1,\cdots,c_k$都为0，因此一定有$w=c_{k+1}v_{k+1}+\cdots+c_nv_n$，即$w \in \text{span}\{w_{k+1},\cdots,w_n\}$。

任何一个与$V$正交的向量都落在$\text{span}\{v_{k+1},\cdots,v_{n}\}$中，而$\text{span}\{v_{k+1},\cdots,v_{n}\}$中任何一个向量都与$V$正交，因此$\text{span}\{v_{k+1},\cdots,v_{n}\}$就是$V$的正交补空间。$V$的正交补就是$V$的正交基的“补基”张成的空间。

对于矩阵$A_{m \times n}$，$A$的行空间的正交补是零空间。首先，行空间和零空间都是$\R^n$中的子空间。因为行空间的任意向量都可以表示成行向量的线性组合，而零空间中的任意向量都与每一个行向量正交，由内积的乘法分配律，我们得到零空间中的每个向量都落在行空间的正交补当中。而对于一个零空间以外的向量，满足$Ax \neq 0$，即至少存在一个行向量与这个向量的内积不为0，因此这个向量与行空间一定不是正交的。所以零空间和行空间是互补的。在之后的奇异值分解中，这一点会体现得更加清晰。