2 线性空间

线性方程组的两个几何视角

我们可以从几何的角度理解方程组$\left\{\begin{matrix} x+y+z&=6 \\ x-y+2z&=5\\ 2x-3y+4z&=8\\ \end{matrix}\right.$：其中，$x+y+z=6$，$x-y+2z=5$，$2x-3y+4z=8$分别表示三维笛卡尔坐标系中的一个平面。那么方程组的解恰好就是这三个平面的交集。如果三个平面的交集是唯一的一个点，方程组就有唯一解；如果三个平面没有交集（比如它们互相平行）或交集是一条直线或整个平面，那么方程组有无穷多个解。

把方程组$\left\{\begin{matrix} x+y+z&=6 \\ x-y+2z&=5\\ 2x-3y+4z&=8\\ \end{matrix}\right.$写成矩阵乘法的形式形式$\begin{bmatrix}1&1&1\\1 & -1 & 2\\2 & -3 & 4\end{bmatrix}\begin{bmatrix}x\\y\\z\end{bmatrix}=\begin{bmatrix}6\\5\\8\end{bmatrix}$以后，我们发现这还提供了另一个几何的视角。我们发现，$\begin{bmatrix}1&1&1\\1 & -1 & 2\\2 & -3 & 4\end{bmatrix}\begin{bmatrix}x\\y\\z\end{bmatrix}$总是可以看作$\begin{bmatrix}1\\1\\2\end{bmatrix}x+\begin{bmatrix}1\\-1\\-3\end{bmatrix}y+\begin{bmatrix}1\\2\\4\end{bmatrix}z$，这样的话方程组就可以看作$\begin{bmatrix}1\\1\\2\end{bmatrix}x+\begin{bmatrix}1\\-1\\-3\end{bmatrix}y+\begin{bmatrix}1\\2\\4\end{bmatrix}z=\begin{bmatrix}6\\5\\8\end{bmatrix}$。这里，一个单列的矩阵可以看作一个向量(vector)。一个三维向量是一个三维空间中的坐标点，也可以看作从原点出发指向这个坐标的一个箭头。这个方程组描述的是，是否可以通过伸缩这三个向量$\begin{bmatrix}1\\1\\2\end{bmatrix},\begin{bmatrix}1\\-1\\-3\end{bmatrix},\begin{bmatrix}1\\2\\4\end{bmatrix}$使得它们相加以后恰好落在$\begin{bmatrix}6\\5\\8\end{bmatrix}$。

有意思的是，当我们用“平面相交”的方式来理解时，我们是以矩阵的“行”为单位来理解的；当我们用“向量的组合”来理解时，我们是以矩阵的“列”为单位来理解的。这暗示我们，在描述线性方程组时，矩阵的“行”和“列”是具有内在联系的。

线性空间(Linear Space)

我们尤其关注第二种几何理解方式。在这里我们关心的是$n$维空间中向量的伸缩与组合。其中，“伸缩”对应的是用一个实数乘以向量，“组合”对应的是向量之间的加法。向量本质上是我们之前定义过的矩阵，因此其数乘和加法已经是定义好的。从这个角度看，向量就是实数的$n$元组，所以$n$维向量所处其中的基本代数结构就是$\R^n$。这样的定义是依赖于“坐标”的。下面我们提供一个更抽象的角度来看向量，在这里我们可以抛开“坐标”而讨论向量具有的性质。定义如下：

如果一个“向量的集合”对加法和数乘封闭，并且满足以下八条性质，就称为一个向量空间(vector space)。向量空间也称为线性空间(linear space)。

1. 加法交换律：$\vec{u}+\vec{v}=\vec{v}+\vec{u}$
2. 加法结合律：$\vec{u}+(\vec{v}+\vec{w})=(\vec{u}+\vec{v})+\vec{w}$
3. 加法单位元：$\forall \vec{v}$，存在$\vec{n}$使得$\vec{n}+\vec{v}=\vec{v}$，这个向量记作$\vec{0}$
4. 加法逆元：$\forall \vec{v}$，存在的$\vec{u}$使得$\vec{u}+\vec{v}=\vec{0}$，这个向量记作$-\vec{v}$
5. 数乘单位元：$\forall \vec{v}$，$(1)\vec{v}=\vec{v}$
6. 数乘结合律：$c_1(c_2\vec{v})=(c_1c_2)\vec{v}$
7. 数乘在向量和上的分配律：$c(\vec{u}+\vec{v})=c\vec{u}+c\vec{v}$
8. 数的和乘在向量上的分配律：$(c_1+c_2)\vec{v}=c_1\vec{v}+c_2\vec{v}$

容易验证，任何一个$\mathbb{R}^n$都是一个线性空间。特殊地当$n=0$时，我们有$\R^0=\{\vec{0}\}$，这也是一个线性空间，记为$Z$。一般我们讨论的线性空间指的就是$\mathbb{R}^n$。而依据上面的抽象的线性空间定义，一个包含所有$m \times n$矩阵的“矩阵空间”也是一个线性空间；一个包含所有实数数列（正整数到实数的映射）的“数列空间”也是一个线性空间；将加法定义为实数乘法，将数乘$c$定义为实数的$c$次方的“实数空间”也是一个线性空间……

由这八条公理可以推导出线性空间的许多性质：

零向量是唯一的。如果不唯一，那么存在$\vec{m},\vec{n}$使得$\vec{n} \neq\vec{m}$，并且满足$\vec{n}+\vec{m}=\vec{m}$，$\vec{m}+\vec{n}=\vec{n}$。根据加法交换律，$\vec{n}+\vec{m}=\vec{m}+\vec{n}$，代入得$\vec{m}=\vec{n}$，矛盾。

加法逆元是唯一的。如果不唯一，那么存在$\vec{m},\vec{n}$使得$\vec{n} \neq\vec{m}$，并且满足$\vec{n}+\vec{v}=\vec{0}$，$\vec{m}+\vec{v}=\vec{0}$。对于$\vec{0}+\vec{m}=\vec{m}$，将$\vec{0}$用$\vec{n}+\vec{v}$代换，得到$\vec{n}+\vec{v}+\vec{m}=\vec{m}$。根据加法结合律与交换律，将$\vec{v}+\vec{m}$用$\vec{0}$代换，得$\vec{n}+\vec{0}=\vec{m}$。而$\vec{n}+\vec{0}=\vec{n}$，所以得到$\vec{m}=\vec{n}$，矛盾。

等式满足消去律：如果有$\vec{u}+\vec{v}=\vec{u}+\vec{w}$，那么有$\vec{v}=\vec{v}+\vec{0}=\vec{v}+(\vec{u}+(-\vec{u}))$ $=(\vec{v}+\vec{u})+(-\vec{u})=(\vec{w}+\vec{u})+(-\vec{u})=\vec{w}$。这是一个非常重要的定理，这告诉我们向量等式是可以移项的。

我们不再一一列出线性空间中向量的运算性质，只需要记住一般的代数运算对于向量而言都是成立的。对于这样的问题，我们把理解建立在实数运算上，特别注意它与实数的不同点就好了。

子空间(Subspace)

如果一个线性空间$W$中的元素全都包含在线性空间$V$中，就说$W$是$V$的子空间。例如三维空间中的一个平面是子空间，两个相交平面就不是子空间了。

由于数乘时$c$可以取0，所以一个线性空间的每个子空间都必须包含原空间中的零向量。而子空间中的零向量是唯一的，所以原空间中的零向量一定就是子空间中的零向量。

当我们需要证明$W$是$V$的子空间时，只需证明$W\subseteq V$以及$W$是线性空间。而当证明$W$是线性空间时，不必验证全部八条性质，因为结合律、交换律、分配律等等都可以继承$V$的性质。我们只需验证$W$中向量关于加法和数乘封闭，以及加法单位元、加法逆元存在即可。

张成(Span)

对于线性空间$V$内部的任意一个向量集合$S$（不一定是子空间），设$S=\{\vec v_\alpha\}$，那么任何一个向量$w$如果能写作$w=\sum\limits_{\alpha}c_\alpha \vec v_\alpha,c_\alpha\in \R$，就称$w$是$S$的一个线性组合(linear combination)。

集合$S$的所有线性组合组成的集合称为$S$的张成(span)，记为$\text{span}(S)$。下面我们证明，$\text{span}(S)$一定是$V$的子空间：$\text{span}(S)$中向量关于加法和数乘封闭（线性组合的性质）；零向量存在；加法逆元存在。因此$\text{span}(S)$是$V$的一个子空间。同时，这一定是包含$S$的最小的子空间，因为对于任意的子空间$W$如果有$S \subseteq W$，那么$W$有$S$里的所有元素，并且$W$必须有所有这些元素的线性组合，自然就有$\text{span}(S)\subseteq W$。

线性独立(Linear Indepency)

对于有限个向量$v_1,\cdots,v_k$，如果$c_1v_1+\cdots+c_kv_k=0$当且仅当$c_i=0$恒成立，就称这些向量线性独立(linearly independent)（或线性无关）。这等价于，其中的任何一个向量都不能被其他的$k-1$个向量线性组合表示（左推右：如果存在一个这样的线性表示，那么移项就会得到一个系数不是全零却和为零的等式；右推左，如果存在一个$c_i\neq 0$时$c_1v_1+\cdots+c_kv_k=0$成立，那么就能得到一个$v_i$用其余向量表示的表达式）。

如果$v_1,\cdots, v_k$中含有零向量，那么它们不可能线性独立（因为这个零向量的系数可以任取）。

如果$k=1$，也即如果只有一个非零向量，那么它线性独立。

基(Basis)

如果$v_1,\cdots,v_k$线性独立，并且$\text{span}(v_1,\cdots,v_k)=V$，就称$\{v_1,\cdots,v_k\}$是$V$的一组线性基(linear basis)（简称基）。

给定一个线性空间$V$以及$V$中的一组基$\{v_1,\cdots,v_k\}$，那么对于任意的$w\in V$，$w$一定能被写成基的线性组合（依据是张成的定义）。下面我们证明这种表示必然是唯一的，也即如果$w=c_1v_1+\cdots +c_kv_k=d_1v_1+\cdots+d_kv_k$，那么一定成立$\forall i\in[k],c_i=d_i$。如果不是这样，那么存在$j_1,\cdots,j_t\in [k]$使得$c_{j_i}\neq d_{j_i}$。两式相减，得到$0=(c_{j_1}-d_{j_1})v_{j_1}+\cdots+(c_{j_t}-d_{j_t})v_{j_t}$，这与$v_1,\cdots,v_k$线性独立矛盾。

假设线性空间$V$有一组基$e_1,\cdots,e_n$（这里$e$不特别表示单位向量）。我们任意从$V$中选出$m$个（$0 \leq m \leq n$）线性独立的向量$v_1,\cdots,v_m$，则一定可以把基中特定的某$m$个$e_i$替换成这$m$个$v_i$，使得$v_1,\cdots,v_m,e_{i_1},\cdots,e_{i_{n-m}}$构成$V$的一组基。这是一个非平凡的结论，称为Steinitz Exchange Lemma。我们对$m$归纳来证明。当$m=1$时，由于$v_1$可以被$\{e_i\}$线性表示且不为零向量，因此一定能找到一个$k$使得$e_k$能被剩下的$n-1$个$e_i$和$v_1$线性表示，这意味着替换后张成的空间相同。再验证线性独立性，替换后的基线性组合为0时$v_1$的系数必须为0（如果不为0，那么$v_1$可以被$n-1$个$e_i$线性表示，由于线性表示的唯一性，这意味着$v_1$在用完整的$n$个$e_i$表示时$e_k$的系数应当为0，这就发生了矛盾）。而要用剩下的$n-1$个$e_i$组合出$0$，根据线性独立的定义所有$e_i$的系数都必须为0。这就证明了$n-1$个$e_i$与$v_1$构成的替换后的基是线性独立的，归纳法的第一步成立。下面假设已经替换好了$k-1$个，有归纳假设$v_1,\cdots,v_{k-1},e_{i_1},\cdots,e_{i_{n-k+1}}$构成$V$的一组基。用归纳假设中的基表示$v_k$，由于$v_i$之间是线性独立的，因此一定存在一个$e_p$的系数不为0，用与第一步中类似的方法可以验证替换完之后张成的空间相同，并且线性独立性依然成立。综上，归纳法成立，证毕。

维数(Dimension)

由Steinitz Exchange Lemma可知，假设线性空间$V$有一组$n$个基向量$e_1,\cdots,e_n$构成的基，则任何一组基都必须恰好由$n$个基向量构成。因为假如$m$个（$m<n$）基向量$v_1,\cdots,v_m$也能构成$V$的基，则$\text{span}(v_1,\cdots,v_m)=$ $\text{span}(v_1,\cdots,v_m,e_{i_1},\cdots,e_{i_{n-m}})$，这意味着$e_{i_1}$可以由$v_1,\cdots,v_m$线性组合得到，而这与$v_1,\cdots,v_m,e_{i_1},\cdots,e_{i_{n-m}}$线性独立矛盾。假如$m$个（$m>n$）基向量$v_1,\cdots,v_m$个构成$V$的基，那么选其中的前$n$个也能构成一组基，这意味着$v_m$可以用$v_1,\cdots,v_m$线性表示，这与基向量线性独立矛盾。

综上所述，假设一个线性空间$V$有一组有限大小的基，那么其任何一组基的大小都相同。换言之，对于这样的线性空间，基向量的个数是一个基本属性，称为这个线性空间的维数(dimension)，记作$\dim(V)$。在目前为止的讨论中，我们都只对于有限大小的基做讨论。存在有限大小的基的线性空间称为“有限维线性空间”。注意，并不是任何一个线性空间都是“有限维”的。

假定我们知道一个线性空间有一组有限大小的基，也即如果我们已知这个线性空间是有限维的，我们原则上一定可以构造出一组基。只需这样做：假定我们有一个集合，刚开始我们任取某一个向量放进集合。如果当前集合内的向量还不足以张成整个线性空间，就从张成的空间以外再选一个向量。集合内的向量一定是线性独立的（否则新选入的向量就不会落在张成外了）。由于这个空间是“有限维”的，这样的操作一定会在某一时刻停下——等到集合内的向量个数到达“维数”时，这个集合就构成了一组基。

如果$W$是$V$的子空间，那么可以证明$\dim(W) \leq \dim(V)$。由于$W$中所有向量都是$V$中的向量，我们还是依照上面的方法不断选$W$中的向量构造$W$的一组基。由于这组基的张成一定包含在$V$以内，所以它要么已经张成了$V$，要么还存在向量在$V$中但不在$W$中。前者说明$\dim(W)=\dim(V)$，后者说明如果要构造$V$的基我们还要继续添加向量，所以$\dim(W) < \dim(V)$。

极大线性无关组(Maximal Linearly Independent Group)

给定有限个向量组成的集合$S$，如果它的一个子集中所有的向量线性独立，就称这个子集是$S$的一个线性无关组。如果$S=\{\vec 0\}$，那么不存在线性无关组（或者说线性无关组只有空集）。否则，我们至少能挑出一个向量构成的线性无关组，因为一个向量一定线性独立。

在所有的线性无关组中，包含向量数量最多的那个称为“极大线性无关组”。由于向量总数是有限的，所有这个极大组总是存在的。容易发现，极大线性无关组的大小就是$S$张成的线性空间的维数。我们再次利用基的构造方法：首先，我们有单个向量构成的集合；我们不断挑出没被包含在这个集合张成空间里的向量，最后集合内的向量张成了$\text{span}(S)$。如果存在比它更多的向量构成的“线性无关组”，就意味着这个线性空间有超过“维数”个线性独立的向量，这是不可能的。

矩阵的列空间(Column Space)

现在我们再看线性方程组的第二个几何视角。判断线性方程组$Ax=b$是否有解，等价于：向量$b$是否能由矩阵$A$的每一列构成的向量集合张成。我们把$A$的每一列的向量称为$A$的列向量，把$A$的列向量张成的线性空间称为$A$的列空间，记为$C(A)$，那么$Ax=b$是否有解等价于，是否成立$b\in C(A)$？

对于$A_{n\times n}$，如果$C(A)$的维数是$n$，就意味着列空间是整个$\R^n$，因此任何向量$b$都落在$C(A)$当中，因此$Ax=b$对任何$b$都有解。并且由于$A$总共只有$n$个列向量张成列空间，这意味着这$n$个列向量线性独立，它们构成$\R^n$的一组基。根据基的表示的唯一性，任何一个$b$只有一种特定的列向量的线性组合方式，也即$Ax=b$有唯一解。所以我们得到，$\dim(C(A_{n\times n}))=n\implies Ax=b$有唯一解。