线性代数基础

目录

线性方程组

概述

线性方程组就是形如下方的方程组。

\[\begin{cases}a_{11}x_1+a_{12}x_2+...+a_{1m}x_m=b_1\\ a_{21}x_1+a_{22}x_2+...+a_{2m}x_m=b_2\\ ... \\ a_{n1}x_1+a_{n2}x_2+...+a_{nm}x_m = b_n\end{cases} \]

初等行变换与高斯消元

线性方程组有3种初等行变换（将某行乘以某个数，将两行相减，交换两行）

通过三种初等行变换，我们可以进行高斯消元。

高斯消元其实就是平时解方程组的过程。

大体过程就是通过第i行消去每行(除第i行)的第i个未知数的系数。

齐次方程组

齐次方程组是指等号右侧均为0的线性方程组。

当方程组个数小于未知数个数时一定有解。

这个可以直观的理解为每个方程组相当于对未知数的限制，方程组个数越少对于未知数的限制就越小就更可能有解。

有限维向量空间

n维向量

高中学到的二维向量是由一个二元坐标 \((x,y)\) 来描述，空间向量由一个三元坐标 \((x,y,z)\) 来描述。通过这个我们可以更加容易的理解n维向量。

定义一个n维向量 \(\alpha =\begin{bmatrix}x_1\\ x_2 \\ x_3 \\ ... \\ x_n\end{bmatrix}\)

向量可以竖着记(就像上方)称为列向量，也可以横着记(如 \(\alpha = [x_1,x_2,x_3,...,x_n]\) )称为行向量。

向量组

将m个n维向量放到一起构成向量组。

向量组一般需要指明数域

如: \(\alpha_1,\alpha_2,\alpha_3,...,\alpha_m\)

也就是 \(\begin{bmatrix}x_{11}\ x_{12}\ x_{13}\ ...\ x_{1m}\\ x_{21}\ x_{22}\ x_{23}\ ...\ x_{2m}\\ ... \\ x_{n1}\ x_{n2}\ x_{n3}\ ...\ x_{nm}\end{bmatrix}\)

线性相关与无关

对于一个向量组 \(\alpha_1\ \alpha_2\ \alpha_3\ ...\ \alpha_m\) 。如果存在不全为零的一组 \(k\) 使得 \(k_1\alpha_1+k_2\alpha_2+k_3\alpha_3+...+k_m\alpha_m=0\) ，那么就称这m个向量线性相关。否则称这m个向量线性无关。

如： \(\alpha_1=\begin{bmatrix}1\\ 2\\3\end{bmatrix},\alpha_2=\begin{bmatrix}3\\2\\1\end{bmatrix},\alpha_3=\begin{bmatrix}\\1\\1\\1\end{bmatrix}\) 就是线性相关的。因为 \(\alpha_1+\alpha_2-4\alpha_3=0\)

向量组的秩

找出向量组 \(\alpha_1\ \alpha_2\ \alpha_3\ \alpha_m\) 的"极大线性无关组"。也就是在满足所选出的向量线性无关的情况下找出最多的向量。

假设上方向量组的一个"极大线性无关组"为 \(\beta_1\ \beta_2\ ...\ \beta_k\) 。那么原来向量组的秩就是 \(k\) 。

一个向量组可以由他的"极大线性无关组"表出。也就是说，通过"极大线性无关组"中的向量进行数乘和相加减运算可以表示出原来 \(m\) 个向量中的任意一个。

可以证明：不管采用何种方法得到极大线性无关组。极大线性无关组的大小是确定的。也就是一个向量组的秩是确定的。

矩阵

一个 \(n\times m\) 的矩阵可以表示为 \(A=\left[\begin{array}{cccc}x_{11} & x_{12} & \cdots & x_{1m} \\ x_{21} & x_{22} & \cdots & x_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2}& \cdots & x_{nm}\end{array}\right]\)

我们可以将其看作n个m维的行向量，也可以看作m个n维的列向量。

矩阵的秩

矩阵的秩为将其看作n个行向量的秩(或将其看作m个列向量的秩)。

可以证明：矩阵的 \(n\) 个行向量的秩（行秩）和 \(m\) 个列向量的秩（列秩）是相等的。

矩阵可以看作齐次方程组，所以可以进行初等行变换，所以可以进行高斯消元。

矩阵不仅可以进行初等行变换，也可以进行初等列变换。

初等变换不会改变矩阵的秩

如果两个矩阵可以通过初等变换相互转化，那么就说这两个矩阵是相抵的。

矩阵的相抵标准型

通过高斯消元，我们可以将矩阵消成下面这样的形式。

\[\left[\begin{array}{cccc}1 & 0 & 0 & \cdots & 0\\ 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0\\ \vdots &\vdots & \vdots & \ddots & \vdots \end{array}\right] \]

这种形式称为矩阵的相抵标准型。

相抵标准型中含1的行向量数量就是矩阵的秩。

矩阵的基本运算

矩阵的加法和数乘

矩阵加法必须满足相加的两个矩阵是大小相等的。然后对应位置相加即可。

数乘就是将矩阵的每个位置乘上一个数字。

矩阵乘法

只有当满足 \(A\) 是一个 \(n\times m\) 的矩阵， \(B\) 是一个 \(m\times k\) 的矩阵。 \(A\) 和 \(B\) 才可以相乘。得到的矩阵 \(C\) 是一个 \(n\times k\) 的矩阵。 \(C_{ij}=\sum\limits_{t=1}^mA_{it}\times B_{tj}\)

矩阵乘法满足结合律，但是不满足交换律。

矩阵运算和秩的关系

用 \(r(A)\) 表示矩阵 \(A\) 的秩。

那么有 \(\begin{cases}r(AB)\le min\{r(A),r(B)\} \\ r(A + B) \le r(A) + r(B)\\ r(AB)\ge r(A) + r(B) - n \end{cases}\)

矩阵的转置

用 \(A^T\) 表示矩阵 \(A\) 的转置。矩阵的转置可以看作是将行列互换。

比如矩阵 \(\left[\begin{array}{cc}1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \\ 10 & 11 & 12\end{array} \right]\) 的转置就是 \(\left[ \begin{array}{cc} 1 & 4 & 7 & 10 \\ 2 & 5 & 8 & 11 \\ 3 & 6 & 9 & 12\end{array}\right]\)

关于转置有 \((ABC)^T=C^TB^TA^T\)

方阵

单位矩阵和初等矩阵

单位矩阵是对角线上全是1其他位置全为0的方阵。

矩阵的每个初等变换都对应一个初等矩阵，初等行变换相当于在矩阵左侧乘上一个初等矩阵，初等列变换相当于在矩阵右侧乘上一个初等矩阵。

以初等行变换为例：

• 将第i行乘上一个数k，相当于在左侧乘上一个第i行第i列为k其他对角线位置全为1，非对角线位置全为0的方阵。
• 将第i行减掉第j行，相当于在左侧乘以一个对角线全为1，第i行第j列为-1的方阵。
• 将第i行与第j行互换，相当于乘以一个第i行第j列为1，第j行第i列为1，对角线除第i行第i列和第i行第j列外全为1.其他位置全为0的矩阵。

矩阵求逆

如果方阵 \(A,B\) 满足 \(AB=I\) ， \(I\) 表示单位矩阵。那么 \(A\) 可逆，且 \(B\) 为 \(A\) 的逆矩阵，记为 \(A^{-1}\) 。同样也可以说明 \(B\) 可逆 \(A\) 为 \(B\) 的逆矩阵。

矩阵可逆的条件，矩阵满秩 \(\Leftrightarrow\) 矩阵可逆。

关于矩阵逆的一个性质 \((AB)^{-1}=B^{-1}A^{-1}\)

只有当一个n阶方阵 \(A\) ，满足 \(r(A)=n\) 时我们说方阵 \(A\) 满秩。

因为 \(A\) 是满秩的，所以我们一定可以通过一些初等行变换，将矩阵 \(A\) 变成相抵标准型（即单位矩阵）。

进行初等行变换相当于左乘一个矩阵。也就有 \(P_1P_2P_3...P_kA=I\Rightarrow(P_1P_2P_3...P_kA)^{-1}=I^{-1}=I\Rightarrow A^{-1}P_1^{-1}P_2^{-1}P_3^{-1}...P_k^{-1}=I\)

两边同乘 \(P_1P_2P_3...P_k\) 。就有 \(A^{-1}=IP_1P_2P_3...P_k=P_1P_2P_3...P_k\)

实现：将矩阵 \(A\) 和单位矩阵 \(I\) 放到一起，形成一个 \(n\times 2n\) 的矩阵 \([A|I]\) 。然后对 \(A\) 进行初等行变换来高斯消元，同时右边的I进行相同的初等行变换。如果最终 \(A\) 消成了相抵标准型，那么此时的 \(I\) 就是 \(A^{-1}\) 。否则说明 \(A\) 不可逆。

线性方程组的理论课题

齐次线性方程组的基础解系

有了矩阵的相关知识我们可以继续深入了了解线性方程组的相关理论。

对于一个齐次线性方程组 \(\begin{cases} a_{11}x_1+a_{12}x_2+a_{13}x_3+\cdots + a_{1m}x_m = 0\\ a_{21}x_1+a_{22}x_2+a_{23}x_3+\cdots +a_{2m}x_m = 0\\ \cdots \\ a_{n1}x_1 + a_{n2}x_2+a_{n3}x_3+\cdots + a_{nm}x_m = 0\end{cases}\)

我们可以用矩阵将他表示为 \(\left[\begin{array}{cccc}a_{11} & a_{12} & \cdots & a_{1m}\\ a_{21} & a_{22} & \cdots & a_{2m}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nm}\end{array}\right] \left[\begin{array}{c} x_1\\ x_2\\\vdots \\ x_m\end{array}\right]=0\)

其中左边称为系数矩阵。我们对系数系数矩阵进行高斯消元得到相抵标准型。

得到的相抵标准型可以分为3种情况。

• 情况1

  形如 \(\left[\begin{array}{cccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1\end{array}\right]\) 。

  也就是恰好消成一个对角线全为1的方阵。这样的就可以直接解出答案了。

• 情况2

  形如 \(\left[\begin{array}{cccc}1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0\\ 0 & 0 & 1 & 0\\ 0 & 0 & 0 & 1\\ 0 & 0 & 0 & 0\end{array}\right]\)

  这样最后几行全为0，是恒成立的，所以也可以直接解出答案，显然只有0解。

• 情况3

  形如 \(\left[\begin{array}{cccc} 1 & 0 & 0 & t_{11} & t_{12}\\ 0 & 1 & 0 & t_{21} & t_{22}\\ 0 & 0 & 1 & t_{31} & t_{32}\end{array}\right]\)

  消成这样, \(x_4,x_5\) 取任意的一组值都可以得到一组解。所以有无数组解。

  我们想办法求他的解系。我们先令 \(x_4=1,x_5=0\) 求出关于 \(x_4\) 的解系A，然后令 \(x_4=0,x_5=1\) 求出关于 \(x_5\) 的解系B。然后对于任意的一组 \(x_4=a,x_5=b\) 我们可以得到它的解系为 \(aA+bB\)

  比如，如果我们有 \(\begin{cases}x_1+x_4+x_5=0\\ x_2+x_4 = 0 \\ x_3+x_5=0\end{cases}\) 先令 \(x_4=1,x_5=0\) 解出关于 \(x_4\) 的解系 \(\left[\begin{array}{c} -1\\-1\\0 \\ 1\\0\end{array}\right]\) 。然后令 \(x_4=0,x_5=1\) 解出关于 \(x_5\) 的解系 \(\left[\begin{array}{c}-1\\0\\-1\\ 0 \\1\end{array}\right]\) 。之后对于任意的一组 \((x_4=a,x_5=b)\)

  的解系为

  \(\left[\begin{array}{c}-a-b\\ -a\\-b\\a\\b\end{array}\right]\)

齐次线性方程组的解系构成了线性空间。也就是说齐次线性方程组的某两个解的线性组合还是该线性方程组的解。

非齐次方程组的解系

齐次方程组的解构成了线性空间。显然非齐次方程组的解无法构成线性空间。

如：如果齐次方程式 \(\begin{cases}x+y=0\\3x+2y=0\end{cases}\) 有一组解 \(\left[\begin{array}{c}x_1\\ y_1\end{array}\right]\) ，也就是满足 \(\begin{cases}x_1+y_1=0\\3x_1+2y_1=0\end{cases}\) 。还有一组解 \(\left[\begin{array}{c}x_2\\ y_2\end{array}\right]\) 也就是满足 \(\begin{cases}x_2+y_2=0\\3x_2+2y_2=0\end{cases}\) 。那么我们将两组解进行线性组合得到一组解 \(\left[\begin{array}{c}x_3=x_1+x_2\\ y_3=y_1+y_2\end{array}\right]\) 。带入方程式发现是正确的。

但是对于非齐次方程式，此结论显然无法成立。

那么如何求出费齐次方程组的解系呢。

• 第一步：高斯消元
• 第二步：求一组特解
• 第三步：将等号右边改写成0，强行变成齐次不等式，求出他的解空间V。
• 第四步：原方程组的解系就是 \(\alpha+V\)

举个例子对于一个非齐次方程组 \(\begin{cases}x_1+x_2+x_3 = 1\\2x_2+x_3=4\end{cases}\) 。

• 进行高斯消元,求得 \(\begin{cases}2x_1+x_3=-2\\ 2x_2+x_3=4\end{cases}\)
• 求一组特解，令 \(x_3=0\) ，解得 \(\left[\begin{array}{c}-1\\2\\0 \end{array}\right]\)
• 求导出组的解空间。他的导出组就是 \(\begin{cases}x_1+x_2+x_3 = 0\\2x_2+x_3=0\end{cases}\) 。解出来它的解系为 \(k\left[\begin{array}{c}-\frac{1}{2}\\-\frac{1}{2}\\1 \end{array}\right]\)
• 得到原方程组的解空间， \(\left[\begin{array}{c}-1\\2\\0 \end{array}\right] +k\left[\begin{array}{c}-\frac{1}{2}\\-\frac{1}{2}\\1 \end{array}\right]=\left[\begin{array}{c}-1-\frac{k}{2}\\2-\frac{k}{2}\\k \end{array}\right]\)

行列式

定义

行列式是一个可以把 \(n\) 阶方阵映射成一个数的函数。

具体的对于一个 \(n\) 阶方阵 \(A=\left[\begin{array}{cccc}a_{11} & a_{12} &\cdots & a_{1m}\\ a_{21} & a_{22} & \cdots & a_{2m}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nm} \end{array}\right]\) ，它的行列式 \(detA=\left|\begin{array}{cccc}a_{11} & a_{12} &\cdots & a_{1m}\\ a_{21} & a_{22} & \cdots & a_{2m}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nm} \end{array}\right|=\sum\limits_{\Pi}(-1)^{\tau(\Pi)}a_{1i_1}a_{2i_2}...a_{ni_n}\)

解释：式中 \(\Pi\) 表示一个 \(1\sim n\) 的排列。 \(\tau(\Pi)\) 表示排列 \(\Pi\) 的逆序对个数。

例如：一个三行三阶行列式 \(\left|\begin{array}{ccc}1 & 0 & 2\\ 3 & 4 & 5 \\ 6 & 7 & 8\end{array}\right|=1\times 4 \times 8-1\times 5 \times 7-0\times 3 \times 8 + 0\times 5 \times 6+2\times 3\times 7 - 2 \times 4 \times 6 = -9\)

性质

下面三条性质唯一的决定了行列式函数。

反对称

• 性质1：相邻两行相等或成倍数关系，如果有相邻两行 \(i,i+1\) 相等或呈倍数关系，那么 \(det=0\)

• 性质2：交换两行， \(det\) 变为 \(-det\) ，其中 \(x,y\) 表示交换的两行的标号。

证明：假设交换的为相同的两行，那么每项的绝对值都不会改变，因为逆序对数和原来恰好相差1，所以每项的系数会取反。所以最终 \(det\) 变为 \(-det\) 。那么交换不相邻的两行，我们可以由不断交换相邻两行推导过去。

• 性质1的推论（反对称）：结合性质1和性质2我们可以得出更强的结论：如果存在两行(不一定要相邻)相等或呈倍数关系，那么 \(det=0\) 。

双线性

\(\begin{vmatrix} a_1\ a_2 \ \cdots \ a_m \\ B \end{vmatrix} + \begin{vmatrix} b_1\ b_2 \ \cdots \ b_m \\ B \end{vmatrix}=\begin{vmatrix} a_1 + b_1\ \ a_2+b2 \ \ \cdots \ \ a_m \\ B \end{vmatrix}\)

这称为行线性，同理也有列线性。

单位矩阵

单位矩阵的行列式为1。

证明：显然

初等行变换中行列式的变化

• 将某行乘k，因为行列式的每一项中都含有这一行中的元素。所以最终的 \(det\) 也会变为 \(kdet\)
• 交换两行， \(det\) 变为 \(-det\) ，其中 \(x,y\) 表示交换的两行的标号。

证明：假设交换的为相同的两行，那么每项的绝对值都不会改变，因为逆序对数和原来恰好相差1，所以每项的系数会取反。所以最终 \(det\) 变为 \(-det\) 。那么交换不相邻的两行，我们可以由不断交换相邻两行推导过去。

• 用矩阵中的某一行减去另一行的k倍，行列式不变。

不满秩矩阵的行列式

不满之矩阵的行列式为0

证明：矩阵不满秩，说明存在一个向量可以被其他向量表出。设一个不满秩矩阵 \(\left[\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_n\end{array}\right]\) 的极大线性无关组为 \(\left[\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_r\end{array}\right]\) 。那么一定存在一个 \(\alpha_k=k_1\alpha_1+k_2\alpha_2+\cdots + k_r\alpha_r\) 。那么根据行线性将行列式展开。 \(\left|\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_r\\ k_1\alpha_1 + k_2\alpha_2+\cdots+k_r\alpha_r\end{array}\right|=k_1\left|\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_r\\ \alpha_1\end{array}\right|+k_2\left|\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_r\\ \alpha_2\end{array}\right|+\cdots+k_r\left|\begin{array}{c}\alpha_1\\ \alpha_2\\ \vdots \\ \alpha_r\\ \alpha_r\end{array}\right|\)

根据反对称，因为每一项都有相等的向量，所以每项值都为0，整个行列式的值就是0。

转置的行列式

矩阵进行转置行列式不改变。

计算

根据上面的性质，我们可以通过初等行变换，将矩阵转化为相抵标准型（单位矩阵），计算此时的行列式，并且记录下进行的初等行变换操作，这样就可以根据进行的操作倒推回去，得到原来矩阵的行列式。

行和列的展开式

对于列的展开式同理。

应用

矩阵和行列式

矩阵乘积的行列式=矩阵行列式的乘积。

即：

\(det(AB)=det(A)\times dep(B)\)

克莱姆法则

对于一个线性方程组 \(\begin{cases}a_{11}x_1+a_{12}x_2+\cdots+a_{1m}x_m=b_1\\a_{21}x_1+a_{22}x_2+\cdots+a_{2m}x_m=b_2 \\ \cdots \\ a_{n1}x_1+a_{n2}x_2+\cdots+a_{nm}x_m=b_n\end{cases}\)

写出他的系数矩阵 \(A=\left[\begin{array}{cccc}a_{11}&a_{12}&\cdots &a_{1m} \\ a_{12}&a_{22}&\cdots&a_{2m}\\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nm}\end{array}\right]\)

矩阵树定理推导Cayley定理

矩阵树定理：对于一个图，令矩阵 \(G\) 表示其邻接矩阵，即 \(G_{ij}\) 表示该图中 \(i,j\) 之间边的数量。令矩阵 \(D\) 表示其度数矩阵，即 \(D_{ii}\) 表示 \(i\) 这个点的度数。求出其基尔霍夫矩阵 \(C=D-G\) 。删 \(C\) 中的任意一行和一列得到 \(A\) 。 \(abs(detA)\) 就是该图的生成树个数。

Cayley定理： \(n\) 个点完全图的生成树个数为 \(n^{n-2}\) 。该定理也可以用 \(prufer\) 序列推出。

考虑用矩阵树定理来求完全图的生成树个数，显然得到的基尔霍夫矩阵应该形如 \(\left[\begin{array}{cccc}n-1 & -1 & \cdots & -1\\ -1 & n- 1 & \cdots & -1\\ \vdots & \vdots & \ddots & \vdots \\ -1 & -1 & \cdots & n-1 \end{array}\right]\) ，删掉一行一列后的行列式就是 \(\left|\begin{array}{cccc}n-1 & -1 & \cdots & -1\\ -1 & n- 1 & \cdots & -1\\ \vdots & \vdots & \ddots & \vdots \\ -1 & -1 & \cdots & n-1 \end{array}\right|\)

考虑如何计算这个行列式，因为两行相加行列式不变，所以我们让第一行加上剩下的 \(n-2\) 行，就变成了 \(\left|\begin{array}{cccc}1 & 1 & \cdots & 1\\ -1 & n- 1 & \cdots & -1\\ \vdots & \vdots & \ddots & \vdots \\ -1 & -1 & \cdots & n-1 \end{array}\right|\)

然后让下面的每一行都加上第一行就变成了 \(\left|\begin{array}{cccc}1 & 1 & \cdots & 1\\ 0 & n & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & n \end{array}\right|\) 。根据定义就可以看出这个行列式的值为 \(n^{n-2}\)

线性空间

定义

线性空间V中任取向量 \(\alpha_1,\alpha_2\) 都满足 \(\alpha_1+ \alpha_2\in V\) ,取任意数字 \(k\) 都满足 \(k\alpha_1 \in V\)

空间的基和维数

线性空间 \(V\) 的基就是 \(V\) 的一个极大线性无关组。

一个n维空间一组很显然的基就是 \(\left[\begin{array}{c}1\\0\\\vdots\\ 0\end{array}\right]\left[\begin{array}{c}0\\1\\\vdots\\ 0\end{array}\right]\cdots \left[\begin{array}{c}0\\0\\\vdots\\ 1\end{array}\right]\)

基变换和坐标变换

一个线性空间的基 \([\alpha_1\ \alpha_2\ \alpha_3 \ ...\ \alpha_n]\) 可以通过右成一个 \(n\) 阶方阵变为另一组基 \([\beta_1\ \beta_2\ \beta_3 \ ...\ \beta_n]\) 。这个 \(n\) 阶矩阵称为基的过度矩阵。

设 \(X\) 是一个在以 \([\alpha_1\ \alpha_2\ \alpha_3 \ ...\ \alpha_n]\) 为基的情况下的向量， \(Y\) 是一个在以 \([\beta_1\ \beta_2\ \beta_3 \ ...\ \beta_n]\) 为基的情况下的向量，且 \(T\) 为 \(\alpha\) 到 \(\beta\) 的过渡矩阵，即 \(\alpha T=\beta\) ，那么就有 \(X=TY\)

线性变换

线性变换可以理解为给出一个矩阵A，定义 \(f(x)=Ax\) (x为向量)。

称之为线性变换是因为满足

\(f(x+y)=f(x)+f(y),f(kx)=kf(x)\)

线性变换在不同基下的矩阵