LoRA微调大模型 - 从方程组的角度看矩阵的秩

flyfish

LoRA: Low-Rank Adaptation of Large Language Models
线性方程组通常用来描述多个变量之间的线性关系。线性方程组是由一组线性方程构成的集合，这些方程涉及一个或多个未知数。每个方程都是未知数的一次多项式，这意味着每个未知数的次数都是1。

线性方程组

一个线性方程组的一般形式可以写作：

$$\begin{gathered} a_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1 \\ {a}_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2 \\ ⋮ \\ {a}_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m \end{gathered}$$

这里 $x_1,x_2,\dots ,x_n$ 是未知数，$a_{ij}$ 是方程中未知数的系数，而 $b_1,b_2,\dots ,b_m$ 是常数项。方程组包含 $m$ 个方程和 $n$ 个未知数。

示例

例如，以下是一个包含三个方程和三个未知数 $x,y,z$ 的线性方程组：

$$\begin{gathered} 13x+12y-2z=1 \\ 12x-12y+4z=2 \\ -3x+5y-4z=0 \end{gathered}$$

什么东西是不变的？怎么变的？

一个原始的线性方程组：

$$\{\begin{array}{l}7x_1+8x_2+9x_3=13\\ 4x_1+5x_2+6x_3=12\\ 1x_1+2x_2+3x_3=11\end{array}$$

将这个方程组写成矩阵形式：

$$\left(\begin{array}{ccc}7& 8& 9\\ 4& 5& 6\\ 1& 2& 3\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}13\\ 12\\ 11\end{array}\right)$$
以下面的方式将矩阵的形式变来变去，但它们所代表的线性方程
组的解集保持不变。

初等行变换

初等行变换能够保留方程组的基本属性，是因为它们基于等价关系，如果两个矩阵可以通过一系列初等行变换相互转换，那么这两个矩阵代表相同的线性方程组，因此它们有相同的解集。

1. 交换两行（$R_i\leftrightarrow R_j$）

假设我们有以下矩阵：
$$\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$$

如果我们想交换第一行和第三行，执行 $R_1\leftrightarrow R_3$ 后，矩阵变为：
$$\left(\begin{array}{ccc}7& 8& 9\\ 4& 5& 6\\ 1& 2& 3\end{array}\right)$$

2. 将某一行乘以一个非零常数（$k{R}_i\to R_i,k\ne 0$）

考虑同样的初始矩阵：
$$\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$$

如果我们将第二行乘以 2，即执行 $2R_2\to R_2$，则得到：
$$\left(\begin{array}{ccc}1& 2& 3\\ 8& 10& 12\\ 7& 8& 9\end{array}\right)$$

3. 将某一行加上另一行的倍数（$R_i+k{R}_j\to R_i$）

继续使用上面的原始矩阵：
$$\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$$

如果我们想将第一行替换为第一行加上第二行的 $-4$ 倍，即执行 $R_1-4R_2\to R_1$，那么计算过程如下：
第一行为 $1,2,3$
第二行为$4,5,6$
计算后的新第一行为
$$1-4\ast 4,2-4\ast 5,3-4\ast 6=-15,-18,-21$$

因此，矩阵变为：
$$\left(\begin{array}{ccc}-15& -18& -21\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$$

尽管上面的矩阵形式改变了，但它们所代表的线性方程组的解集保持不变。

给定方程组

$$\{\begin{array}{ll}7x_1+8x_2+9x_3=13& \text{……①}\\ 4x_1+5x_2+6x_3=12& \text{……②}\\ x_1+2x_2+3x_3=11& \text{……③}\end{array}$$

步骤 1: 消元操作

1.1 ①$-$②$\times 2$消去$x_2$和$x_3$

$$\begin{array}{rl}& (7x_1+8x_2+9x_3)-2\times (4x_1+5x_2+6x_3)=13-2\times 12\\ & 7x_1+8x_2+9x_3-(8x_1+10x_2+12x_3)=13-24\\ & 7x_1+8x_2+9x_3-8x_1-10x_2-12x_3=-11\\ & -x_1-2x_2-3x_3=-11\\ & x_1+2x_2+3x_3=11\text{……④}\end{array}$$

1.2 ③$+$④消去$x_2$和$x_3$

$$\begin{array}{rl}& (x_1+2x_2+3x_3)+(-x_1-2x_2-3x_3)=11+(-11)\\ & 0=0\end{array}$$

这表明通过这种方式无法直接得到$x_1$、$x_2$、$x_3$的值，需要换一种消元方法。

步骤 2: 再次尝试消元

2.1 ②$-$③$\times 4$消去$x_1$

$$\begin{array}{rl}& (4x_1+5x_2+6x_3)-4\times (x_1+2x_2+3x_3)=12-4\times 11\\ & 4x_1+5x_2+6x_3-(4x_1+8x_2+12x_3)=12-44\\ & 4x_1+5x_2+6x_3-4x_1-8x_2-12x_3=-32\\ & -3x_2-6x_3=-32\\ & x_2+2x_3=\frac{32}{3}\text{……⑤}\end{array}$$

2.2 ①$-$③$\times 7$消去$x_1$

$$\begin{array}{rl}& (7x_1+8x_2+9x_3)-7\times (x_1+2x_2+3x_3)=13-7\times 11\\ & 7x_1+8x_2+9x_3-(7x_1+14x_2+21x_3)=13-77\\ & 7x_1+8x_2+9x_3-7x_1-14x_2-21x_3=-64\\ & -6x_2-12x_3=-64\\ & x_2+2x_3=\frac{32}{3}\text{……⑥}\end{array}$$

由⑤⑥可知，$x_2+2x_3=\frac{32}{3}$。

步骤 3: 求解方程组

3.1 将$x_2=\frac{32}{3}-2x_3$代入③式

$$\begin{array}{rl}& x_1+2\times \left(\frac{32}{3}-2x_3\right)+3x_3=11\\ & x_1+\frac{64}{3}-4x_3+3x_3=11\\ & x_1-x_3=\frac{33}{3}-\frac{64}{3}\\ & x_1-x_3=-\frac{31}{3}\\ & x_1=x_3-\frac{31}{3}\end{array}$$

最终结果

令$x_3=t$，则：

$$\{\begin{array}{l}{x}_1=t-\frac{31}{3}\\ x_2=\frac{32}{3}-2t\\ x_3=t\end{array}$$

因此，方程组的解为：

$$(x_1,x_2,x_3)=\left(t-\frac{31}{3},\frac{32}{3}-2t,t\right)$$

其中 $t$ 为任意实数。

用代码来解方程组

from sympy import symbols, Eq, solve, Matrix

# 定义变量
x1, x2, x3 = symbols('x1 x2 x3')

# 定义系数矩阵 A 和常数向量 b
A = Matrix([
    [7, 8, 9],
    [4, 5, 6],
    [1, 2, 3]
])

b = Matrix([13, 12, 11])

# 构建方程组
equations = [Eq(A.row(i).dot(Matrix([x1, x2, x3])), b[i]) for i in range(3)]

print(equations)

# 求解方程组
solution = solve(equations, (x1, x2, x3), dict=True)

print("解为：")
print(solution)

结果

[Eq(7*x1 + 8*x2 + 9*x3, 13),
 Eq(4*x1 + 5*x2 + 6*x3, 12), 
 Eq(x1 + 2*x2 + 3*x3, 11)]

解为：

[{x1: x3 - 31/3, x2: 32/3 - 2*x3}]

解释一下 solve 函数返回的结果 {x1: x3 - 31/3, x2: 32/3 - 2*x3}。

这个结果表示了方程组的解依赖于一个自由变量$x_3$。这意味着$x_1$ 和$x_2$ 都可以表示为$x_3$ 的函数。具体来说：

$$x_1=x_3-\frac{31}{3}$$
$$x_2=\frac{32}{3}-2x_3$$

解释

这个结果表明方程组有无穷多解，其中$x_3$ 是一个自由变量，可以取任意实数值。根据$x_3$ 的不同取值，可以得到不同的解。

解的形式

可以将解表示为一个参数形式，其中$x_3$ 是自由变量$t$：

$$(x_1,x_2,x_3)=\left(t-\frac{31}{3},\frac{32}{3}-2t,t\right)$$

其中$t$ 是任意实数。

矩阵的秩

1. 先将方程组写成矩阵形式。
   原方程组$\{\begin{array}{l}7x_1+8x_2+9x_3=13\\ 4x_1+5x_2+6x_3=12\\ x_1+2x_2+3x_3=11\end{array}$
   可写成矩阵形式$$\left[\begin{array}{ccc}7& 8& 9\\ 4& 5& 6\\ 1& 2& 3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}13\\ 12\\ 11\end{array}\right]$$。
   对应的增广矩阵为$$\left[\begin{array}{cccc}7& 8& 9& 13\\ 4& 5& 6& 12\\ 1& 2& 3& 11\end{array}\right]$$。
2. 然后对增广矩阵进行初等行变换求秩。
   先将第一行乘以$\frac{4}{7}$，然后用第二行减去第一行得到：
   $$\left[\begin{array}{cccc}7& 8& 9& 13\\ 0& \frac{3}{7}& \frac{6}{7}& \frac{32}{7}\\ 1& 2& 3& 11\end{array}\right]$$。
   再将第一行乘以$\frac{1}{7}$，然后用第三行减去第一行得到：
   $$\left[\begin{array}{cccc}7& 8& 9& 13\\ 0& \frac{3}{7}& \frac{6}{7}& \frac{32}{7}\\ 0& \frac{6}{7}& \frac{12}{7}& \frac{64}{7}\end{array}\right]$$。
   接着将第二行乘以$2$，然后用第三行减去第二行得到：
   $$\left[\begin{array}{cccc}7& 8& 9& 13\\ 0& \frac{3}{7}& \frac{6}{7}& \frac{64}{7}\\ 0& 0& 0& 0\end{array}\right]$$。
3. 最后确定矩阵的秩。
   此时可以看出，非0行有两行，全是0那个没用，所以独立的有2行，矩阵的秩为$2$。

假设有一个2行3列的矩阵：
$$\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$$

看起来有2行，但实际上第二行（2, 4, 6）是第一行（1, 2, 3）乘以2得到的。所以，第二行并没有提供新的信息，它和第一行并不是“独立的”。
这里的秩就是1，因为只有一行是独立的。

通俗解释就是方程组中独立的方程个数，就是这个方程组对应矩阵的秩。 把多余的方程从方程组里删掉，删完了剩的个数就只秩。