5장. 변환의 합성으로서의 행렬곱

행렬곱은 고등학교에서 '행과 열을 곱해 더한다'는 규칙으로 배웁니다. 그런데 왜 하필 그런 규칙일까요? 이 장의 답은 '변환을 차례로 하는 것(합성)이 곧 행렬곱'이라는 것입니다. 이 관점에서 보면 행렬곱이 왜 교환법칙을 만족하지 않는지, 결합법칙은 왜 만족하는지가 그림으로 보입니다. 신경망의 층을 쌓는 것도 행렬곱을 이어 붙이는 것입니다.

5.1 두 변환을 이어서 하기

질문. 평면을 먼저 층밀림 $S = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$으로 움직이고, 그 결과를 다시 $90^\circ$ 회전 $R = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}$으로 돌렸습니다. 두 번 움직인 결과도 선형변환일까요? 그렇다면 그 행렬은 무엇일까요?

0.6절에서 함수의 합성 $g \circ f$를 정의했습니다. “$f$를 먼저, $g$를 나중에”였습니다. 선형변환도 함수이므로 합성할 수 있습니다. 이 장의 결론은 다음과 같습니다.

선형변환의 합성은 다시 선형변환이고, 그 행렬이 행렬곱입니다. $AB$는 “$B$를 먼저, $A$를 나중에” 한 변환입니다.

행렬곱의 정의는 처음 보면 이상하게 생겼습니다. “왜 같은 자리끼리 곱하지 않고 행과 열을 곱하는가”라는 질문의 답이 이 장의 내용입니다.

5.2 합성의 행렬

정리 5.1 (선형변환의 합성은 선형입니다). $T : \mathbb{R}^p \to \mathbb{R}^n$, $U : \mathbb{R}^n \to \mathbb{R}^m$이 선형변환이면 $U \circ T : \mathbb{R}^p \to \mathbb{R}^m$도 선형변환입니다.

증명. $(U \circ T)(c\mathbf{v} + d\mathbf{w}) = U\big(cT(\mathbf{v}) + dT(\mathbf{w})\big) = c\,U(T(\mathbf{v})) + d\,U(T(\mathbf{w}))$. 첫 등호는 $T$의 선형성, 둘째는 $U$의 선형성입니다. ■

합성이 선형이므로 표준행렬이 있습니다. 4장의 방법대로 구하면 됩니다. 각 $\mathbf{e}_j$가 어디로 가는지 봅시다. $B$를 $T$의 행렬($n \times p$), $A$를 $U$의 행렬($m \times n$)이라 하면

따라서 합성의 행렬의 제$j$열은 $A\mathbf{b}_j$입니다.

정의 5.2 (행렬곱). $A \in \mathbb{R}^{m \times n}$, $B = \begin{bmatrix} \mathbf{b}_1 & \cdots & \mathbf{b}_p \end{bmatrix} \in \mathbb{R}^{n \times p}$에 대하여

정리 5.3 (행렬곱은 합성입니다). 모든 $\mathbf{x} \in \mathbb{R}^p$에 대하여 $(AB)\mathbf{x} = A(B\mathbf{x})$.

증명. 위의 논의에 의해 $AB$는 선형변환 $\mathbf{x} \mapsto A(B\mathbf{x})$의 표준행렬입니다. 정리 4.10에 의해 두 변환은 모든 $\mathbf{x}$에서 같습니다. ■

그림 5.1. $AB$는 $B$를 먼저, $A$를 나중에 적용합니다. 가운데 공간 $\mathbb{R}^n$에서 두 행렬이 이어집니다.

5.2.1 크기 규칙

그림 5.1에서 $B$의 출력이 $A$의 입력이 되어야 하므로, $A$의 열 수 = $B$의 행 수여야 곱이 정의됩니다.

안쪽 두 숫자가 같아야 하고, 결과의 크기는 바깥쪽 두 숫자입니다. 이 규칙은 $A\mathbf{x}$에도 그대로 맞습니다. $\mathbf{x}$를 $n \times 1$ 행렬로 보면 $A\mathbf{x}$는 $m \times 1$입니다.

5.3 행렬곱을 계산하는 네 가지 방법

예제 5.4. $A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}$, $B = \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix}$이면

정의는 열 단위였습니다. 같은 곱을 다른 단위로 볼 수 있습니다.

정리 5.5 (행렬곱의 네 가지 계산법). $A \in \mathbb{R}^{m \times n}$의 행을 $\mathbf{r}_1, \ldots, \mathbf{r}_m$, 열을 $\mathbf{a}_1, \ldots, \mathbf{a}_n$이라 하고, $B \in \mathbb{R}^{n \times p}$의 행을 $\mathbf{s}_1, \ldots, \mathbf{s}_n$, 열을 $\mathbf{b}_1, \ldots, \mathbf{b}_p$라 합시다.

1. (성분) $(AB)_{ij} = \mathbf{r}_i \cdot \mathbf{b}_j = \sum_{k=1}^n a_{ik}b_{kj}$.
2. (열) $AB$의 제$j$열 $= A\mathbf{b}_j$ = $A$의 열들의 일차결합.
3. (행) $AB$의 제$i$행 $= \mathbf{r}_i B$ = $B$의 행들의 일차결합 $\sum_k a_{ik}\mathbf{s}_k$.
4. (열×행의 합) $AB = \sum_{k=1}^n \mathbf{a}_k\mathbf{s}_k$. 여기서 $\mathbf{a}_k\mathbf{s}_k$는 $m \times 1$ 행렬과 $1 \times p$ 행렬의 곱인 $m \times p$ 행렬입니다.

증명. (2)는 정의 그 자체입니다. (1): $AB$의 $(i, j)$ 성분은 $A\mathbf{b}_j$의 제$i$ 성분이고, 정리 4.11에 의해 $\mathbf{r}_i \cdot \mathbf{b}_j = \sum_k a_{ik}b_{kj}$입니다. (3): $AB$의 제$i$행의 제$j$ 성분은 (1)에 의해 $\sum_k a_{ik}b_{kj}$이고, 이것은 벡터 $\sum_k a_{ik}\mathbf{s}_k$의 제$j$ 성분입니다. (4): $\mathbf{a}_k\mathbf{s}_k$의 $(i, j)$ 성분은 (1)을 적용하면 $a_{ik}b_{kj}$ 하나이므로, $k$에 대해 더하면 $(AB)_{ij}$입니다. ■

직관. 손으로 계산할 때는 (1)을 씁니다. “$A$의 $i$행을 왼손 손가락으로 가로로 훑고, $B$의 $j$열을 오른손 손가락으로 세로로 훑으면서 곱해 더합니다.” 생각할 때는 (2)와 (3)을 씁니다. (4)는 18장의 SVD에서 행렬을 “간단한 조각들의 합”으로 쪼갤 때 씁니다.

예제 5.6. $\begin{bmatrix} 1 & 0 & 2 \\ -1 & 3 & 1 \end{bmatrix}\begin{bmatrix} 3 & 1 \\ 2 & 1 \\ 1 & 0 \end{bmatrix}$은 $(2 \times 3)(3 \times 2)$이므로 $2 \times 2$입니다.

같은 두 행렬을 반대 순서로 곱하면 $(3 \times 2)(2 \times 3) = 3 \times 3$ 행렬이 됩니다. 크기부터 다릅니다.

예제 5.7 (열×행). $\begin{bmatrix} 1 \\ 2 \end{bmatrix}\begin{bmatrix} 3 & 4 \end{bmatrix} = \begin{bmatrix} 3 & 4 \\ 6 & 8 \end{bmatrix}$. 열벡터 곱하기 행벡터는 모든 행이 서로의 배수인 행렬이 됩니다. 이런 행렬을 랭크 1 행렬이라 하며 11장에서 다시 만납니다.

▶ 문제 5.1–5.4

5.4 행렬의 연산 법칙

5.4.1 덧셈과 스칼라배

같은 크기의 행렬은 성분끼리 더하고, 스칼라는 모든 성분에 곱합니다.

변환으로 보면 $(A + B)\mathbf{x} = A\mathbf{x} + B\mathbf{x}$, $(cA)\mathbf{x} = c(A\mathbf{x})$입니다. 행렬의 덧셈과 스칼라배는 2.6절의 8가지 법칙을 모두 만족합니다. 성분별로 보면 $\mathbb{R}^{mn}$의 벡터와 똑같기 때문입니다. 이 사실은 20장에서 “행렬 전체도 벡터공간입니다”로 다시 등장합니다.

5.4.2 곱셈의 법칙

정리 5.8 (행렬곱의 성질). 크기가 맞는 행렬에 대하여

1. $(AB)C = A(BC)$ (결합법칙)
2. $A(B + C) = AB + AC$, $(A + B)C = AC + BC$ (분배법칙)
3. $c(AB) = (cA)B = A(cB)$
4. $I_m A = A = AI_n$ ($A \in \mathbb{R}^{m \times n}$)

증명. (1)을 보입니다. 성분으로 증명할 수도 있지만, 합성으로 보면 한 줄입니다. 모든 $\mathbf{x}$에 대해 정리 5.3을 반복하면

두 행렬이 모든 $\mathbf{x}$에 대해 같은 결과를 주므로(특히 $\mathbf{x} = \mathbf{e}_j$를 넣으면 같은 열을 가지므로) 같은 행렬입니다.

(2)의 첫 식: $AB + AC$의 제$j$열은 $A\mathbf{b}_j + A\mathbf{c}_j = A(\mathbf{b}_j + \mathbf{c}_j)$이고 이것은 $A(B + C)$의 제$j$열입니다. 나머지는 문제 5.6. ■

결합법칙을 성분으로 증명하려면 $\sum_k\sum_l a_{ik}b_{kl}c_{lj}$의 합 순서를 바꿔야 합니다. 함수의 합성이 원래 결합법칙을 만족합니다($h \circ (g \circ f) = (h \circ g) \circ f$, 둘 다 “$f, g, h$ 순서로 적용”)는 사실을 쓰면 계산이 필요 없습니다. 행렬을 변환으로 보는 관점이 계산을 줄여 주는 첫 예입니다.

5.4.3 교환법칙의 실패

그림 5.2. $S = \begin{bmatrix} 1 & 1 \\ 0 & 1 \end{bmatrix}$, $R = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}$. 순서를 바꾸면 결과가 다릅니다.

예제 5.9. 5.1절의 질문에 답합시다. 층밀림 $S$ 먼저, 회전 $R$ 나중이므로 행렬은 $RS$입니다.

$RS \ne SR$입니다. 그림 5.2에서 두 결과가 다른 모양인 것을 확인할 수 있습니다.

일상에서도 순서가 중요한 동작은 많습니다. 양말을 신고 신발을 신는 것과 신발을 신고 양말을 신는 것은 다릅니다. 행렬곱이 교환법칙을 만족하지 않는 것은 계산상의 불편이 아니라, 변환의 순서가 실제로 결과를 바꾼다는 사실을 정직하게 반영한 것입니다.

교환법칙 외에도 실수의 곱셈에서 당연하던 것들이 깨집니다.

• $A \ne O$, $B \ne O$인데 $AB = O$일 수 있습니다. 예: $\begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}\begin{bmatrix} 0 & 0 \\ 0 & 1 \end{bmatrix} = O$. ($y$축 사영 후에 $x$축 사영을 하면 모든 것이 원점으로 갑니다.)
• $AB = AC$이고 $A \ne O$여도 $B = C$라고 할 수 없습니다. 위 예에서 $C = O$로 두면 됩니다.

두 번째 현상은 $A$가 정보를 잃는(납작하게 만드는) 변환일 때 생깁니다. 정보를 잃지 않는 $A$, 즉 역행렬이 있는 $A$라면 약분할 수 있습니다. 이것이 9장의 주제입니다.

▶ 문제 5.5–5.8

5.5 거듭제곱과 회전

정사각행렬 $A$에 대해 $A^2 = AA$, $A^3 = AAA$, $\ldots$로 쓰고 $A^0 = I$로 약속합니다. 결합법칙 덕분에 괄호를 어떻게 치든 같습니다.

예제 5.10 (덧셈정리). $\alpha$만큼 돌린 다음 $\beta$만큼 돌리면 $\alpha + \beta$만큼 돈 것입니다. 따라서 $R_\beta R_\alpha = R_{\alpha + \beta}$입니다. 좌변을 계산하면

이고 우변의 제1열은 $(\cos(\alpha + \beta), \sin(\alpha + \beta))$입니다. 비교하면

삼각함수의 덧셈정리가 “회전을 두 번 하기”의 행렬곱에서 나왔습니다. 외울 필요가 없는 공식이 되었습니다.

$R_\theta^n = R_{n\theta}$이므로 $R_\theta^n$의 제1열에서 $(\cos n\theta, \sin n\theta)$를 얻습니다. 7장과 16장에서는 일반적인 $A$에 대해 $A^n$을 빠르게 구하는 방법을 배웁니다.

▶ 문제 5.9

5.6 전치

정의 5.11 (전치행렬). $A \in \mathbb{R}^{m \times n}$의 행과 열을 맞바꾼 $n \times m$ 행렬을 $A$의 전치행렬(transpose)이라 하고 $A^T$로 씁니다. 즉 $(A^T)_{ij} = a_{ji}$입니다.

예제 5.12. $\begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \end{bmatrix}^T = \begin{bmatrix} 1 & 4 \\ 2 & 5 \\ 3 & 6 \end{bmatrix}$. 열벡터 $\mathbf{x}$의 전치 $\mathbf{x}^T$는 행벡터입니다.

전치를 쓰면 내적을 행렬곱으로 쓸 수 있습니다.

앞으로 내적을 자주 $\mathbf{x}^T\mathbf{y}$로 씁니다.

정리 5.13 (전치의 성질).

1. $(A^T)^T = A$, $(A + B)^T = A^T + B^T$, $(cA)^T = cA^T$
2. $(AB)^T = B^TA^T$
3. $(A\mathbf{x}) \cdot \mathbf{y} = \mathbf{x} \cdot (A^T\mathbf{y})$

증명. (2): $\big((AB)^T\big)_{ij} = (AB)_{ji} = \sum_k a_{jk}b_{ki}$. 한편 $(B^TA^T)_{ij} = \sum_k (B^T)_{ik}(A^T)_{kj} = \sum_k b_{ki}a_{jk}$. 같습니다.

(3): $(A\mathbf{x}) \cdot \mathbf{y} = (A\mathbf{x})^T\mathbf{y} = \mathbf{x}^TA^T\mathbf{y} = \mathbf{x} \cdot (A^T\mathbf{y})$. 둘째 등호에서 (2)를 썼습니다. ■

(2)에서 순서가 뒤집히는 것은 양말과 신발로 기억할 수 있습니다. 9장에서 역행렬도 $(AB)^{-1} = B^{-1}A^{-1}$로 순서가 뒤집히는데, 이유가 같습니다. (3)은 “$A$를 왼쪽 벡터에 거는 것과 $A^T$를 오른쪽 벡터에 거는 것은 내적에서 같습니다”는 뜻이고, 13장의 최소제곱과 25장의 수반연산자의 출발점입니다.

정의 5.14 (대칭행렬). $A^T = A$인 정사각행렬을 대칭행렬(symmetric matrix)이라 합니다. 즉 모든 $i, j$에 대해 $a_{ij} = a_{ji}$입니다.

예제 5.15. 임의의 $A \in \mathbb{R}^{m \times n}$에 대해 $A^TA$는 $n \times n$ 대칭행렬입니다. $(A^TA)^T = A^T(A^T)^T = A^TA$이기 때문입니다. 이 행렬은 13장(최소제곱), 17장(양정치), 18장(SVD)의 주인공입니다.

▶ 문제 5.10–5.12

쓰이는 곳. 깊은 신경망은 층마다 행렬을 곱하는 것이고, 로봇 팔의 관절이나 그래픽의 여러 변환을 잇는 것도 행렬곱입니다. 계산량을 어림할 때 $m \times n$과 $n \times p$ 행렬의 곱은 곱셈이 약 $mnp$번이라는 것을 기억해 두면 좋습니다.

이 장의 요약

• $AB$는 “$B$ 먼저, $A$ 나중”인 합성 변환의 행렬입니다. $AB$의 제$j$열은 $A\mathbf{b}_j$입니다.
• $(m \times n)(n \times p) = m \times p$. 안쪽 크기가 같아야 곱할 수 있습니다.
• $(AB)_{ij} = \sum_k a_{ik}b_{kj}$ ($A$의 $i$행 · $B$의 $j$열). 열 단위, 행 단위, 열×행의 합으로도 볼 수 있습니다.
• 결합법칙과 분배법칙은 성립하지만 $AB \ne BA$일 수 있습니다. $AB = O$인데 $A, B \ne O$일 수도 있습니다.
• $R_\beta R_\alpha = R_{\alpha + \beta}$에서 삼각함수의 덧셈정리가 나옵니다.
• $(AB)^T = B^TA^T$, $\mathbf{x} \cdot \mathbf{y} = \mathbf{x}^T\mathbf{y}$, $(A\mathbf{x}) \cdot \mathbf{y} = \mathbf{x} \cdot (A^T\mathbf{y})$.

문제

2x4
X
3x2
4x3
2x2
3x4
X
2x3
X

0
10
6
-6
32
4
8
12
5
10
15
6
12
18
-2
3
2
5

2
1
4
3
3
4
1
2

0
-1
-1
0
0
1
1
0

10
20
-1
-1
10
20
-1
-1
3
2
4
6