32장. 텐서곱

두 벡터공간을 '곱해서' 더 큰 공간을 만드는 방법이 텐서곱입니다. 행렬의 크로네커 곱으로 구체적으로 계산할 수 있고, 양자컴퓨터의 여러 큐비트 상태와 얽힘, 머신러닝의 텐서 연산이 모두 이 언어로 쓰입니다. 마지막 장답게 앞의 개념을 많이 쓰지만, 계산은 크로네커 곱으로 손으로 할 수 있습니다(고급).

32.1 공간을 곱하기

질문. 직합 $V \oplus W$는 차원을 더합니다: $\dim(V \oplus W) = \dim V + \dim W$. 차원을 곱하는 구성도 있을까요? 큐비트 하나는 $\mathbb{C}^2$의 단위벡터인데, 큐비트 두 개는 $\mathbb{C}^2 \oplus \mathbb{C}^2 = \mathbb{C}^4$가 아니라 다른 의미의 $\mathbb{C}^4$이고, $n$개는 $2^n$차원입니다. 이 “곱”은 무엇일까요?

두 계를 합칠 때, 각 계의 상태를 따로 적는 것이 직합입니다: $(v, w)$. 하지만 두 계가 상관될 수 있다면 “$e_i$이면서 $f_j$”인 모든 조합에 계수를 하나씩 줘야 합니다. 조합이 $mn$개이므로 $mn$차원 공간이 필요합니다. 이것이 텐서곱입니다. 행렬 계산으로 먼저 보고, 그다음 기저 없이 정의합니다.

32.2 크로네커 곱

정의 32.1 (크로네커 곱). $m \times n$ 행렬 $A$와 $p \times q$ 행렬 $B$의 크로네커 곱(Kronecker product)은 $mp \times nq$ 블록 행렬

입니다.

예제 32.2.

두 벡터의 크로네커 곱은 “모든 성분의 곱”을 사전 순서로 늘어놓은 것입니다.

정리 32.3 (크로네커 곱의 성질). 크기가 맞으면

1. $(A \otimes B)(C \otimes D) = AC \otimes BD$ (혼합곱 법칙).
2. $(A \otimes B)^T = A^T \otimes B^T$, $(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$.
3. $A\mathbf{x} = \lambda\mathbf{x}$, $B\mathbf{y} = \mu\mathbf{y}$이면 $(A \otimes B)(\mathbf{x} \otimes \mathbf{y}) = \lambda\mu\,(\mathbf{x} \otimes \mathbf{y})$.
4. $A$가 $n \times n$, $B$가 $p \times p$이면 $\operatorname{tr}(A \otimes B) = \operatorname{tr} A\operatorname{tr} B$, $\det(A \otimes B) = (\det A)^p(\det B)^n$.

증명. (1) 왼쪽의 $(i, j)$ 블록은 $\sum_k (a_{ik}B)(c_{kj}D) = \big(\sum_k a_{ik}c_{kj}\big)BD = (AC)_{ij}BD$. (2) 전치는 블록을 바꾸고 각 블록을 전치합니다. 역행렬은 (1)로 $(A \otimes B)(A^{-1} \otimes B^{-1}) = I \otimes I = I$. (3) (1)에서 $C = \mathbf{x}$, $D = \mathbf{y}$. (4) 복소수에서 $A$, $B$를 위삼각화하면(정리 24.13) $A = PTP^{-1}$, $B = QUQ^{-1}$이고 (1), (2)에 의해 $A \otimes B = (P \otimes Q)(T \otimes U)(P \otimes Q)^{-1}$. $T \otimes U$는 대각이 $t_{ii}u_{jj}$인 위삼각행렬입니다. 따라서 고윳값은 $\lambda_i\mu_j$ 전부이고, 합은 $\sum_i\sum_j \lambda_i\mu_j$, 곱은 $\prod_{i,j}\lambda_i\mu_j = \big(\prod \lambda_i\big)^p\big(\prod \mu_j\big)^n$. ■

행렬방정식. $p \times q$ 행렬 $X$의 열을 차례로 쌓은 벡터를 $\operatorname{vec} X$라 하면

입니다(문제 32.3). 그래서 $AX + XB = C$ 같은 행렬방정식(실베스터 방정식, 제어이론에서 자주 나옵니다)은 보통의 연립방정식 $(I \otimes A + B^T \otimes I)\operatorname{vec} X = \operatorname{vec} C$가 되고, (3)에 의해 $A$와 $-B$가 고윳값을 공유하지 않으면 해가 유일합니다.

또 2차원 격자 위의 라플라시안은 1차원 라플라시안 $L$로 $L \otimes I + I \otimes L$이라 씁니다. 고윳값은 $\lambda_i + \lambda_j$입니다. 큰 행렬을 작은 행렬의 크로네커 곱으로 쓰면 저장과 계산이 크게 줄어듭니다.

▶ 문제 32.1–32.4

32.3 텐서곱 공간

이제 기저 없이 정의합시다. 이 절에서 $V$, $W$는 $\mathbb{F}$ 위의 유한차원 공간, $\dim V = m$, $\dim W = n$입니다. 28장에서 쌍선형 형식은 $V \times V$ 위에서 정의했지만, 같은 정의가 $V \times W$ 위에서도 됩니다.

정의 32.4 (텐서곱). $V' \times W'$ 위의 쌍선형 형식 전체의 공간을 $V \otimes W$라 하고 텐서곱(tensor product)이라 합니다. $v \in V$, $w \in W$에 대해 $v \otimes w \in V \otimes W$를

로 정의합니다. $v \otimes w$ 꼴의 원소를 순수 텐서(pure tensor)라 합니다.

벡터를 “범함수를 먹이면 수를 내놓는 것”으로 보는 22장의 관점($V \cong V''$)을 두 공간으로 늘린 것입니다. 정의에서 바로 다음이 나옵니다.

즉 $(v, w) \mapsto v \otimes w$는 쌍선형입니다. 특히 $v \otimes w$와 $(2v) \otimes (\frac12w)$는 같은 원소입니다.

정리 32.5 (텐서곱의 기저). $e_1, \ldots, e_m$과 $f_1, \ldots, f_n$이 $V$, $W$의 기저이면 $e_i \otimes f_j$ ($mn$개)는 $V \otimes W$의 기저입니다. 따라서 $\dim(V \otimes W) = mn$입니다.

증명. 쌍대기저를 $\varphi_1, \ldots, \varphi_m$, $\psi_1, \ldots, \psi_n$이라 합시다. 정리 28.3과 같은 논리로 쌍선형 형식 $\beta$는 값 $\beta(\varphi_k, \psi_l)$로 정해지고, 그 값들은 아무것이나 될 수 있습니다. $(e_i \otimes f_j)(\varphi_k, \psi_l) = \delta_{ik}\delta_{jl}$이므로 $\beta = \sum_{i,j}\beta(\varphi_i, \psi_j)\,e_i \otimes f_j$이고, 이 표현은 유일합니다. ■

$\tau \in V \otimes W$를 $\tau = \sum c_{ij}\,e_i \otimes f_j$로 쓰면 $\tau$는 $m \times n$ 계수 행렬 $[c_{ij}]$로 정해집니다. 순수 텐서는 $v = \sum a_ie_i$, $w = \sum b_jf_j$에 대해 $c_{ij} = a_ib_j$, 즉 계수 행렬이 $\mathbf{a}\mathbf{b}^T$입니다.

정리 32.6 (순수 텐서와 랭크 1). $\tau$가 순수 텐서인 것은 계수 행렬의 랭크가 1 이하인 것과 동치입니다. 일반적으로 $\tau$는 계수 행렬의 랭크 $r$개의 순수 텐서의 합으로 쓸 수 있고, 그보다 적게는 안 됩니다.

증명. 랭크 1 이하 행렬은 $\mathbf{a}\mathbf{b}^T$ 꼴입니다. 랭크 $r$인 행렬은 랭크 1 행렬 $r$개의 합이고(예를 들어 SVD), $s$개의 합이면 랭크가 $s$ 이하입니다. ■

예를 들어 $e_1 \otimes f_1 + e_2 \otimes f_2$의 계수 행렬은 $I_2$이고 랭크가 2이므로 어떤 $v \otimes w$로도 쓸 수 없습니다. $V \otimes W$의 원소 대부분은 순수 텐서가 아닙니다.

다음 성질이 텐서곱의 존재 이유입니다.

정리 32.7 (보편성). $U$가 벡터공간이고 $\beta : V \times W \to U$가 쌍선형이면, $\tilde\beta(v \otimes w) = \beta(v, w)$인 선형사상 $\tilde\beta : V \otimes W \to U$가 유일하게 존재합니다.

증명. 기저 $e_i \otimes f_j$에서 $\tilde\beta(e_i \otimes f_j) = \beta(e_i, f_j)$로 정하면 선형사상이 하나로 정해집니다(정리 22.3). $v = \sum a_ie_i$, $w = \sum b_jf_j$이면 $\tilde\beta(v \otimes w) = \sum a_ib_j\beta(e_i, f_j) = \beta(v, w)$. 순수 텐서들이 $V \otimes W$를 생성하므로 유일합니다. ■

“쌍선형 사상은 텐서곱에서 나가는 선형사상과 같습니다.” 곱셈처럼 두 입력에 각각 선형인 것들을 선형대수의 틀로 가져오는 장치가 텐서곱입니다. 예를 들어 $\beta(v, \varphi) = \varphi(v)$를 생각하면 $V \otimes V'$에서 $\mathbb{F}$로의 선형사상이 나오는데, $V \otimes V' \cong \mathcal{L}(V)$로 보면 이것이 대각합입니다(문제 32.7).

▶ 문제 32.5–32.7

32.4 연산자의 텐서곱

$S \in \mathcal{L}(V)$, $T \in \mathcal{L}(W)$이면 $(v, w) \mapsto Sv \otimes Tw$는 쌍선형이므로 보편성에 의해 선형사상

가 있습니다. 기저 $e_1 \otimes f_1, e_1 \otimes f_2, \ldots, e_1 \otimes f_n, e_2 \otimes f_1, \ldots$ (사전 순서)에서 행렬을 계산하면 $\mathcal{M}(S \otimes T) = \mathcal{M}(S) \otimes \mathcal{M}(T)$, 크로네커 곱입니다. 32.2절의 성질들이 이제 기저와 무관한 사실이 됩니다. $S \otimes T$의 고윳값은 $\lambda_i\mu_j$이고 고유벡터는 $v_i \otimes w_j$입니다.

내적공간이면 $V \otimes W$에도 내적을 줍니다.

(순수 텐서에서 이렇게 정하고 쌍선형으로 확장합니다.) $e_i$, $f_j$가 정규직교이면 $e_i \otimes f_j$도 정규직교입니다. 이 내적으로 텐서 $\tau$의 길이는 계수 행렬의 프로베니우스 노름입니다.

정리 32.8 (슈미트 분해). $V$, $W$가 내적공간이면 모든 $\tau \in V \otimes W$는

로 쓸 수 있습니다. $\sigma_i$는 계수 행렬의 특잇값입니다.

증명. 정규직교 기저에서 계수 행렬 $C = \sum_i \sigma_i\mathbf{a}_i\mathbf{b}_i^T$ (SVD, 실수의 경우; 복소수면 $\mathbf{b}_i$ 대신 $\bar{\mathbf{b}}_i$)이고 $\mathbf{a}_i\mathbf{b}_i^T$는 순수 텐서 $u_i \otimes w_i$의 계수 행렬입니다. ■

18장의 SVD가 텐서의 언어로는 “두 계의 상태를 가장 적은 수의 독립 조합으로 쓰기”입니다.

▶ 문제 32.8–32.9

32.5 큐비트

양자 컴퓨터의 큐비트(qubit) 하나의 상태는 $\mathbb{C}^2$의 단위벡터입니다. 물리학의 표기로 $|0\rangle = \mathbf{e}_1$, $|1\rangle = \mathbf{e}_2$라 씁니다. 상태 $\alpha|0\rangle + \beta|1\rangle$을 측정하면 확률 $\lvert \alpha \rvert^2$로 0, $\lvert \beta \rvert^2$로 1이 나옵니다. 큐비트 $n$개의 상태는

의 단위벡터이고, 기저는 $|b_1b_2 \ldots b_n\rangle = |b_1\rangle \otimes \cdots \otimes |b_n\rangle$ ($b_i \in \{0, 1\}$)입니다. 큐비트가 하나 늘 때마다 차원이 두 배가 됩니다. 고전 컴퓨터로 양자 계를 흉내 내기 어려운 이유가 이것입니다.

얽힘. 두 큐비트의 상태 $\tau = \sum c_{ij}|ij\rangle$가 순수 텐서이면 두 큐비트가 독립이고, 아니면 얽혀(entangled) 있다고 합니다. 정리 32.6에 의해 판정은 $2 \times 2$ 계수 행렬의 랭크, 즉 $\det[c_{ij}] \ne 0$인지입니다.

예제 32.9.

앞의 것은 계수 행렬 $\frac12\begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}$ (랭크 1), 순수 텐서입니다. 뒤의 것(벨 상태(Bell state))은 $\frac{1}{\sqrt2}I$ (랭크 2), 얽혀 있습니다. 벨 상태에서 첫 큐비트를 측정해 0이 나오면 상태가 $|00\rangle$으로 바뀌어 둘째 큐비트도 반드시 0입니다. 슈미트 계수는 $\frac{1}{\sqrt2}, \frac{1}{\sqrt2}$로 가장 강하게 얽혀 있습니다.

게이트. 양자 연산은 유니터리 행렬(26장)입니다. 아다마르 게이트 $H = \frac{1}{\sqrt2}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix}$을 첫 큐비트에만 걸면 $H \otimes I$입니다. 반면 CNOT 게이트

(첫 큐비트가 1이면 둘째를 뒤집습니다)은 크로네커 곱으로 쓸 수 없습니다. 이런 게이트가 얽힘을 만듭니다.

순수 텐서 $|0\rangle \otimes |0\rangle$이 벨 상태가 되었습니다. 양자 알고리즘은 결국 $2^n$차원 공간에서 유니터리 행렬을 곱하는 일입니다.

아래 위젯의 단추 “H → 1번”은 $H \otimes I$, “H → 2번”은 $I \otimes H$, “X → 1번”은 $X \otimes I$ ($X = \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix}$)입니다.

▶ 문제 32.10–32.12

32.6 다시 행렬식으로

텐서곱을 여러 번 하면 $V^{\otimes m} = V \otimes \cdots \otimes V$를 얻습니다. 보편성을 $m$개 자리로 늘리면, $V$ 위의 $m$-선형 형식은 $V^{\otimes m}$ 위의 선형 범함수와 같습니다: $V^{(m)} \cong (V^{\otimes m})'$. 28장의 다중선형 형식은 텐서곱의 쌍대입니다.

교대 형식만 남기면 외대수(exterior power) $\Lambda^mV$가 나옵니다. $v_1 \wedge \cdots \wedge v_m$은 자리를 바꾸면 부호가 바뀌는 텐서이고, $\dim\Lambda^mV = \binom{n}{m}$ (문제 28.5). 특히 $\Lambda^nV$는 1차원이고, 연산자 $T$는 그 위에서

으로 작용합니다. 1차원 공간 위의 연산자는 수 하나를 곱하는 것뿐이고, 그 수가 행렬식입니다. 6장의 “넓이 배율”에서 시작한 행렬식이, 28장의 교대 형식을 거쳐 여기서 가장 짧은 정의에 도착합니다.

▶ 문제 32.13

쓰이는 곳. 양자컴퓨팅 논문의 $|0\rangle \otimes |1\rangle$, 텐서 분해, 다변수 데이터(영상×시간×채널)를 다루는 머신러닝이 텐서곱의 언어로 쓰입니다.

이 장의 요약

• 크로네커 곱 $A \otimes B$: 혼합곱 법칙 $(A \otimes B)(C \otimes D) = AC \otimes BD$. 고윳값은 $\lambda_i\mu_j$.
• $V \otimes W$: $\dim = mn$, 기저 $e_i \otimes f_j$. 원소는 $m \times n$ 계수 행렬과 같고, 순수 텐서는 랭크 1 행렬입니다.
• 보편성: 쌍선형 사상 $V \times W \to U$ = 선형사상 $V \otimes W \to U$.
• $S \otimes T$의 행렬은 크로네커 곱. 슈미트 분해는 계수 행렬의 SVD.
• 큐비트 $n$개는 $\mathbb{C}^{2^n}$. 얽힘 = 순수 텐서가 아님 = 계수 행렬의 랭크 $\ge 2$.
• 다중선형 형식은 텐서곱의 쌍대이고, $\Lambda^nV$ 위에서 $T$는 $\det T$배입니다.

문제

X
O

0
9

1
1
1
1

O
O
X

6.708
2.236
50

X
O
O

0.5
0.5
0.5
0.5