3장. 선형대수: 벡터, 기저, 내적

푸리에 해석의 핵심 생각은 '함수도 벡터처럼 내적을 가지고, 사인·코사인은 서로 수직인 기저'라는 것입니다. 이 장은 그 생각에 필요한 선형대수(기저, 내적, 정규직교, 사영)를 모아 둔 요약입니다. 선형대수 과목의 2·12·13·14장을 함수에 적용한다고 보면 됩니다.

이 장의 결론은 한 문장입니다. 정규직교기저에서는 좌표가 내적으로 구해집니다. 푸리에 급수의 계수 공식, 푸리에 변환의 정의, 파세발 등식은 모두 이 문장의 다른 모습입니다. 행렬을 처음 보는 사람을 기준으로 씁니다.

3.1 벡터

수 $n$개를 세로로 늘어놓은 것을 벡터(vector)라 하고, 그런 벡터 전체를 성분이 실수이면 $\mathbb{R}^n$, 복소수이면 $\mathbb{C}^n$이라 씁니다.

벡터로 할 수 있는 일은 두 가지, 덧셈과 스칼라배(수를 곱하기)다. $\mathbb{R}^2$, $\mathbb{R}^3$의 벡터는 화살표로 그릴 수 있지만 $n$이 크면 그림은 없고 계산만 남습니다. 길이 $N$인 디지털 신호 $x[0], x[1], \ldots, x[N-1]$은 그대로 $\mathbb{C}^N$의 벡터입니다. 1초 분량의 CD 음질 소리는 $\mathbb{R}^{44100}$의 벡터 하나입니다.

3.2 벡터공간

덧셈과 스칼라배가 가능하고 익숙한 계산 법칙이 성립하는 집합을 통틀어 벡터공간이라 합니다.

정의 3.1. 집합 $V$에 덧셈 $\mathbf{x} + \mathbf{y} \in V$와 스칼라배 $c\mathbf{x} \in V$ ($c \in \mathbb{C}$)가 정의되어 다음을 만족하면 $V$를 (복소) 벡터공간(vector space)이라 합니다.

1. $\mathbf{x} + \mathbf{y} = \mathbf{y} + \mathbf{x}$, $\quad (\mathbf{x} + \mathbf{y}) + \mathbf{z} = \mathbf{x} + (\mathbf{y} + \mathbf{z})$
2. 영벡터 $\mathbf{0}$이 있어 $\mathbf{x} + \mathbf{0} = \mathbf{x}$, 각 $\mathbf{x}$에 $-\mathbf{x}$가 있어 $\mathbf{x} + (-\mathbf{x}) = \mathbf{0}$
3. $1\mathbf{x} = \mathbf{x}$, $\quad a(b\mathbf{x}) = (ab)\mathbf{x}$
4. $a(\mathbf{x} + \mathbf{y}) = a\mathbf{x} + a\mathbf{y}$, $\quad (a + b)\mathbf{x} = a\mathbf{x} + b\mathbf{x}$

예제 3.2. (a) $\mathbb{C}^N$. (b) 차수가 $n$ 이하인 다항식 전체. (c) 구간 $[0, T]$에서 정의된 함수 전체: $(x + y)(t) = x(t) + y(t)$, $(cx)(t) = c\, x(t)$로 두면 위 법칙이 모두 성립합니다.

(c)가 요점입니다. 함수도 벡터입니다. “화살표”라는 그림을 버리고 “더할 수 있고 상수배할 수 있는 것”으로 벡터를 이해하면, 유한차원에서 증명한 정리들이 함수에도 적용됩니다. 벡터 $\mathbf{x} \in \mathbb{C}^N$은 첨자 $n$에 값 $x_n$을 대응시키는 것이고, 함수는 실수 $t$에 값 $x(t)$를 대응시키는 것입니다. 첨자가 이산적이냐 연속적이냐의 차이뿐입니다.

3.3 선형결합, 기저, 좌표

정의 3.3. 벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_K$와 수 $c_1, \ldots, c_K$에 대해 $c_1\mathbf{v}_1 + \cdots + c_K\mathbf{v}_K$를 선형결합이라 합니다. 선형결합으로 만들 수 있는 벡터 전체를 $\operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_K\}$라 씁니다.

정의 3.4. $c_1\mathbf{v}_1 + \cdots + c_K\mathbf{v}_K = \mathbf{0}$이 되는 경우가 $c_1 = \cdots = c_K = 0$뿐이면 $\mathbf{v}_1, \ldots, \mathbf{v}_K$는 일차독립(linearly independent)이라 합니다.

일차독립이 아니면 어느 한 벡터를 나머지의 선형결합으로 쓸 수 있습니다. 즉 그 벡터는 없어도 되는 군더더기입니다.

정의 3.5. $V$의 벡터들 $\mathbf{b}_1, \ldots, \mathbf{b}_n$이 (i) 일차독립이고 (ii) $V$ 전체를 생성하면($\operatorname{span} = V$) $V$의 기저(basis)라 합니다. 기저의 벡터 개수 $n$을 $V$의 차원(dimension)이라 합니다.

정리 3.6. $\mathbf{b}_1, \ldots, \mathbf{b}_n$이 기저이면 모든 $\mathbf{x} \in V$는 $\mathbf{x} = c_1\mathbf{b}_1 + \cdots + c_n\mathbf{b}_n$으로 단 한 가지 방법으로 쓸 수 있습니다. 수 $c_1, \ldots, c_n$을 이 기저에 대한 $\mathbf{x}$의 좌표(coordinates)라 합니다.

증명. 쓸 수 있다는 것은 (ii)다. 두 가지로 쓰였다면 $\sum c_k\mathbf{b}_k = \sum c_k'\mathbf{b}_k$에서 $\sum (c_k - c_k')\mathbf{b}_k = \mathbf{0}$이고 (i)에 의해 $c_k = c_k'$입니다. $\blacksquare$

예제 3.7. $\mathbb{R}^2$의 표준기저는 $\mathbf{e}_1 = \binom{1}{0}$, $\mathbf{e}_2 = \binom{0}{1}$이고 $\binom{x_1}{x_2} = x_1\mathbf{e}_1 + x_2\mathbf{e}_2$입니다. 성분이 곧 좌표입니다. 다른 기저 $\mathbf{b}_1 = \binom{1}{1}$, $\mathbf{b}_2 = \binom{1}{-1}$을 쓰면 $\mathbf{x} = \binom{5}{1}$의 좌표는 $c_1\binom{1}{1} + c_2\binom{1}{-1} = \binom{5}{1}$, 즉 연립방정식 $c_1 + c_2 = 5$, $c_1 - c_2 = 1$을 풀어 $c_1 = 3$, $c_2 = 2$입니다.

같은 벡터라도 기저를 바꾸면 좌표가 바뀝니다. 벡터 자체는 그대로이고 기술하는 언어가 바뀌는 것입니다. 푸리에 변환은 “시각별 값”이라는 좌표를 “주파수별 성분”이라는 좌표로 바꾸는 기저 변환입니다. 그런데 위 예제에서 보듯 일반적인 기저에서 좌표를 구하려면 연립방정식을 풀어야 합니다. 미지수가 $N$개면 품이 많이 듭니다. 내적이 이 문제를 없애 줍니다.

3.4 행렬과 선형변환

정의 3.8. $m$행 $n$열로 수를 늘어놓은 것을 $m \times n$ 행렬(matrix)이라 합니다. 행렬 $A$의 열을 $\mathbf{a}_1, \ldots, \mathbf{a}_n$이라 할 때, 행렬과 벡터의 곱은

으로 정의합니다. 성분으로 쓰면 $(A\mathbf{x})_i = \sum_{k=1}^n A_{ik}x_k$입니다.

행렬 곱하기 벡터는 행렬의 열들을 벡터의 성분으로 선형결합한 것입니다. 이 관점이 가장 중요합니다.

예제 3.9.

예제 3.7과 같은 계산입니다. 연립방정식 $c_1 + c_2 = 5$, $c_1 - c_2 = 1$은 행렬로 $B\mathbf{c} = \mathbf{x}$ 한 줄이 됩니다.

정의 3.10. 함수 $L : V \to W$가 $L(a\mathbf{x} + b\mathbf{y}) = aL(\mathbf{x}) + bL(\mathbf{y})$를 만족하면 선형변환(선형 연산자)이라 합니다.

$\mathbf{x} \mapsto A\mathbf{x}$는 선형변환이고, 거꾸로 $\mathbb{C}^n \to \mathbb{C}^m$의 모든 선형변환은 어떤 행렬의 곱입니다(표준기저 $\mathbf{e}_k$의 상 $L(\mathbf{e}_k)$를 $k$번째 열에 적으면 됩니다). 함수공간에서는 미분 $x \mapsto x'$, 적분, 시간 이동 $x(t) \mapsto x(t - t_0)$, 그리고 푸리에 변환 자체가 선형변환입니다.

행렬의 곱 $AB$는 “$B$를 먼저 하고 $A$를 하는” 합성 변환의 행렬입니다: $(AB)\mathbf{x} = A(B\mathbf{x})$. 성분은 $(AB)_{ik} = \sum_l A_{il}B_{lk}$입니다. 일반적으로 $AB \ne BA$입니다. 단위행렬 $I$는 대각선이 1이고 나머지가 0인 행렬로 $I\mathbf{x} = \mathbf{x}$입니다. $AA^{-1} = A^{-1}A = I$인 행렬 $A^{-1}$을 역행렬이라 합니다. 역행렬이 있으면 $A\mathbf{x} = \mathbf{b}$의 해는 $\mathbf{x} = A^{-1}\mathbf{b}$입니다. $2 \times 2$에서는

입니다.

기저 변환을 행렬로 쓰면. 기저 벡터를 열로 세운 행렬 $B = (\mathbf{b}_1 \cdots \mathbf{b}_n)$에 대해

입니다. 좌표를 구하는 일이 역행렬을 구하는 일과 같습니다. 일반적으로 역행렬 계산은 비싸입니다. 다음 절부터 볼 정규직교기저에서는 $B^{-1}$이 $B$를 뒤집어 켤레만 취하면 되는 행렬이 됩니다.

3.5 내적

$\mathbb{R}^n$에서 내적(점곱)은 $\mathbf{x} \cdot \mathbf{y} = \sum_n x_n y_n$입니다. 길이는 $\lVert\mathbf{x}\rVert = \sqrt{\mathbf{x} \cdot \mathbf{x}}$이고, 두 벡터 사이의 각 $\theta$에 대해 $\mathbf{x} \cdot \mathbf{y} = \lVert\mathbf{x}\rVert\lVert\mathbf{y}\rVert\cos\theta$입니다. 내적이 0이면 수직입니다. 내적은 “$\mathbf{x}$ 안에 $\mathbf{y}$ 방향 성분이 얼마나 있는가”를 잽니다.

복소수 벡터에서는 그대로 쓰면 안 됩니다. $\mathbf{x} = \binom{1}{j}$이면 $x_1^2 + x_2^2 = 1 + j^2 = 0$이 되어 영벡터가 아닌데 길이가 0이 됩니다. 길이의 제곱은 $|x_1|^2 + |x_2|^2 = x_1x_1^* + x_2x_2^*$여야 하므로 한쪽에 켤레를 붙입니다.

정의 3.11. $\mathbb{C}^N$의 (표준) 내적(inner product)과 노름(norm)은

예: $\mathbf{x} = (1, i)$이면 $\lVert\mathbf{x}\rVert^2 = |1|^2 + |i|^2 = 2$입니다. 켤레를 붙이지 않고 $1^2 + i^2 = 0$으로 계산하면 영이 아닌 벡터의 길이가 0이 되어 버립니다. 복소수 내적에 켤레가 들어가는 이유입니다.

입니다.

일반적으로, 벡터공간 $V$의 두 벡터에 복소수 $\langle \mathbf{x}, \mathbf{y} \rangle$를 대응시키는 규칙이 다음 세 가지를 만족하면 내적이라 합니다.

1. (첫째 자리 선형) $\langle a\mathbf{x} + b\mathbf{z}, \mathbf{y} \rangle = a\langle \mathbf{x}, \mathbf{y} \rangle + b\langle \mathbf{z}, \mathbf{y} \rangle$
2. (켤레 대칭) $\langle \mathbf{y}, \mathbf{x} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle^*$
3. (양의 정부호) $\langle \mathbf{x}, \mathbf{x} \rangle \ge 0$이고, $\langle \mathbf{x}, \mathbf{x} \rangle = 0$이면 $\mathbf{x} = \mathbf{0}$

(1)과 (2)에서 둘째 자리는 켤레 선형이 됩니다: $\langle \mathbf{x}, a\mathbf{y} \rangle = a^*\langle \mathbf{x}, \mathbf{y} \rangle$. 둘째 자리에서 상수를 꺼낼 때 켤레가 붙는 것을 잊지 않습니다. 내적이 주어진 벡터공간을 내적공간(inner product space)이라 합니다. 앞으로의 정리는 모두 이 세 공리만으로 증명되므로 어떤 내적공간에서든 성립합니다.

참고 3.12. 물리학 책은 켤레를 첫째 자리에 붙입니다($\langle x | y \rangle = \sum x_n^* y_n$). 내용은 같고 자리만 바뀝니다. 여기의 관례에서는 푸리에 변환의 $e^{-j\omega t}$의 음부호가 “둘째 자리의 켤레”에서 나옵니다.

3.6 코시–슈바르츠 부등식

정리 3.13 (피타고라스). $\langle \mathbf{x}, \mathbf{y} \rangle = 0$이면 $\lVert\mathbf{x} + \mathbf{y}\rVert^2 = \lVert\mathbf{x}\rVert^2 + \lVert\mathbf{y}\rVert^2$입니다.

증명. $\lVert\mathbf{x} + \mathbf{y}\rVert^2 = \langle \mathbf{x} + \mathbf{y}, \mathbf{x} + \mathbf{y} \rangle = \lVert\mathbf{x}\rVert^2 + \langle \mathbf{x}, \mathbf{y} \rangle + \langle \mathbf{y}, \mathbf{x} \rangle + \lVert\mathbf{y}\rVert^2$이고 가운데 두 항이 0입니다. $\blacksquare$

정리 3.14 (코시–슈바르츠). $|\langle \mathbf{x}, \mathbf{y} \rangle| \le \lVert\mathbf{x}\rVert\lVert\mathbf{y}\rVert$입니다. 등호는 한 벡터가 다른 벡터의 상수배일 때만 성립합니다.

증명. $\mathbf{y} = \mathbf{0}$이면 양변이 모두 0이므로 성립합니다. 아니면 $c = \langle \mathbf{x}, \mathbf{y} \rangle / \lVert\mathbf{y}\rVert^2$으로 두고 $\mathbf{x}$를 $c\mathbf{y}$와 나머지 $\mathbf{r} = \mathbf{x} - c\mathbf{y}$로 나눕니다. $\langle \mathbf{r}, \mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle - c\lVert\mathbf{y}\rVert^2 = 0$이므로 피타고라스 정리에서

입니다. 등호는 $\mathbf{r} = \mathbf{0}$, 즉 $\mathbf{x} = c\mathbf{y}$일 때입니다. $\blacksquare$

여기서 쓴 $c\mathbf{y}$가 곧 “$\mathbf{x}$의 $\mathbf{y}$ 방향 성분”(정사영)입니다. 이 부등식은 불확정성 원리(13장)의 증명에서 다시 씁니다.

따름정리 3.15 (삼각부등식). $\lVert\mathbf{x} + \mathbf{y}\rVert \le \lVert\mathbf{x}\rVert + \lVert\mathbf{y}\rVert$입니다.

증명. $\lVert\mathbf{x} + \mathbf{y}\rVert^2 = \lVert\mathbf{x}\rVert^2 + 2\operatorname{Re}\langle \mathbf{x}, \mathbf{y} \rangle + \lVert\mathbf{y}\rVert^2 \le \lVert\mathbf{x}\rVert^2 + 2\lVert\mathbf{x}\rVert\lVert\mathbf{y}\rVert + \lVert\mathbf{y}\rVert^2 = (\lVert\mathbf{x}\rVert + \lVert\mathbf{y}\rVert)^2$입니다. $\blacksquare$

3.7 정규직교기저: 내적으로서의 좌표

정의 3.16. $\langle \mathbf{x}, \mathbf{y} \rangle = 0$이면 $\mathbf{x}$와 $\mathbf{y}$는 직교(orthogonal)한다고 합니다. 벡터들 $\mathbf{e}_1, \ldots, \mathbf{e}_n$이 $\langle \mathbf{e}_k, \mathbf{e}_m \rangle = \delta_{km}$을 만족하면(서로 직교하고 길이가 각각 1) 정규직교(orthonormal)라 하고, 이들이 기저이면 정규직교기저(orthonormal basis)라 합니다.

정리 3.17 (좌표 공식). $\mathbf{e}_1, \ldots, \mathbf{e}_n$이 정규직교기저이면 모든 $\mathbf{x}$에 대해

입니다.

증명. 기저이므로 $\mathbf{x} = \sum_k c_k\mathbf{e}_k$인 $c_k$가 있습니다. 양변을 $\mathbf{e}_m$과 내적하면

입니다. $\blacksquare$

연립방정식을 풀 필요가 없습니다. 직교성 때문에 $m$번째 좌표를 구할 때 다른 기저 벡터들이 모두 0으로 걸러집니다. 이 두 줄짜리 증명이 푸리에 해석에서 가장 중요한 계산입니다. 푸리에 급수의 계수 공식(5장), 역 DFT(4장)에서 글자만 바꿔 똑같이 반복합니다.

따름정리 3.18 (직교기저). $\mathbf{b}_1, \ldots, \mathbf{b}_n$이 서로 직교하는(길이는 1이 아니어도 되는) 기저이면 $c_k = \dfrac{\langle \mathbf{x}, \mathbf{b}_k \rangle}{\lVert\mathbf{b}_k\rVert^2}$입니다.

증명. 같은 계산에서 $\langle \mathbf{b}_m, \mathbf{b}_m \rangle = \lVert\mathbf{b}_m\rVert^2$이 남습니다. $\blacksquare$

예제 3.19. 예제 3.7의 $\mathbf{b}_1 = \binom{1}{1}$, $\mathbf{b}_2 = \binom{1}{-1}$은 직교합니다($1 \cdot 1 + 1 \cdot (-1) = 0$). $\lVert\mathbf{b}_k\rVert^2 = 2$이므로 $\mathbf{x} = \binom{5}{1}$의 좌표는 $c_1 = \frac{5 + 1}{2} = 3$, $c_2 = \frac{5 - 1}{2} = 2$입니다. 연립방정식 없이 같은 답이 나옵니다.

정리 3.20. 영벡터가 아닌 서로 직교하는 벡터들은 일차독립입니다. 따라서 $n$차원 공간에서 서로 직교하는 영 아닌 벡터 $n$개는 자동으로 기저입니다.

증명. $\sum_k c_k\mathbf{b}_k = \mathbf{0}$을 $\mathbf{b}_m$과 내적하면 $c_m\lVert\mathbf{b}_m\rVert^2 = 0$이므로 $c_m = 0$입니다. $\blacksquare$

정리 3.21 (파세발 등식, 유한차원). 정규직교기저에 대한 $\mathbf{x}$, $\mathbf{y}$의 좌표를 $c_k$, $d_k$라 하면

입니다.

증명. $\left\langle \sum_k c_k\mathbf{e}_k, \sum_m d_m\mathbf{e}_m \right\rangle = \sum_k\sum_m c_k d_m^*\langle \mathbf{e}_k, \mathbf{e}_m \rangle = \sum_k c_k d_k^*$입니다. $\blacksquare$

정규직교기저로 좌표를 바꿔도 길이와 내적은 변하지 않습니다. 신호의 에너지를 시간 영역에서 계산하든 주파수 영역에서 계산하든 같다는 말이 됩니다.

3.8 정사영과 최선의 근사

기저 전부가 아니라 정규직교 벡터 몇 개만 쓰면 어떻게 될까요? 푸리에 급수를 유한 항에서 끊는 상황이 이것입니다.

정의 3.22. 정규직교 벡터 $\mathbf{e}_1, \ldots, \mathbf{e}_K$가 생성하는 부분공간을 $W$라 합시다. $\mathbf{x}$의 $W$ 위로의 정사영(orthogonal projection)은

예: $W$가 $\mathbf{e}_1 = (1, 0, 0)$, $\mathbf{e}_2 = (0, 1, 0)$이 생성하는 평면이면 $P(3, 4, 5) = 3\mathbf{e}_1 + 4\mathbf{e}_2 = (3, 4, 0)$입니다.

입니다.

정리 3.23 (최선근사 정리).

1. 오차 $\mathbf{x} - P\mathbf{x}$는 $W$의 모든 벡터와 직교합니다.
2. $W$의 벡터 중 $\mathbf{x}$에 가장 가까운 것은 $P\mathbf{x}$ 하나뿐입니다. 모든 $\mathbf{w} \in W$에 대해 $\lVert\mathbf{x} - P\mathbf{x}\rVert \le \lVert\mathbf{x} - \mathbf{w}\rVert$입니다.
3. $\lVert\mathbf{x}\rVert^2 = \lVert P\mathbf{x}\rVert^2 + \lVert\mathbf{x} - P\mathbf{x}\rVert^2$입니다. 따라서 $\sum_{k=1}^K |\langle \mathbf{x}, \mathbf{e}_k \rangle|^2 \le \lVert\mathbf{x}\rVert^2$입니다(베셀 부등식(Bessel's inequality)).

증명. (1) $\langle \mathbf{x} - P\mathbf{x}, \mathbf{e}_m \rangle = \langle \mathbf{x}, \mathbf{e}_m \rangle - \sum_k \langle \mathbf{x}, \mathbf{e}_k \rangle\delta_{km} = 0$입니다. $W$의 벡터는 $\mathbf{e}_m$들의 선형결합이므로 역시 직교합니다.

(2) $\mathbf{w} \in W$이면 $\mathbf{x} - \mathbf{w} = (\mathbf{x} - P\mathbf{x}) + (P\mathbf{x} - \mathbf{w})$에서 둘째 항은 $W$에 속하고 첫째 항은 (1)에 의해 그와 직교합니다. 피타고라스 정리로 $\lVert\mathbf{x} - \mathbf{w}\rVert^2 = \lVert\mathbf{x} - P\mathbf{x}\rVert^2 + \lVert P\mathbf{x} - \mathbf{w}\rVert^2 \ge \lVert\mathbf{x} - P\mathbf{x}\rVert^2$이고, 등호는 $\mathbf{w} = P\mathbf{x}$일 때뿐입니다.

(3) $\mathbf{x} = P\mathbf{x} + (\mathbf{x} - P\mathbf{x})$에 피타고라스 정리를 씁니다. $\lVert P\mathbf{x}\rVert^2 = \sum_k |\langle \mathbf{x}, \mathbf{e}_k \rangle|^2$은 파세발 등식입니다. $\blacksquare$

이 정리가 말하는 것은 이렇습니다. 각 계수 $\langle \mathbf{x}, \mathbf{e}_k \rangle$는 다른 계수와 무관하게 정해지고, 항을 더 쓴다고 이미 구한 계수를 고칠 필요가 없으며, 그렇게 얻은 유한 합이 평균제곱 오차를 최소로 합니다. 푸리에 급수를 $K$항에서 끊은 것이 “그 주파수들만으로 만들 수 있는 최선의 근사”인 이유입니다.

그림 3.1. 정사영. 오차 $\mathbf{x} - P\mathbf{x}$가 $W$에 수직이므로, $W$의 다른 어떤 점 $\mathbf{w}$도 $P\mathbf{x}$보다 $\mathbf{x}$에서 멉니다.

3.9 유니터리 행렬

정의 3.24. 행렬 $A$의 행과 열을 바꾸고 각 성분에 켤레를 취한 행렬을 켤레전치(conjugate transpose) $A^H$라 합니다: $(A^H)_{ik} = A_{ki}^*$.

열벡터에 대해 $\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{y}^H\mathbf{x}$이고, $(AB)^H = B^HA^H$, $\langle A\mathbf{x}, \mathbf{y} \rangle = \langle \mathbf{x}, A^H\mathbf{y} \rangle$가 성립합니다.

정의 3.25. 정사각행렬 $U$가 $U^HU = I$를 만족하면 유니터리 행렬(unitary matrix)이라 합니다(실수 행렬이면 직교행렬이라 합니다).

$(U^HU)_{km} = \mathbf{u}_k^H\mathbf{u}_m$이므로 $U^HU = I$는 $U$의 열들이 정규직교라는 말과 같습니다.

정리 3.26. $U$가 유니터리이면 (1) $U^{-1} = U^H$이고, (2) $\langle U\mathbf{x}, U\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle$, 특히 $\lVert U\mathbf{x}\rVert = \lVert\mathbf{x}\rVert$입니다.

증명. (1) $U^HU = I$이고 정사각행렬에서 왼쪽 역행렬은 오른쪽 역행렬이기도 합니다. (2) $\langle U\mathbf{x}, U\mathbf{y} \rangle = \langle \mathbf{x}, U^HU\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle$입니다. $\blacksquare$

정규직교기저 $\mathbf{e}_1, \ldots, \mathbf{e}_n$을 열로 세운 행렬 $U$에 대해 정리 3.17은 다음과 같이 읽힙니다.

$\mathbf{c}$의 $k$번째 성분은 $\mathbf{e}_k^H\mathbf{x} = \langle \mathbf{x}, \mathbf{e}_k \rangle$로 정확히 좌표 공식입니다. 유니터리 변환은 길이와 각도를 보존하는 변환, 즉 복소 공간에서의 “회전”입니다. 푸리에 변환은 (상수를 적절히 잡으면) 유니터리 변환입니다.

3.10 고윳값과 고유벡터

정의 3.27. 정사각행렬(또는 선형 연산자) $A$에 대해 $A\mathbf{v} = \lambda\mathbf{v}$인 $\mathbf{v} \ne \mathbf{0}$을 고유벡터(eigenvector), 수 $\lambda$를 고윳값(eigenvalue)이라 합니다.

고유벡터는 $A$를 적용해도 방향이 바뀌지 않고 $\lambda$배만 되는 벡터입니다. 고유벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_n$이 기저를 이루면 $\mathbf{x} = \sum c_k\mathbf{v}_k$에 대해

입니다. 고유벡터 기저에서 보면 $A$는 각 좌표에 $\lambda_k$를 곱하는 일일 뿐입니다. 이것을 $A$를 대각화(diagonalization)한다고 합니다. 행렬로는 $V = (\mathbf{v}_1 \cdots \mathbf{v}_n)$, $\Lambda = \operatorname{diag}(\lambda_1, \ldots, \lambda_n)$에 대해 $A = V\Lambda V^{-1}$입니다. 대각화되면 $A^m = V\Lambda^mV^{-1}$, $A^{-1} = V\Lambda^{-1}V^{-1}$처럼 $A$에 관한 계산이 수의 계산으로 바뀝니다.

예제 3.28. $A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$이면 $A\binom{1}{1} = \binom{3}{3} = 3\binom{1}{1}$, $A\binom{1}{-1} = \binom{1}{-1}$입니다. 고윳값은 3과 1, 고유벡터는 예제 3.7의 직교기저입니다. $\mathbf{x} = \binom{5}{1} = 3\mathbf{b}_1 + 2\mathbf{b}_2$이면 $A\mathbf{x} = 9\mathbf{b}_1 + 2\mathbf{b}_2 = \binom{11}{7}$입니다. 직접 곱해 확인하면 $\binom{2 \cdot 5 + 1}{5 + 2} = \binom{11}{7}$입니다.

정리 3.29 (교환하는 연산자는 고유벡터를 공유합니다). $AS = SA$이고, $S\mathbf{v} = \lambda\mathbf{v}$인 고유벡터가 상수배를 제외하고 $\mathbf{v}$ 하나뿐이면, $\mathbf{v}$는 $A$의 고유벡터이기도 합니다.

증명. $S(A\mathbf{v}) = A(S\mathbf{v}) = \lambda(A\mathbf{v})$입니다. 즉 $A\mathbf{v}$도 $S$의 고윳값 $\lambda$에 대한 고유벡터이거나 영벡터입니다. 가정에 의해 $A\mathbf{v} = \mu\mathbf{v}$인 수 $\mu$가 있습니다. $\blacksquare$

이 정리가 푸리에 해석의 뼈대입니다. $S$를 시간 이동으로 잡으면, 이동의 고유벡터가 복소지수함수이고(4장, 10장), 이동과 교환하는 모든 선형 연산자(곧 시불변 시스템)가 복소지수함수를 고유벡터로 갖습니다.

3.11 함수공간: 함수의 내적

구간 $[a, b]$의 함수 $x(t)$를 간격 $\Delta t$로 표본화하면 벡터 $(x(t_0), x(t_1), \ldots, x(t_{N-1}))$이 됩니다. 두 함수의 표본 벡터의 내적에 $\Delta t$를 곱하면 $\sum_i x(t_i)y(t_i)^*\,\Delta t$이고, 이것은 리만 합입니다. $\Delta t \to 0$으로 보내면 적분이 됩니다.

정의 3.30. 구간 $[a, b]$에서 정의된 함수 $x$, $y$의 내적과 노름은

입니다. $\lVert x\rVert < \infty$인 함수 전체를 $L^2[a, b]$라 합니다. 구간이 실수 전체이면 $L^2(\mathbb{R})$입니다.

내적의 세 공리가 성립하므로(확인해 봅니다) $L^2$는 내적공간이고, 피타고라스, 코시–슈바르츠, 좌표 공식의 증명, 최선근사 정리, 베셀 부등식이 글자 그대로 성립합니다. 코시–슈바르츠는 다음 모양이 됩니다.

$\lVert x\rVert^2$은 신호의 에너지다($x$가 1 Ω 저항에 걸린 전압이면 실제로 소비 에너지입니다). 두 함수의 “거리” $\lVert x - y\rVert$는 평균제곱 오차의 제곱근입니다.

예제 3.31. 2장의 정리 2.9를 다시 읽으면 이렇습니다. $L^2[0, T]$에서 $e_k(t) = e^{jk\omega_0 t}$는 $\langle e_k, e_m \rangle = T\delta_{km}$, 즉 서로 직교하고 노름의 제곱이 $T$입니다.

무한차원에서 달라지는 것

함수공간은 무한차원이라 세 가지를 조심합니다.

1. 무한합의 뜻. $x = \sum_{k=-\infty}^\infty c_k e_k$는 “부분합 $S_K = \sum_{|k| \le K} c_k e_k$가 $\lVert x - S_K\rVert \to 0$”이라는 뜻으로 읽습니다(평균제곱 수렴). 각 점 $t$에서의 수렴은 별개의 문제입니다(5장 5.6절).
2. 완비성. 유한차원에서는 직교 벡터 $n$개면 자동으로 기저였습니다(정리 3.20). 무한차원에서는 직교하는 벡터가 무한히 많아도 공간 전체를 채우지 못할 수 있습니다. 예를 들어 $\{\cos k\omega_0 t\}$만으로는 기함수를 만들 수 없습니다. 정규직교계 $\{e_k\}$가 모든 $x$에 대해 $\lVert x\rVert^2 = \sum_k |\langle x, e_k \rangle|^2$(베셀 부등식의 등호)을 만족할 때 완비라 하고, 이때 비로소 기저 구실을 합니다. 복소지수함수계가 완비라는 것이 푸리에 급수 이론의 핵심 정리입니다.
3. 노름이 0인 함수. 한 점에서만 값이 다른 두 함수는 적분으로는 구별되지 않습니다. $L^2$에서는 그런 함수들을 같은 것으로 봅니다. 불연속점에서의 함숫값이 푸리에 해석에서 중요하지 않은 이유입니다.

연습문제

2
5

0
1
1
2

1/3
0
8/45

1