Linearism › 정의·정리 › 선형대수

선형대수 정의·정리

315개. "쓰는 것"은 진술이나 증명에서 부르는 정의·정리이고, "쓰이는 곳"은 거꾸로 이 항목을 부르는 곳입니다. 용어로 이어진 관계는 흐리게 표시합니다.

LA.0 기호와 집합·함수

정의 0.6 합집합·교집합·차집합

두 집합 AA, BB에 대하여

A∪B={ x:x∈A 또는 x∈B }합집합(union)A∩B={ x:x∈A 그리고 x∈B }교집합(intersection)A∖B={ x:x∈A 그리고 x∉B }차집합(difference)\begin{aligned} A \cup B &= \{\, x : x \in A\ \text{또는}\ x \in B \,\} && \text{합집합(union)} \\ A \cap B &= \{\, x : x \in A\ \text{그리고}\ x \in B \,\} && \text{교집합(intersection)} \\ A \setminus B &= \{\, x : x \in A\ \text{그리고}\ x \notin B \,\} && \text{차집합(difference)} \end{aligned}

정의 0.7 순서쌍과 곱집합

a∈Aa \in A, b∈Bb \in B로 만든 (a,b)(a, b)를 순서쌍(ordered pair)이라 합니다. 두 순서쌍은 같은 자리의 성분이 모두 같을 때만 같습니다. 즉

정의 0.10 역·대우

명제 P⇒QP \Rightarrow Q에 대하여 Q⇒PQ \Rightarrow P를 역(converse), ¬Q⇒¬P\neg Q \Rightarrow \neg P를 대우(contrapositive)라 합니다.

정리 0.11 대우의 동치

P⇒QP \Rightarrow Q와 그 대우 ¬Q⇒¬P\neg Q \Rightarrow \neg P는 참·거짓이 항상 같습니다. 반면 역은 원래 명제와 참·거짓이 다를 수 있습니다.

정의 0.12 한정기호

  • ∀x∈A, P(x)\forall x \in A,\ P(x): “AA의 모든 원소 xx에 대하여 P(x)P(x)입니다.” (∀\forall는 전칭기호(universal quantifier))
  • ∃x∈A, P(x)\exists x \in A,\ P(x): “P(x)P(x)를 만족하는 x∈Ax \in A가 적어도 하나 존재합니다.” (∃\exists는 존재기호(existential quantifier))

정리 0.13 한정기호의 부정

¬(∀x∈A, P(x))  ⟺  ∃x∈A, ¬P(x),¬(∃x∈A, P(x))  ⟺  ∀x∈A, ¬P(x)\neg\big(\forall x \in A,\ P(x)\big) \iff \exists x \in A,\ \neg P(x), \qquad \neg\big(\exists x \in A,\ P(x)\big) \iff \forall x \in A,\ \neg P(x)

정의 0.15 합의 기호

수 am,am+1,…,ana_m, a_{m+1}, \ldots, a_n의 합을

∑k=mnak=am+am+1+⋯+an\sum_{k=m}^{n} a_k = a_m + a_{m+1} + \cdots + a_n

정리 0.17 합의 기호의 성질

수 aka_k, bkb_k와 상수 cc에 대하여

  1. ∑k=1n(ak+bk)=∑k=1nak+∑k=1nbk\sum_{k=1}^n (a_k + b_k) = \sum_{k=1}^n a_k + \sum_{k=1}^n b_k
  2. ∑k=1nc ak=c∑k=1nak\sum_{k=1}^n c\, a_k = c\sum_{k=1}^n a_k
  3. ∑k=1nc=nc\sum_{k=1}^n c = nc

정의 0.18 함수

집합 AA의 각 원소 aa에 집합 BB의 원소를 정확히 하나씩 대응시키는 규칙 ff를 AA에서 BB로의 함수(function) 또는 사상(map)이라 하고 f:A→Bf : A \to B로 씁니다. aa에 대응하는 원소를 f(a)f(a)로 씁니다.

정의 0.19 단사·전사·전단사

함수 f:A→Bf : A \to B에 대하여

  • 서로 다른 입력이 항상 서로 다른 출력으로 가면, 즉 ∀a1,a2∈A, f(a1)=f(a2)⇒a1=a2\forall a_1, a_2 \in A,\ f(a_1) = f(a_2) \Rightarrow a_1 = a_2이면 ff를 단사(injective)라 합니다.
  • 공역의 모든 원소가 어떤 입력의 출력이면, 즉 ∀b∈B, ∃a∈A, f(a)=b\forall b \in B,\ \exists a \in A,\ f(a) = b이면 ff를 전사(surjective)라 합니다.
  • 단사이면서 전사이면 전단사(bijective)라 합니다.

정의 0.21 합성함수

f:A→Bf : A \to B, g:B→Cg : B \to C에 대하여 (g∘f)(a)=g(f(a))(g \circ f)(a) = g\big(f(a)\big)로 정의한 함수 g∘f:A→Cg \circ f : A \to C를 ff와 gg의 합성(composition)이라 합니다.

정의 0.22 역함수

f:A→Bf : A \to B에 대하여 g:B→Ag : B \to A가

g(f(a))=a  (∀a∈A),f(g(b))=b  (∀b∈B)g\big(f(a)\big) = a\ \ (\forall a \in A), \qquad f\big(g(b)\big) = b\ \ (\forall b \in B)

LA.1 증명하는 법

정리 1.2

두 짝수의 합은 짝수입니다.

아이디어. “짝수”를 정의로 바꾸면 “2 × (정수)”가 됩니다. 두 수를 더한 다음 2로 묶을 수 있는지 봅니다.

정의 1.3 약수

정수 a≠0a \ne 0, bb에 대해 b=akb = ak인 정수 kk가 존재하면 “aa가 bb를 나눕니다”고 하고 a∣ba \mid b로 씁니다.

정리 1.6

2\sqrt{2}는 무리수입니다.

증명. 2\sqrt{2}가 유리수라고 가정합시다. 그러면 2=pq\sqrt{2} = \frac{p}{q}인 정수 pp, qq (q≠0q \ne 0)가 있고, 약분을 끝까지 해서 pp와 qq가 둘 다 짝수인 경우는 없다고 할 수 있습니다.

정리 1.7 유클리드

소수는 무한히 많습니다.

증명. 소수가 유한하다고 가정하고, 그 전부를 p1,p2,…,pnp_1, p_2, \ldots, p_n이라 합시다. N=p1p2⋯pn+1N = p_1p_2\cdots p_n + 1을 생각합니다. N>1N > 1이므로 NN은 어떤 소수로 나누어떨어지고, 그 소수는 목록 안의 어떤 pip_i입니다. 그런데 pi∣p1⋯pnp_i \mid p_1\cdots p_n이고 pi∣Np_i \mid N이므로 pi∣(N−p1⋯pn)=1p_i \mid \big(N - p_1\cdots p_n\big) = 1입니다. 1을 나누는 소수는 없으므로 모순입니다. ■\blacksquare

정리 1.8 수학적 귀납법

자연수 nn에 대한 명제 P(n)P(n)이 다음 두 조건을 만족하면, 모든 자연수 nn에 대해 P(n)P(n)은 참입니다.

정리 1.9

모든 n∈Nn \in \mathbb{N}에 대하여 ∑k=1nk=n(n+1)2\displaystyle\sum_{k=1}^n k = \frac{n(n + 1)}{2}입니다.

정리 1.10

집합 AA, BB, CC에 대하여 A∩(B∪C)=(A∩B)∪(A∩C)A \cap (B \cup C) = (A \cap B) \cup (A \cap C)입니다.

LA.2 벡터: 화살표이자 숫자 목록

정의 2.1 벡터, 화살표 관점

평면이나 공간에서 길이와 방향으로 결정되는 대상을 벡터(vector)라 합니다. 길이와 방향이 같은 두 화살표는, 그려진 위치가 달라도 같은 벡터를 나타냅니다.

정의 2.3 Rn\mathbb{R}^n의 벡터

실수 nn개를 순서대로 늘어놓은 목록

v=[v1v2⋮vn](v1,…,vn∈R)\mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \qquad (v_1, \ldots, v_n \in \mathbb{R})

정의 2.5 벡터의 같음

Rn\mathbb{R}^n의 두 벡터 v\mathbf{v}, w\mathbf{w}는 모든 성분이 같을 때, 즉 vi=wiv_i = w_i (i=1,…,ni = 1, \ldots, n)일 때 같다고 하고 v=w\mathbf{v} = \mathbf{w}로 씁니다.

정의 2.7 벡터의 덧셈

v,w∈Rn\mathbf{v}, \mathbf{w} \in \mathbb{R}^n에 대하여

v+w=[v1+w1v2+w2⋮vn+wn]\mathbf{v} + \mathbf{w} = \begin{bmatrix} v_1 + w_1 \\ v_2 + w_2 \\ \vdots \\ v_n + w_n \end{bmatrix}

정의 2.8 스칼라배

실수 cc와 v∈Rn\mathbf{v} \in \mathbb{R}^n에 대하여

cv=[cv1cv2⋮cvn]c\mathbf{v} = \begin{bmatrix} cv_1 \\ cv_2 \\ \vdots \\ cv_n \end{bmatrix}

정리 2.9 벡터 연산의 8가지 법칙

u,v,w∈Rn\mathbf{u}, \mathbf{v}, \mathbf{w} \in \mathbb{R}^n, a,b∈Ra, b \in \mathbb{R}에 대하여

  1. u+v=v+u\mathbf{u} + \mathbf{v} = \mathbf{v} + \mathbf{u} (덧셈의 교환법칙)
  2. (u+v)+w=u+(v+w)(\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w}) (덧셈의 결합법칙)
  3. v+0=v\mathbf{v} + \mathbf{0} = \mathbf{v} (영벡터)
  4. v+(−v)=0\mathbf{v} + (-\mathbf{v}) = \mathbf{0} (덧셈의 역원)
  5. a(bv)=(ab)va(b\mathbf{v}) = (ab)\mathbf{v} (스칼라곱의 결합법칙)
  6. 1v=v1\mathbf{v} = \mathbf{v} (1을 곱하기)
  7. a(u+v)=au+ava(\mathbf{u} + \mathbf{v}) = a\mathbf{u} + a\mathbf{v} (분배법칙 1)
  8. (a+b)v=av+bv(a + b)\mathbf{v} = a\mathbf{v} + b\mathbf{v} (분배법칙 2)

정의 2.12 내적

v,w∈Rn\mathbf{v}, \mathbf{w} \in \mathbb{R}^n의 내적(dot product)을

v⋅w=v1w1+v2w2+⋯+vnwn=∑i=1nviwi\mathbf{v} \cdot \mathbf{w} = v_1w_1 + v_2w_2 + \cdots + v_nw_n = \sum_{i=1}^n v_iw_i

정리 2.14 내적의 성질

u,v,w∈Rn\mathbf{u}, \mathbf{v}, \mathbf{w} \in \mathbb{R}^n, c∈Rc \in \mathbb{R}에 대하여

  1. v⋅w=w⋅v\mathbf{v} \cdot \mathbf{w} = \mathbf{w} \cdot \mathbf{v}
  2. u⋅(v+w)=u⋅v+u⋅w\mathbf{u} \cdot (\mathbf{v} + \mathbf{w}) = \mathbf{u} \cdot \mathbf{v} + \mathbf{u} \cdot \mathbf{w}
  3. (cv)⋅w=c(v⋅w)(c\mathbf{v}) \cdot \mathbf{w} = c(\mathbf{v} \cdot \mathbf{w})
  4. v⋅v=∥v∥2≥0\mathbf{v} \cdot \mathbf{v} = \lVert\mathbf{v}\rVert^2 \ge 0이고, 등호는 v=0\mathbf{v} = \mathbf{0}일 때만 성립합니다.

LA.3 일차결합과 span

정의 3.1 일차결합

v1,…,vk∈Rn\mathbf{v}_1, \ldots, \mathbf{v}_k \in \mathbb{R}^n과 스칼라 c1,…,ck∈Rc_1, \ldots, c_k \in \mathbb{R}에 대하여

정의 3.5 span

v1,…,vk∈Rn\mathbf{v}_1, \ldots, \mathbf{v}_k \in \mathbb{R}^n의 일차결합 전체의 집합을 이 벡터들의 span(생성)이라 하고 span⁡{v1,…,vk}\operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}로 씁니다.

정리 3.6 span은 닫혀 있습니다

S=span⁡{v1,…,vk}S = \operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}라 합시다. 그러면

  1. 0∈S\mathbf{0} \in S.
  2. x,y∈S\mathbf{x}, \mathbf{y} \in S이면 x+y∈S\mathbf{x} + \mathbf{y} \in S.
  3. x∈S\mathbf{x} \in S, c∈Rc \in \mathbb{R}이면 cx∈Sc\mathbf{x} \in S.

정리 3.8 쓸모없는 벡터 제거

w∈span⁡{v1,…,vk}\mathbf{w} \in \operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}이면

span⁡{v1,…,vk,w}=span⁡{v1,…,vk}\operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k, \mathbf{w}\} = \operatorname{span}\{\mathbf{v}_1, \ldots, \mathbf{v}_k\}

LA.4 변환으로서의 행렬

정의 4.5 표준기저벡터

Rn\mathbb{R}^n에서 제ii 성분만 1이고 나머지가 0인 벡터를 ei\mathbf{e}_i로 쓰고, e1,…,en\mathbf{e}_1, \ldots, \mathbf{e}_n을 표준기저벡터(standard basis vectors)라 합니다.

정의 4.7 행렬

실수를 mm개의 행(가로줄)과 nn개의 열(세로줄)로 늘어놓은 표

A=[a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn]A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}

정의 4.8 행렬과 벡터의 곱

A=[a1⋯an]∈Rm×nA = \begin{bmatrix} \mathbf{a}_1 & \cdots & \mathbf{a}_n \end{bmatrix} \in \mathbb{R}^{m \times n}, x∈Rn\mathbf{x} \in \mathbb{R}^n에 대하여

정리 4.10 선형변환의 표준행렬

T:Rn→RmT : \mathbb{R}^n \to \mathbb{R}^m이 선형변환이면

A=[T(e1)T(e2)⋯T(en)]∈Rm×nA = \begin{bmatrix} T(\mathbf{e}_1) & T(\mathbf{e}_2) & \cdots & T(\mathbf{e}_n) \end{bmatrix} \in \mathbb{R}^{m \times n}

정리 4.11 행과의 내적

A∈Rm×nA \in \mathbb{R}^{m \times n}의 제ii행을 ri\mathbf{r}_i(성분 nn개짜리 벡터)라 하면, AxA\mathbf{x}의 제ii 성분은 ri⋅x\mathbf{r}_i \cdot \mathbf{x}입니다. 즉

정의 4.15 항등행렬

x↦x\mathbf{x} \mapsto \mathbf{x} (아무것도 하지 않는 변환)의 표준행렬을 n×nn \times n 항등행렬(identity matrix)이라 하고 II 또는 InI_n으로 씁니다. 열이 e1,…,en\mathbf{e}_1, \ldots, \mathbf{e}_n이므로 대각선은 1, 나머지는 0입니다.

정의 4.16 정사각행렬, 대각행렬

n×nn \times n 행렬을 정사각행렬(square matrix)이라 합니다. 정사각행렬에서 a11,a22,…,anna_{11}, a_{22}, \ldots, a_{nn}을 대각성분(diagonal entries)이라 하고, 대각성분이 아닌 성분이 모두 0인 행렬을 대각행렬(diagonal matrix)이라 합니다.

LA.5 변환의 합성으로서의 행렬곱

정리 5.1 선형변환의 합성은 선형입니다

T:Rp→RnT : \mathbb{R}^p \to \mathbb{R}^n, U:Rn→RmU : \mathbb{R}^n \to \mathbb{R}^m이 선형변환이면 U∘T:Rp→RmU \circ T : \mathbb{R}^p \to \mathbb{R}^m도 선형변환입니다.

정의 5.2 행렬곱

A∈Rm×nA \in \mathbb{R}^{m \times n}, B=[b1⋯bp]∈Rn×pB = \begin{bmatrix} \mathbf{b}_1 & \cdots & \mathbf{b}_p \end{bmatrix} \in \mathbb{R}^{n \times p}에 대하여

정리 5.5 행렬곱의 네 가지 계산법

A∈Rm×nA \in \mathbb{R}^{m \times n}의 행을 r1,…,rm\mathbf{r}_1, \ldots, \mathbf{r}_m, 열을 a1,…,an\mathbf{a}_1, \ldots, \mathbf{a}_n이라 하고, B∈Rn×pB \in \mathbb{R}^{n \times p}의 행을 s1,…,sn\mathbf{s}_1, \ldots, \mathbf{s}_n, 열을 b1,…,bp\mathbf{b}_1, \ldots, \mathbf{b}_p라 합시다.

정리 5.8 행렬곱의 성질

크기가 맞는 행렬에 대하여

  1. (AB)C=A(BC)(AB)C = A(BC) (결합법칙)
  2. A(B+C)=AB+ACA(B + C) = AB + AC, (A+B)C=AC+BC(A + B)C = AC + BC (분배법칙)
  3. c(AB)=(cA)B=A(cB)c(AB) = (cA)B = A(cB)
  4. ImA=A=AInI_m A = A = AI_n (A∈Rm×nA \in \mathbb{R}^{m \times n})

정의 5.11 전치행렬

A∈Rm×nA \in \mathbb{R}^{m \times n}의 행과 열을 맞바꾼 n×mn \times m 행렬을 AA의 전치행렬(transpose)이라 하고 ATA^T로 씁니다. 즉 (AT)ij=aji(A^T)_{ij} = a_{ji}입니다.

정리 5.13 전치의 성질

  1. (AT)T=A(A^T)^T = A, (A+B)T=AT+BT(A + B)^T = A^T + B^T, (cA)T=cAT(cA)^T = cA^T
  2. (AB)T=BTAT(AB)^T = B^TA^T
  3. (Ax)⋅y=x⋅(ATy)(A\mathbf{x}) \cdot \mathbf{y} = \mathbf{x} \cdot (A^T\mathbf{y})

LA.6 넓이 배율로서의 행렬식

정리 6.4 2 × 2 가역성의 판정

A=[abcd]A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}에 대하여 다음은 동치입니다.

LA.7 고유벡터 미리보기

LA.8 가우스 소거

정의 8.3 첨가행렬

연립방정식 Ax=bA\mathbf{x} = \mathbf{b}에 대해 AA의 오른쪽에 b\mathbf{b}를 붙인 행렬 [ A∣b ]\left[\, A \mid \mathbf{b} \,\right]를 첨가행렬(augmented matrix)이라 합니다.

정의 8.9 소거행렬

i≠ji \ne j에 대해 단위행렬의 (i,j)(i, j) 성분을 −ℓ-\ell로 바꾼 행렬을 EijE_{ij}라 합시다. EijAE_{ij}A는 AA의 제ii행에서 제jj행의 ℓ\ell배를 뺀 행렬입니다. 이런 행렬을 소거행렬(elimination matrix)이라 합니다.

정의 8.11 치환행렬

단위행렬의 행 순서를 바꾼 행렬을 치환행렬(permutation matrix)이라 합니다. PAPA는 AA의 행 순서를 같은 방식으로 바꾼 행렬입니다.

LA.9 역행렬과 A = LU

정의 9.4 가우스–요르단 소거

[ A∣I ]\left[\, A \mid I \,\right]에 행 연산을 하여

  1. 피벗 아래를 0으로 만들고 (가우스 소거),
  2. 피벗 위도 0으로 만들고,
  3. 각 행을 피벗으로 나누어 피벗을 1로 만듭니다.

정리 9.6 가역성의 동치 조건

n×nn \times n 행렬 AA에 대하여 다음은 동치입니다.

  1. AA는 가역입니다.
  2. (행 교환을 허용한) 소거에서 피벗이 nn개 나옵니다.
  3. Ax=0A\mathbf{x} = \mathbf{0}의 해는 x=0\mathbf{x} = \mathbf{0}뿐입니다.
  4. 모든 b\mathbf{b}에 대해 Ax=bA\mathbf{x} = \mathbf{b}의 해가 정확히 하나 있습니다.
  5. BA=IBA = I인 BB가 있습니다.
  6. AC=IAC = I인 CC가 있습니다.

LA.10 부분공간: 열공간과 영공간

정리 10.6 해의 존재와 열공간

Ax=bA\mathbf{x} = \mathbf{b}가 해를 갖는 것은 b∈C(A)\mathbf{b} \in C(A)인 것과 동치입니다.

정의를 다시 쓴 것에 불과하지만, 이 정리 덕분에 “해가 있는가”라는 계산의 질문이 “b\mathbf{b}가 어떤 부분공간 안에 있는가”라는 기하의 질문이 됩니다.

정리 10.11 해 전체의 구조

xp\mathbf{x}_p가 Ax=bA\mathbf{x} = \mathbf{b}의 해 하나라 합시다. 그러면 Ax=bA\mathbf{x} = \mathbf{b}의 해 전체는

LA.11 Ax = b의 완전한 해와 랭크

정의 11.1 피벗 열과 자유 열

사다리꼴에서 피벗이 있는 열을 피벗 열(pivot column), 피벗이 없는 열을 자유 열(free column)이라 합니다. 자유 열에 대응하는 미지수를 자유변수(free variable), 피벗 열에 대응하는 미지수를 피벗변수(pivot variable)라 합니다.

따름정리 11.4 미지수가 더 많은 동차연립방정식

m<nm < n이면 Ax=0A\mathbf{x} = \mathbf{0}은 x≠0\mathbf{x} \ne \mathbf{0}인 해를 갖습니다.

이 따름정리는 짧지만 12장에서 “차원”을 정의하는 데 결정적인 역할을 합니다.

정리 11.6 랭크와 해

A∈Rm×nA \in \mathbb{R}^{m \times n}, r=rank⁡Ar = \operatorname{rank} A.

  1. r=mr = m (행 최대 랭크(full row rank))이면 모든 b\mathbf{b}에 대해 Ax=bA\mathbf{x} = \mathbf{b}의 해가 있습니다.
  2. r=nr = n (열 최대 랭크(full column rank))이면 N(A)={0}N(A) = \{\mathbf{0}\}이고, 해는 있다면 유일합니다.

LA.12 일차독립, 기저, 차원

정리 12.14 차원을 알 때의 지름길

dim⁡S=d\dim S = d일 때, SS의 벡터 dd개에 대해

  1. 일차독립이면 자동으로 SS를 span합니다(따라서 기저).
  2. SS를 span하면 자동으로 일차독립입니다(따라서 기저).

정리 12.15 4대 부분공간의 기저와 차원

  1. 열공간 C(A)C(A): AA의 피벗 열들이 기저이고 dim⁡C(A)=r\dim C(A) = r.
  2. 행공간 C(AT)C(A^T): RR의 영이 아닌 행들이 기저이고 dim⁡C(AT)=r\dim C(A^T) = r.
  3. 영공간 N(A)N(A): 특수해들이 기저이고 dim⁡N(A)=n−r\dim N(A) = n - r.
  4. 왼쪽 영공간 N(AT)N(A^T): dim⁡N(AT)=m−r\dim N(A^T) = m - r. EE의 마지막 m−rm - r개 행이 기저입니다.

따름정리 12.16 행 랭크 = 열 랭크

모든 행렬에서 독립인 행의 최대 개수와 독립인 열의 최대 개수는 같습니다. 즉 dim⁡C(A)=dim⁡C(AT)\dim C(A) = \dim C(A^T)이고, rank⁡A=rank⁡AT\operatorname{rank} A = \operatorname{rank} A^T입니다.

따름정리 12.17 랭크–영공간 정리

A∈Rm×nA \in \mathbb{R}^{m \times n}이면 dim⁡C(A)+dim⁡N(A)=n\dim C(A) + \dim N(A) = n.

LA.13 직교성, 사영, 최소제곱

정리 13.2 영공간과 행공간은 직교합니다

A∈Rm×nA \in \mathbb{R}^{m \times n}이면 N(A)⊥C(AT)N(A) \perp C(A^T)이고 N(AT)⊥C(A)N(A^T) \perp C(A)입니다.

정리 13.5 직교 분해

모든 x∈Rn\mathbf{x} \in \mathbb{R}^n은 x=xr+xn\mathbf{x} = \mathbf{x}_r + \mathbf{x}_n (xr∈C(AT)\mathbf{x}_r \in C(A^T), xn∈N(A)\mathbf{x}_n \in N(A))으로 유일하게 쓰입니다.

정리 13.6 코시–슈바르츠 부등식

v,w∈Rn\mathbf{v}, \mathbf{w} \in \mathbb{R}^n이면

∣vTw∣≤∥v∥ ∥w∥.\lvert \mathbf{v}^T\mathbf{w} \rvert \le \lVert \mathbf{v} \rVert\,\lVert \mathbf{w} \rVert.

따름정리 13.7 삼각부등식

∥v+w∥≤∥v∥+∥w∥\lVert \mathbf{v} + \mathbf{w} \rVert \le \lVert \mathbf{v} \rVert + \lVert \mathbf{w} \rVert.

정리 13.11 최소제곱

x^\hat{\mathbf{x}}가 ATAx^=ATbA^TA\hat{\mathbf{x}} = A^T\mathbf{b}를 만족하면, 모든 x\mathbf{x}에 대해

LA.14 정규직교 기저와 그람–슈미트

정의 14.1 정규직교

벡터 q1,…,qk\mathbf{q}_1, \ldots, \mathbf{q}_k가 서로 수직이고 모두 길이가 1이면, 즉

qiTqj={1(i=j)0(i≠j)\mathbf{q}_i^T\mathbf{q}_j = \begin{cases} 1 & (i = j) \\ 0 & (i \ne j) \end{cases}

정리 14.5 직교행렬은 길이와 각을 보존합니다

QTQ=IQ^TQ = I이면 모든 x,y\mathbf{x}, \mathbf{y}에 대해

(Qx)T(Qy)=xTy,∥Qx∥=∥x∥.(Q\mathbf{x})^T(Q\mathbf{y}) = \mathbf{x}^T\mathbf{y}, \qquad \lVert Q\mathbf{x} \rVert = \lVert \mathbf{x} \rVert.

정의 14.7 그람–슈미트 과정

독립인 a1,…,an\mathbf{a}_1, \ldots, \mathbf{a}_n에 대해 차례로

A1=a1,A2=a2−A1Ta2A1TA1A1,A3=a3−A1Ta3A1TA1A1−A2Ta3A2TA2A2,  ⋮\begin{aligned} \mathbf{A}_1 &= \mathbf{a}_1, \\ \mathbf{A}_2 &= \mathbf{a}_2 - \frac{\mathbf{A}_1^T\mathbf{a}_2}{\mathbf{A}_1^T\mathbf{A}_1}\mathbf{A}_1, \\ \mathbf{A}_3 &= \mathbf{a}_3 - \frac{\mathbf{A}_1^T\mathbf{a}_3}{\mathbf{A}_1^T\mathbf{A}_1}\mathbf{A}_1 - \frac{\mathbf{A}_2^T\mathbf{a}_3}{\mathbf{A}_2^T\mathbf{A}_2}\mathbf{A}_2, \\ &\ \ \vdots \end{aligned}

정리 14.8 그람–슈미트의 결과

위의 과정에서

  1. A1,…,An\mathbf{A}_1, \ldots, \mathbf{A}_n은 서로 수직이고 모두 0\mathbf{0}이 아닙니다.
  2. 각 kk에 대해 span⁡{q1,…,qk}=span⁡{a1,…,ak}\operatorname{span}\{\mathbf{q}_1, \ldots, \mathbf{q}_k\} = \operatorname{span}\{\mathbf{a}_1, \ldots, \mathbf{a}_k\}.

정리 14.10 QR 분해

열이 독립인 m×nm \times n 행렬 AA는

A=QR,[a1⋯an]=[q1⋯qn][q1Ta1q1Ta2⋯q1Tan0q2Ta2⋯q2Tan⋮⋱⋮00⋯qnTan]A = QR, \qquad \begin{bmatrix} \mathbf{a}_1 & \cdots & \mathbf{a}_n \end{bmatrix} = \begin{bmatrix} \mathbf{q}_1 & \cdots & \mathbf{q}_n \end{bmatrix}\begin{bmatrix} \mathbf{q}_1^T\mathbf{a}_1 & \mathbf{q}_1^T\mathbf{a}_2 & \cdots & \mathbf{q}_1^T\mathbf{a}_n \\ 0 & \mathbf{q}_2^T\mathbf{a}_2 & \cdots & \mathbf{q}_2^T\mathbf{a}_n \\ \vdots & & \ddots & \vdots \\ 0 & 0 & \cdots & \mathbf{q}_n^T\mathbf{a}_n \end{bmatrix}

LA.15 행렬식

정의 15.1 행렬식의 기본 성질

  1. det⁡I=1\det I = 1.
  2. 두 행을 바꾸면 부호가 바뀝니다.
  3. 각 행에 대해 따로따로 선형입니다. 즉 다른 행들을 고정하면

정리 15.2 행렬식의 성질

n×nn \times n 행렬에 대하여

  1. 두 행이 같으면 det⁡A=0\det A = 0.
  2. 한 행에서 다른 행의 배수를 빼도 det⁡A\det A는 변하지 않습니다.
  3. 영행이 있으면 det⁡A=0\det A = 0.
  4. AA가 삼각행렬이면 det⁡A\det A는 대각성분의 곱입니다.
  5. AA가 특이이면 det⁡A=0\det A = 0이고, 가역이면 det⁡A≠0\det A \ne 0입니다.

정리 15.3 곱과 전치

  1. det⁡(AB)=det⁡Adet⁡B\det(AB) = \det A\det B.
  2. det⁡AT=det⁡A\det A^T = \det A.

정리 15.5 행렬식의 큰 공식

det⁡A=∑σsgn⁡(σ) a1σ(1)a2σ(2)⋯anσ(n).\det A = \sum_\sigma \operatorname{sgn}(\sigma)\,a_{1\sigma(1)}a_{2\sigma(2)} \cdots a_{n\sigma(n)}.

정의 15.7 소행렬식과 여인수

AA에서 제ii행과 제jj열을 지운 (n−1)×(n−1)(n - 1) \times (n - 1) 행렬을 MijM_{ij}라 합시다. Cij=(−1)i+jdet⁡MijC_{ij} = (-1)^{i+j}\det M_{ij}를 (i,j)(i, j) 여인수(cofactor)라 합니다.

정리 15.8 여인수 전개

임의의 행 ii에 대하여

det⁡A=ai1Ci1+ai2Ci2+⋯+ainCin.\det A = a_{i1}C_{i1} + a_{i2}C_{i2} + \cdots + a_{in}C_{in}.

정리 15.10 크래머 공식

AA가 가역이면 Ax=bA\mathbf{x} = \mathbf{b}의 해는

xj=det⁡Bjdet⁡A(j=1,…,n)x_j = \frac{\det B_j}{\det A} \quad (j = 1, \ldots, n)

LA.16 고윳값과 대각화

정리 16.2 대각합과 행렬식

AA의 고윳값을 (중복을 세어) λ1,…,λn\lambda_1, \ldots, \lambda_n이라 하면

λ1+⋯+λn=tr⁡A=a11+⋯+ann,λ1λ2⋯λn=det⁡A.\lambda_1 + \cdots + \lambda_n = \operatorname{tr} A = a_{11} + \cdots + a_{nn}, \qquad \lambda_1\lambda_2 \cdots \lambda_n = \det A.

정의 16.10 대수적 중복도와 기하적 중복도

고윳값 λ0\lambda_0에 대해

  • 특성다항식에서 (λ0−λ)(\lambda_0 - \lambda)가 몇 번 인수로 나오는지를 λ0\lambda_0의 대수적 중복도(algebraic multiplicity, AM),
  • dim⁡N(A−λ0I)\dim N(A - \lambda_0 I) (독립인 고유벡터의 개수)를 기하적 중복도(geometric multiplicity, GM)

LA.17 대칭행렬과 양정치 행렬

정리 17.6 양정치의 판정

대칭행렬 SS에 대해 다음은 동치입니다.

  1. SS는 양정치입니다.
  2. 모든 고윳값이 양수입니다.
  3. (행 교환 없는) 소거의 피벗이 모두 양수입니다.
  4. 왼쪽 위 k×kk \times k 부분행렬들의 행렬식(선행 주소행렬식(leading principal minors))이 모두 양수입니다.
  5. 열이 독립인 어떤 AA에 대해 S=ATAS = A^TA입니다.

LA.18 특잇값 분해 (SVD)

정의 18.5 유사역행렬

A=UΣVTA = U\Sigma V^T에 대해 A+=VΣ+UTA^+ = V\Sigma^+U^T를 AA의 유사역행렬(pseudoinverse)이라 합니다. Σ+\Sigma^+는 Σ\Sigma를 전치하고 0이 아닌 σi\sigma_i를 1/σi1/\sigma_i로 바꾼 n×mn \times m 행렬입니다.

LA.19 선형변환의 행렬과 기저변환

정의 19.2 기저에 대한 행렬

T:V→WT : V \to W가 선형이고, VV의 기저 v1,…,vn\mathbf{v}_1, \ldots, \mathbf{v}_n과 WW의 기저 w1,…,wm\mathbf{w}_1, \ldots, \mathbf{w}_m이 주어졌다고 합시다. 각 T(vj)T(\mathbf{v}_j)를 WW의 기저로

정리 19.3 행렬은 좌표를 좌표로 보냅니다

x∈V\mathbf{x} \in V의 입력 기저에 대한 좌표를 c\mathbf{c}라 하면, T(x)T(\mathbf{x})의 출력 기저에 대한 좌표는 AcA\mathbf{c}입니다.

LA.20 체와 벡터공간

정의 20.1 체

집합 F\mathbb{F}에 덧셈 ++와 곱셈 ⋅\cdot이 정의되어 있고 다음을 만족하면 F\mathbb{F}를 체(field)라 합니다. 모든 a,b,c∈Fa, b, c \in \mathbb{F}에 대해

정의 20.3 벡터공간

집합 VV에 덧셈 V×V→VV \times V \to V, (u,v)↦u+v(u, v) \mapsto u + v와 스칼라배 F×V→V\mathbb{F} \times V \to V, (a,v)↦av(a, v) \mapsto av가 정의되어 있고, 모든 u,v,w∈Vu, v, w \in V, a,b∈Fa, b \in \mathbb{F}에 대해 다음을 만족하면 VV를 F\mathbb{F} 위의 벡터공간(vector space)이라 합니다.

정리 20.11 0과의 곱

모든 v∈Vv \in V, a∈Fa \in \mathbb{F}에 대해

  1. 0v=00v = 0 (왼쪽 0은 스칼라, 오른쪽 0은 벡터)
  2. a0=0a0 = 0
  3. (−1)v=−v(-1)v = -v

정의 20.12 부분공간

VV의 부분집합 UU가 VV와 같은 연산으로 벡터공간이 되면 UU를 VV의 부분공간(subspace)이라 합니다.

정리 20.13 부분공간 판정

U⊆VU \subseteq V가 부분공간인 것은 다음 세 조건과 동치입니다.

  1. 0∈U0 \in U
  2. u,w∈U⇒u+w∈Uu, w \in U \Rightarrow u + w \in U
  3. a∈Fa \in \mathbb{F}, u∈U⇒au∈Uu \in U \Rightarrow au \in U

정의 20.15 부분공간의 합

VV의 부분공간 U1,…,UmU_1, \ldots, U_m에 대해

U1+⋯+Um={u1+⋯+um:ui∈Ui}U_1 + \cdots + U_m = \{u_1 + \cdots + u_m : u_i \in U_i\}

정의 20.17 직합

U1+⋯+UmU_1 + \cdots + U_m의 모든 원소가 u1+⋯+umu_1 + \cdots + u_m (ui∈Uiu_i \in U_i)으로 유일하게 쓰이면, 이 합을 직합(direct sum)이라 하고 U1⊕⋯⊕UmU_1 \oplus \cdots \oplus U_m으로 씁니다.

정리 20.18 직합의 판정

  1. U1+⋯+UmU_1 + \cdots + U_m이 직합인 것은 0=u1+⋯+um0 = u_1 + \cdots + u_m (ui∈Uiu_i \in U_i)이면 모든 ui=0u_i = 0인 것과 동치입니다.
  2. 두 부분공간에 대해서는: U+WU + W가 직합   ⟺  \iff U∩W={0}U \cap W = \{0\}.

LA.21 유한차원 벡터공간

정의 21.1 일차결합과 span

VV의 목록 v1,…,vmv_1, \ldots, v_m의 일차결합(linear combination)은 a1v1+⋯+amvma_1v_1 + \cdots + a_mv_m (ai∈Fa_i \in \mathbb{F}) 꼴의 벡터입니다. 일차결합 전체의 집합을 span⁡(v1,…,vm)\operatorname{span}(v_1, \ldots, v_m)으로 쓰고, span⁡()={0}\operatorname{span}() = \{0\}으로 약속합니다. span⁡(v1,…,vm)=V\operatorname{span}(v_1, \ldots, v_m) = V이면 이 목록이 VV를 span한다(spans)고 합니다.

정의 21.2 유한차원

유한한 목록으로 span되는 벡터공간을 유한차원(finite-dimensional)이라 하고, 그렇지 않으면 무한차원(infinite-dimensional)이라 합니다.

정의 21.8 기저

일차독립이면서 VV를 span하는 목록을 VV의 기저(basis)라 합니다.

정의 21.13 차원

유한차원 벡터공간 VV의 기저의 길이를 VV의 차원(dimension)이라 하고 dim⁡V\dim V로 씁니다.

LA.22 선형사상

정리 22.3 기저에서의 값이 선형사상을 결정합니다

v1,…,vnv_1, \ldots, v_n이 VV의 기저이고 w1,…,wn∈Ww_1, \ldots, w_n \in W가 임의로 주어지면, Tvj=wjTv_j = w_j (j=1,…,nj = 1, \ldots, n)인 선형사상 T:V→WT : V \to W가 정확히 하나 존재합니다.

정의 22.5 선형사상의 곱

T∈L(U,V)T \in \mathcal{L}(U, V), S∈L(V,W)S \in \mathcal{L}(V, W)에 대해 ST∈L(U,W)ST \in \mathcal{L}(U, W)를 (ST)u=S(Tu)(ST)u = S(Tu)로 정의합니다.

정의 22.6 영공간과 치역

T∈L(V,W)T \in \mathcal{L}(V, W)에 대해

null⁡T={v∈V:Tv=0},range⁡T={Tv:v∈V}\operatorname{null} T = \{v \in V : Tv = 0\}, \qquad \operatorname{range} T = \{Tv : v \in V\}

정리 22.8 단사와 영공간

TT가 단사인 것은 null⁡T={0}\operatorname{null} T = \{0\}인 것과 동치입니다.

문제 4.12와 같은 증명입니다. 전사는 정의대로 range⁡T=W\operatorname{range} T = W입니다.

정리 22.11 행렬의 성질

기저를 고정하면

  1. M(S+T)=M(S)+M(T)\mathcal{M}(S + T) = \mathcal{M}(S) + \mathcal{M}(T), M(aT)=aM(T)\mathcal{M}(aT) = a\mathcal{M}(T).
  2. M(ST)=M(S)M(T)\mathcal{M}(ST) = \mathcal{M}(S)\mathcal{M}(T) (가운데 공간에서 같은 기저를 쓸 때).
  3. M(Tv)=M(T)M(v)\mathcal{M}(Tv) = \mathcal{M}(T)\mathcal{M}(v).

정의 22.13 가역과 동형

T∈L(V,W)T \in \mathcal{L}(V, W)에 대해 ST=IVST = I_V, TS=IWTS = I_W인 S∈L(W,V)S \in \mathcal{L}(W, V)가 있으면 TT를 가역(invertible)이라 합니다. 가역인 선형사상을 동형사상(isomorphism)이라 하고, VV에서 WW로의 동형사상이 존재하면 VV와 WW가 동형(isomorphic)이라 하며 V≅WV \cong W로 씁니다.

정리 22.15 L(V,W)≅Fm×n\mathcal{L}(V, W) \cong \mathbb{F}^{m \times n}

dim⁡V=n\dim V = n, dim⁡W=m\dim W = m이면 기저를 고정했을 때 T↦M(T)T \mapsto \mathcal{M}(T)는 L(V,W)\mathcal{L}(V, W)에서 Fm×n\mathbb{F}^{m \times n}으로의 동형사상입니다. 따라서 dim⁡L(V,W)=mn\dim\mathcal{L}(V, W) = mn.

정리 22.20 제1 동형정리

T∈L(V,W)T \in \mathcal{L}(V, W)이면 T~(v+null⁡T)=Tv\tilde{T}(v + \operatorname{null} T) = Tv로 정의한 T~:V/null⁡T→range⁡T\tilde{T} : V/\operatorname{null} T \to \operatorname{range} T는 동형사상입니다.

정의 22.23 쌍대기저

v1,…,vnv_1, \ldots, v_n이 VV의 기저일 때, φj(vk)={1(k=j)0(k≠j)\varphi_j(v_k) = \begin{cases} 1 & (k = j) \\ 0 & (k \ne j) \end{cases}로 정한 φ1,…,φn∈V′\varphi_1, \ldots, \varphi_n \in V'을 쌍대기저(dual basis)라 합니다.

정의 22.24 쌍대사상

T∈L(V,W)T \in \mathcal{L}(V, W)의 쌍대사상(dual map) T′∈L(W′,V′)T' \in \mathcal{L}(W', V')은 T′(φ)=φ∘TT'(\varphi) = \varphi \circ T로 정의합니다.

정의 22.26 소멸자

U⊆VU \subseteq V의 소멸자(annihilator)는 U0={φ∈V′:φ(u)=0 ∀u∈U}U^0 = \{\varphi \in V' : \varphi(u) = 0\ \forall u \in U\}입니다.

정리 22.27 쌍대사상과 4대 부분공간

VV, WW가 유한차원이고 T∈L(V,W)T \in \mathcal{L}(V, W)이면

  1. dim⁡U0=dim⁡V−dim⁡U\dim U^0 = \dim V - \dim U.
  2. null⁡T′=(range⁡T)0\operatorname{null} T' = (\operatorname{range} T)^0.
  3. dim⁡range⁡T′=dim⁡range⁡T\dim\operatorname{range} T' = \dim\operatorname{range} T.

LA.23 다항식

정리 23.1 0이 되는 다항식

a0+a1x+⋯+amxm=0a_0 + a_1x + \cdots + a_mx^m = 0이 모든 x∈Fx \in \mathbb{F} (또는 서로 다른 m+1m + 1개의 xx)에서 성립하면 a0=a1=⋯=am=0a_0 = a_1 = \cdots = a_m = 0입니다.

정리 23.3 인수정리

p∈P(F)p \in \mathcal{P}(\mathbb{F}), λ∈F\lambda \in \mathbb{F}에 대해 p(λ)=0p(\lambda) = 0인 것은 p(x)=(x−λ)q(x)p(x) = (x - \lambda)q(x)인 다항식 qq가 있는 것과 동치입니다.

따름정리 23.4 근의 개수

차수가 m≥0m \ge 0인 다항식은 근을 많아야 mm개 갖습니다.

정리 23.5 대수학의 기본정리

상수가 아닌 모든 복소계수 다항식은 복소수 근을 적어도 하나 갖습니다.

따름정리 23.6 복소수 범위의 인수분해

p∈P(C)p \in \mathcal{P}(\mathbb{C}), deg⁡p=m≥1\deg p = m \ge 1이면

p(z)=c(z−λ1)(z−λ2)⋯(z−λm)p(z) = c(z - \lambda_1)(z - \lambda_2) \cdots (z - \lambda_m)

정리 23.7 켤레근

pp가 실수 계수 다항식이고 λ∈C\lambda \in \mathbb{C}가 근이면 λˉ\bar\lambda도 근입니다.

정리 23.8 실수 범위의 인수분해

상수가 아닌 실수 계수 다항식은 실수 계수의 일차식들과, 판별식이 음수인 이차식들(x2+bx+cx^2 + bx + c, b2<4cb^2 < 4c)의 곱으로 인수분해됩니다.

따름정리 23.9 홀수 차수

홀수 차수의 실수 계수 다항식은 실근을 적어도 하나 갖습니다.

비실근은 짝으로 나오므로 그 개수는 짝수이고, 전체 근의 개수(홀수)에서 빼면 실근이 적어도 하나 남습니다. 따라서 홀수 차원의 실수 행렬은 실수 고윳값을 반드시 갖습니다. 예를 들어 R3\mathbb{R}^3의 모든 회전에는 회전축(고윳값 1의 고유벡터)이 있습니다(문제 23.8).

정의 23.10 p(T)p(T)

T∈L(V)T \in \mathcal{L}(V)와 p(x)=a0+a1x+⋯+amxmp(x) = a_0 + a_1x + \cdots + a_mx^m에 대해

정리 23.11 다항식 대입의 성질

p,q∈P(F)p, q \in \mathcal{P}(\mathbb{F}), T∈L(V)T \in \mathcal{L}(V)이면

(p+q)(T)=p(T)+q(T),(pq)(T)=p(T)q(T)=q(T)p(T).(p + q)(T) = p(T) + q(T), \qquad (pq)(T) = p(T)q(T) = q(T)p(T).

LA.24 고윳값, 불변부분공간, 최소다항식

정의 24.1 불변부분공간

T∈L(V)T \in \mathcal{L}(V)와 부분공간 UU에 대해, 모든 u∈Uu \in U에서 Tu∈UTu \in U이면 UU를 TT에 대한 불변부분공간(invariant subspace)이라 합니다.

정의 24.3 고윳값과 고유벡터

T∈L(V)T \in \mathcal{L}(V)에 대해 Tv=λvTv = \lambda v인 v≠0v \ne 0이 있으면 λ∈F\lambda \in \mathbb{F}를 TT의 고윳값(eigenvalue), vv를 고유벡터(eigenvector)라 합니다. E(λ,T)=null⁡(T−λI)E(\lambda, T) = \operatorname{null}(T - \lambda I)를 고유공간(eigenspace)이라 합니다.

정리 24.4 고윳값의 동치 조건

λ∈F\lambda \in \mathbb{F}에 대해 다음은 동치입니다.

  1. λ\lambda는 TT의 고윳값입니다.
  2. T−λIT - \lambda I는 단사가 아닙니다.
  3. T−λIT - \lambda I는 전사가 아닙니다.
  4. T−λIT - \lambda I는 가역이 아닙니다.

정리 24.5 서로 다른 고윳값의 고유벡터는 독립

λ1,…,λm\lambda_1, \ldots, \lambda_m이 서로 다른 고윳값이고 vkv_k가 각각의 고유벡터이면 v1,…,vmv_1, \ldots, v_m은 일차독립입니다. 따라서 TT의 고윳값은 많아야 nn개입니다.

정리 24.9 최소다항식은 모든 소멸다항식을 나눕니다

q(T)=0q(T) = 0인 것은 mTm_T가 qq를 나누는 것과 동치입니다.

정리 24.12 위삼각의 조건

VV의 기저 v1,…,vnv_1, \ldots, v_n에 대해 다음은 동치입니다.

  1. M(T)\mathcal{M}(T)는 위삼각입니다.
  2. 각 kk에 대해 Tvk∈span⁡(v1,…,vk)Tv_k \in \operatorname{span}(v_1, \ldots, v_k).
  3. 각 kk에 대해 span⁡(v1,…,vk)\operatorname{span}(v_1, \ldots, v_k)는 TT에 대해 불변입니다.

정리 24.14 위삼각행렬에서 읽는 것

M(T)\mathcal{M}(T)가 위삼각이고 대각성분이 λ1,…,λn\lambda_1, \ldots, \lambda_n이면

  1. TT의 고윳값은 정확히 λ1,…,λn\lambda_1, \ldots, \lambda_n입니다.
  2. TT가 가역인 것은 모든 λk≠0\lambda_k \ne 0인 것과 동치입니다.
  3. (T−λ1I)⋯(T−λnI)=0(T - \lambda_1I) \cdots (T - \lambda_nI) = 0.

LA.25 내적공간

정리 25.4 피타고라스

u⊥vu \perp v이면 ∥u+v∥2=∥u∥2+∥v∥2\lVert u + v \rVert^2 = \lVert u \rVert^2 + \lVert v \rVert^2.

정리 25.5 수직 분해

v≠0v \ne 0이면 모든 uu는 u=cv+wu = cv + w (w⊥vw \perp v)로 쓰이며, c=⟨u,v⟩∥v∥2c = \dfrac{\langle u, v \rangle}{\lVert v \rVert^2}입니다.

정리 25.6 코시–슈바르츠 부등식

∣⟨u,v⟩∣≤∥u∥∥v∥\lvert \langle u, v \rangle \rvert \le \lVert u \rVert\lVert v \rVert. 등호는 한쪽이 다른 쪽의 스칼라배일 때만 성립합니다.

정의 25.8 정규직교 목록

⟨ej,ek⟩=δjk\langle e_j, e_k \rangle = \delta_{jk} (j=kj = k이면 1, 아니면 0)인 목록을 정규직교(orthonormal)라 합니다.

정리 25.9 정규직교 기저에서의 좌표

e1,…,ene_1, \ldots, e_n이 VV의 정규직교 기저이면 모든 vv에 대해

v=⟨v,e1⟩e1+⋯+⟨v,en⟩en,∥v∥2=∣⟨v,e1⟩∣2+⋯+∣⟨v,en⟩∣2.v = \langle v, e_1 \rangle e_1 + \cdots + \langle v, e_n \rangle e_n, \qquad \lVert v \rVert^2 = \lvert \langle v, e_1 \rangle \rvert^2 + \cdots + \lvert \langle v, e_n \rangle \rvert^2.

정리 25.10 그람–슈미트

v1,…,vmv_1, \ldots, v_m이 독립이면, 각 kk에 대해 span⁡(e1,…,ek)=span⁡(v1,…,vk)\operatorname{span}(e_1, \ldots, e_k) = \operatorname{span}(v_1, \ldots, v_k)인 정규직교 목록 e1,…,eme_1, \ldots, e_m이 있습니다. 구체적으로

정의 25.15 직교여공간

U⊆VU \subseteq V에 대해 U⊥={v∈V:⟨v,u⟩=0 ∀u∈U}U^\perp = \{v \in V : \langle v, u \rangle = 0\ \forall u \in U\}.

정의 25.17 직교사영

v=u+wv = u + w (u∈Uu \in U, w∈U⊥w \in U^\perp)일 때 PUv=uP_Uv = u로 정의한 PU∈L(V)P_U \in \mathcal{L}(V)를 UU 위로의 직교사영(orthogonal projection)이라 합니다. UU의 정규직교 기저로

LA.26 내적공간 위의 연산자

정리 26.3 수반의 성질

  1. (S+T)∗=S∗+T∗(S + T)^* = S^* + T^*, (aT)∗=aˉT∗(aT)^* = \bar aT^*, (T∗)∗=T(T^*)^* = T, I∗=II^* = I.
  2. (ST)∗=T∗S∗(ST)^* = T^*S^*.
  3. null⁡T∗=(range⁡T)⊥\operatorname{null} T^* = (\operatorname{range} T)^\perp, range⁡T∗=(null⁡T)⊥\operatorname{range} T^* = (\operatorname{null} T)^\perp.

정리 26.6 복소 공간에서 ⟨Tv,v⟩=0\langle Tv, v \rangle = 0

F=C\mathbb{F} = \mathbb{C}이고 모든 vv에 대해 ⟨Tv,v⟩=0\langle Tv, v \rangle = 0이면 T=0T = 0입니다.

정의 26.7 정규 연산자

TT∗=T∗TTT^* = T^*T인 T∈L(V)T \in \mathcal{L}(V)를 정규(normal)라 합니다.

정의 26.13 등거리사상

모든 vv에 대해 ∥Sv∥=∥v∥\lVert Sv \rVert = \lVert v \rVert인 S∈L(V)S \in \mathcal{L}(V)를 등거리사상(isometry)이라 합니다. 복소 공간에서는 유니터리(unitary), 실수 공간에서는 직교(orthogonal) 연산자라고도 합니다.

정리 26.14 등거리사상의 동치 조건

다음은 동치입니다.

  1. SS는 등거리사상입니다.
  2. 모든 u,vu, v에 대해 ⟨Su,Sv⟩=⟨u,v⟩\langle Su, Sv \rangle = \langle u, v \rangle.
  3. S∗S=IS^*S = I.
  4. SS는 어떤(또는 모든) 정규직교 기저를 정규직교 목록으로 보냅니다.
  5. SS는 가역이고 S−1=S∗S^{-1} = S^*.

LA.27 조르당 형식

정리 27.1 영공간의 사슬

{0}=null⁡T0⊆null⁡T1⊆null⁡T2⊆⋯\{0\} = \operatorname{null} T^0 \subseteq \operatorname{null} T^1 \subseteq \operatorname{null} T^2 \subseteq \cdots

정의 27.10 특성다항식

λ1,…,λm\lambda_1, \ldots, \lambda_m의 중복도가 d1,…,dmd_1, \ldots, d_m일 때

q(z)=(z−λ1)d1⋯(z−λm)dmq(z) = (z - \lambda_1)^{d_1} \cdots (z - \lambda_m)^{d_m}

정의 27.14 조르당 블록

k×kk \times k 행렬

Jk(λ)=[λ1λ⋱⋱1λ]J_k(\lambda) = \begin{bmatrix} \lambda & 1 & & \\ & \lambda & \ddots & \\ & & \ddots & 1 \\ & & & \lambda \end{bmatrix}

LA.28 다중선형 형식과 행렬식

정의 28.1 다중선형 형식

함수 α:Vm=V×⋯×V→F\alpha : V^m = V \times \cdots \times V \to \mathbb{F}가 각 자리에서 따로 선형일 때, 즉 다른 자리를 고정하면

정리 28.3 쌍선형 형식과 행렬

e1,…,ene_1, \ldots, e_n이 VV의 기저이고 β∈V(2)\beta \in V^{(2)}이면, B=[bij]B = [b_{ij}], bij=β(ei,ej)b_{ij} = \beta(e_i, e_j)에 대해

정의 28.4 교대 형식

α∈V(m)\alpha \in V^{(m)}이 두 자리에 같은 벡터를 넣으면 0이 될 때, 즉 i≠ji \ne j이고 vi=vjv_i = v_j이면 α(v1,…,vm)=0\alpha(v_1, \ldots, v_m) = 0일 때 α\alpha를 교대(alternating) 형식이라 합니다. 교대 mm-형식 전체를 Valt(m)V^{(m)}_{\mathrm{alt}}라 씁니다.

정리 28.6 교대 형식의 성질

α∈Valt(m)\alpha \in V^{(m)}_{\mathrm{alt}}이면

  1. 두 자리를 바꾸면 부호가 바뀝니다.
  2. v1,…,vmv_1, \ldots, v_m이 일차종속이면 α(v1,…,vm)=0\alpha(v_1, \ldots, v_m) = 0.
  3. m>nm > n이면 α=0\alpha = 0.

정리 28.7 교대 nn-형식의 공간

dim⁡Valt(n)=1\dim V^{(n)}_{\mathrm{alt}} = 1. 구체적으로 e1,…,ene_1, \ldots, e_n이 기저이고 vj=∑ixijeiv_j = \sum_i x_{ij}e_i이면, 모든 교대 nn-형식 α\alpha에 대해

정의 28.8 연산자의 행렬식

α≠0\alpha \ne 0인 교대 nn-형식에 대해 αT=c α\alpha_T = c\,\alpha일 때 det⁡T=c\det T = c로 정의합니다. 즉 모든 v1,…,vnv_1, \ldots, v_n에 대해

정리 28.9 연산자 행렬식의 성질

S,T∈L(V)S, T \in \mathcal{L}(V)에 대하여

  1. det⁡I=1\det I = 1.
  2. det⁡(ST)=det⁡Sdet⁡T\det(ST) = \det S\det T.
  3. TT가 가역   ⟺  \iff det⁡T≠0\det T \ne 0.
  4. 임의의 기저에서 det⁡T=det⁡M(T)\det T = \det\mathcal{M}(T).

정리 28.11 행렬식의 절댓값

∣det⁡T∣=s1s2⋯sn\lvert \det T \rvert = s_1s_2 \cdots s_n. 여기서 sjs_j는 TT의 특잇값입니다.

정의 28.12 외적

u,v∈R3\mathbf{u}, \mathbf{v} \in \mathbb{R}^3의 외적(cross product) u×v\mathbf{u} \times \mathbf{v}는 모든 w∈R3\mathbf{w} \in \mathbb{R}^3에 대해

정리 28.13 외적의 성질

  1. v×u=−u×v\mathbf{v} \times \mathbf{u} = -\mathbf{u} \times \mathbf{v}, 그리고 u×v\mathbf{u} \times \mathbf{v}는 두 자리에서 각각 선형입니다.
  2. u×v\mathbf{u} \times \mathbf{v}는 u\mathbf{u}와 v\mathbf{v}에 모두 수직입니다.
  3. u×v=0  ⟺  u,v\mathbf{u} \times \mathbf{v} = \mathbf{0} \iff \mathbf{u}, \mathbf{v}가 일차종속.
  4. ∥u×v∥\lVert \mathbf{u} \times \mathbf{v} \rVert는 u,v\mathbf{u}, \mathbf{v}가 만드는 평행사변형의 넓이이고, u,v,u×v\mathbf{u}, \mathbf{v}, \mathbf{u} \times \mathbf{v}는 이 순서로 det⁡>0\det > 0인 기저(오른손 기저)입니다.

LA.29 다항식 위의 모듈과 유리 표준형

정의 29.1 순환 부분공간

v∈Vv \in V에 대해 Z(v,T)=span⁡(v,Tv,T2v,…)Z(v, T) = \operatorname{span}(v, Tv, T^2v, \ldots)를 vv가 생성하는 순환 부분공간(cyclic subspace)이라 합니다. V=Z(v,T)V = Z(v, T)인 vv가 있으면 TT를 순환(cyclic)이라 합니다.

정리 29.9 스미스 표준형

R=ZR = \mathbb{Z} 또는 F[x]\mathbb{F}[x] 위의 m×nm \times n 행렬 MM은 기본 연산으로

[d1⋱drO],d1∣d2∣⋯∣dr, di≠0\begin{bmatrix} d_1 & & & \\ & \ddots & & \\ & & d_r & \\ & & & O \end{bmatrix}, \qquad d_1 \mid d_2 \mid \cdots \mid d_r,\ d_i \ne 0

정리 29.11 유리 표준형

모든 T∈L(V)T \in \mathcal{L}(V)에 대해 V=Z(v1,T)⊕⋯⊕Z(vr,T)V = Z(v_1, T) \oplus \cdots \oplus Z(v_r, T)인 v1,…,vrv_1, \ldots, v_r이 있고, T∣Z(vi,T)T|_{Z(v_i,T)}의 최소다항식 did_i가 d1∣d2∣⋯∣drd_1 \mid d_2 \mid \cdots \mid d_r을 만족합니다. 이 기저에서

따름정리 29.12 닮음 판정

n×nn \times n 행렬 A,BA, B에 대해 다음은 동치입니다.

  1. AA와 BB는 닮았습니다.
  2. xI−AxI - A와 xI−BxI - B의 스미스 표준형이 같습니다.
  3. 모든 kk에 대해 Δk(xI−A)=Δk(xI−B)\Delta_k(xI - A) = \Delta_k(xI - B).

정리 29.14 중국인의 나머지 정리

a,b∈F[x]a, b \in \mathbb{F}[x]의 최대공약수가 1이면 F[x]/(ab)≅F[x]/(a)⊕F[x]/(b)\mathbb{F}[x]/(ab) \cong \mathbb{F}[x]/(a) \oplus \mathbb{F}[x]/(b).

LA.30 수치선형대수

정리 30.4 연산자 노름의 성질

  1. ∥⋅∥\lVert \cdot \rVert는 Fm×n\mathbb{F}^{m \times n} 위의 노름이고, ∥Ax∥≤∥A∥∥x∥\lVert A\mathbf{x} \rVert \le \lVert A \rVert\lVert \mathbf{x} \rVert, ∥AB∥≤∥A∥∥B∥\lVert AB \rVert \le \lVert A \rVert\lVert B \rVert.
  2. ∥A∥2=σ1\lVert A \rVert_2 = \sigma_1 (가장 큰 특잇값).
  3. ∥A∥1=max⁡j∑i∣aij∣\lVert A \rVert_1 = \max_j \sum_i \lvert a_{ij} \rvert (열의 절댓값 합의 최댓값), ∥A∥∞=max⁡i∑j∣aij∣\lVert A \rVert_\infty = \max_i \sum_j \lvert a_{ij} \rvert (행의 절댓값 합의 최댓값).

정리 30.7 조건수와 오차

Ax=bA\mathbf{x} = \mathbf{b}이고 A(x+δx)=b+δbA(\mathbf{x} + \delta\mathbf{x}) = \mathbf{b} + \delta\mathbf{b}이면

∥δx∥∥x∥≤κ(A)∥δb∥∥b∥.\frac{\lVert \delta\mathbf{x} \rVert}{\lVert \mathbf{x} \rVert} \le \kappa(A)\frac{\lVert \delta\mathbf{b} \rVert}{\lVert \mathbf{b} \rVert}.

정의 30.9 후방 안정

Ax=bA\mathbf{x} = \mathbf{b}를 푸는 알고리즘의 출력 x^\hat{\mathbf{x}}가 어떤 δA\delta A에 대해 (A+δA)x^=b(A + \delta A)\hat{\mathbf{x}} = \mathbf{b}를 정확히 만족하고 ∥δA∥/∥A∥\lVert \delta A \rVert/\lVert A \rVert가 ϵmach\epsilon_{\mathrm{mach}}의 적당한 배수 이하이면, 알고리즘이 후방 안정(backward stable)이라 합니다.

정리 30.11 하우스홀더 반사로 0 만들기

a∈Rm\mathbf{a} \in \mathbb{R}^m, a≠0\mathbf{a} \ne \mathbf{0}, s=±∥a∥2s = \pm\lVert \mathbf{a} \rVert_2 (a1a_1과 같은 부호)이고 v=a+se1\mathbf{v} = \mathbf{a} + s\mathbf{e}_1, H=I−2vvTvTvH = I - 2\dfrac{\mathbf{v}\mathbf{v}^T}{\mathbf{v}^T\mathbf{v}}이면

정리 30.13 거듭제곱법

AA가 대각화 가능하고 고윳값이 ∣λ1∣>∣λ2∣≥⋯≥∣λn∣\lvert \lambda_1 \rvert > \lvert \lambda_2 \rvert \ge \cdots \ge \lvert \lambda_n \rvert, 고유벡터가 q1,…,qn\mathbf{q}_1, \ldots, \mathbf{q}_n이라 합시다. x0=∑ciqi\mathbf{x}_0 = \sum c_i\mathbf{q}_i에서 c1≠0c_1 \ne 0이면 Akx0A^k\mathbf{x}_0의 방향은 q1\mathbf{q}_1의 방향으로 수렴하고, 오차는 ∣λ2/λ1∣k\lvert \lambda_2/\lambda_1 \rvert^k에 비례해 줄어듭니다.

정리 30.15 QR 알고리즘과 거듭제곱

Qˉk=Q0Q1⋯Qk−1\bar{Q}_k = Q_0Q_1 \cdots Q_{k-1}, Rˉk=Rk−1⋯R1R0\bar{R}_k = R_{k-1} \cdots R_1R_0이라 하면 Ak=QˉkRˉkA^k = \bar{Q}_k\bar{R}_k입니다. 즉 Qˉk\bar{Q}_k는 AkA^k의 QR 분해의 QQ입니다.

정의 30.16 스펙트럼 반지름

ρ(M)=max⁡{∣λ∣:λ는 M의 (복소) 고윳값}\rho(M) = \max\{ \lvert \lambda \rvert : \lambda\text{는 } M\text{의 (복소) 고윳값} \}을 스펙트럼 반지름(spectral radius)이라 합니다.

정리 30.17 거듭제곱이 0으로 가는 조건

Mk→O  ⟺  ρ(M)<1M^k \to O \iff \rho(M) < 1.

LA.31 응용

정리 31.2 마르코프 행렬의 고윳값

AA가 마르코프 행렬이면

  1. 1은 AA의 고윳값이고, 모든 고윳값은 ∣λ∣≤1\lvert \lambda \rvert \le 1입니다.
  2. 성분이 모두 양수이면, λ≠1\lambda \ne 1인 고윳값은 ∣λ∣<1\lvert \lambda \rvert < 1이고 1의 일반화 고유공간은 1차원입니다. 따라서 정상 상태 x∞\mathbf{x}_\infty가 유일하고 성분이 모두 양수이며, 성분의 합이 1인 모든 x0≥0\mathbf{x}_0 \ge 0에 대해 Akx0→x∞A^k\mathbf{x}_0 \to \mathbf{x}_\infty입니다.

정리 31.5 주성분

SS의 고윳값을 λ1≥⋯≥λp\lambda_1 \ge \cdots \ge \lambda_p, 정규직교 고유벡터를 q1,…,qp\mathbf{q}_1, \ldots, \mathbf{q}_p라 합시다. 분산 uTSu\mathbf{u}^TS\mathbf{u}를 최대로 하는 단위벡터는 q1\mathbf{q}_1이고 최댓값은 λ1\lambda_1입니다. q1,…,qk−1\mathbf{q}_1, \ldots, \mathbf{q}_{k-1}에 수직인 단위벡터 중에서는 qk\mathbf{q}_k가 최대이고 값은 λk\lambda_k입니다.

정의 31.7 그래프 라플라시안

L=ATAL = A^TA를 그래프 라플라시안(graph Laplacian)이라 합니다. L=D−WL = D - W입니다. 여기서 DD는 각 꼭짓점의 차수를 대각에 둔 행렬, WW는 인접행렬(i,ji, j가 이웃이면 1)입니다.

정리 31.8 라플라시안의 성질

  1. xTLx=∑변 ij(xi−xj)2≥0\mathbf{x}^TL\mathbf{x} = \sum_{\text{변 } ij}(x_i - x_j)^2 \ge 0. LL은 대칭 양의 준정부호입니다.
  2. LL의 고윳값 0의 중복도는 그래프의 연결 성분의 개수입니다.

정의 31.10 해밍 부호

열이 1,…,71, \ldots, 7의 이진 표현인 3×73 \times 7 행렬

H=[000111101100111010101]H = \begin{bmatrix} 0 & 0 & 0 & 1 & 1 & 1 & 1 \\ 0 & 1 & 1 & 0 & 0 & 1 & 1 \\ 1 & 0 & 1 & 0 & 1 & 0 & 1 \end{bmatrix}

정리 31.11 해밍 부호의 성질

  1. dim⁡C=4\dim C = 4, 즉 부호어는 24=162^4 = 16개입니다.
  2. 서로 다른 두 부호어는 적어도 3개의 자리에서 다릅니다.
  3. 부호어 c\mathbf{c}의 ii번째 비트가 뒤집혀 r=c+ei\mathbf{r} = \mathbf{c} + \mathbf{e}_i를 받으면, HrH\mathbf{r}은 ii의 이진 표현입니다.

정의 31.14 행렬 지수함수

eM=I+M+M22!+M33!+⋯e^M = I + M + \dfrac{M^2}{2!} + \dfrac{M^3}{3!} + \cdots.

정리 31.15 대각화로 푸는 미분방정식

A=QΛQ−1A = Q\Lambda Q^{-1}이면 eAt=QeΛtQ−1e^{At} = Qe^{\Lambda t}Q^{-1}, eΛt=diag⁡(eλ1t,…,eλnt)e^{\Lambda t} = \operatorname{diag}(e^{\lambda_1t}, \ldots, e^{\lambda_nt})이고

LA.32 텐서곱

정리 32.3 크로네커 곱의 성질

크기가 맞으면

  1. (A⊗B)(C⊗D)=AC⊗BD(A \otimes B)(C \otimes D) = AC \otimes BD (혼합곱 법칙).
  2. (A⊗B)T=AT⊗BT(A \otimes B)^T = A^T \otimes B^T, (A⊗B)−1=A−1⊗B−1(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}.
  3. Ax=λxA\mathbf{x} = \lambda\mathbf{x}, By=μyB\mathbf{y} = \mu\mathbf{y}이면 (A⊗B)(x⊗y)=λμ (x⊗y)(A \otimes B)(\mathbf{x} \otimes \mathbf{y}) = \lambda\mu\,(\mathbf{x} \otimes \mathbf{y}).
  4. AA가 n×nn \times n, BB가 p×pp \times p이면 tr⁡(A⊗B)=tr⁡Atr⁡B\operatorname{tr}(A \otimes B) = \operatorname{tr} A\operatorname{tr} B, det⁡(A⊗B)=(det⁡A)p(det⁡B)n\det(A \otimes B) = (\det A)^p(\det B)^n.

정의 32.4 텐서곱

V′×W′V' \times W' 위의 쌍선형 형식 전체의 공간을 V⊗WV \otimes W라 하고 텐서곱(tensor product)이라 합니다. v∈Vv \in V, w∈Ww \in W에 대해 v⊗w∈V⊗Wv \otimes w \in V \otimes W를

정리 32.5 텐서곱의 기저

e1,…,eme_1, \ldots, e_m과 f1,…,fnf_1, \ldots, f_n이 VV, WW의 기저이면 ei⊗fje_i \otimes f_j (mnmn개)는 V⊗WV \otimes W의 기저입니다. 따라서 dim⁡(V⊗W)=mn\dim(V \otimes W) = mn입니다.

정리 32.6 순수 텐서와 랭크 1

τ\tau가 순수 텐서인 것은 계수 행렬의 랭크가 1 이하인 것과 동치입니다. 일반적으로 τ\tau는 계수 행렬의 랭크 rr개의 순수 텐서의 합으로 쓸 수 있고, 그보다 적게는 안 됩니다.

정리 32.8 슈미트 분해

VV, WW가 내적공간이면 모든 τ∈V⊗W\tau \in V \otimes W는

τ=σ1 u1⊗w1+⋯+σr ur⊗wr(σi>0, ui와 wi는 각각 정규직교)\tau = \sigma_1\,u_1 \otimes w_1 + \cdots + \sigma_r\,u_r \otimes w_r \qquad (\sigma_i > 0,\ u_i\text{와 } w_i\text{는 각각 정규직교})