대칭행렬(전치해도 같은 행렬)은 고윳값이 모두 실수이고, 고유벡터를 서로 수직으로 고를 수 있다는 아름다운 성질이 있습니다. 이 장에서는 이 성질(스펙트럼 정리)과, 모든 고윳값이 양수인 양정치 행렬을 다룹니다. 공분산 행렬, 최적화의 이계도함수(헤세 행렬), 물리의 관성 텐서가 모두 대칭행렬입니다.
17.1 가장 중요한 행렬
질문. A T A A^TA A T A (최소제곱), 자료의 공분산 행렬, 용수철 계의 강성행렬, 다변수 함수의 이계도함수 행렬은 모두 대칭입니다. 대칭행렬은 고윳값과 고유벡터에서 어떤 특별한 성질을 가질까요?
16장에서 일반적인 행렬은 고윳값이 복소수일 수 있고, 고유벡터가 모자라 대각화가 안 될 수도 있었습니다. 대칭행렬에서는 이런 문제가 모두 사라집니다. 고윳값은 실수이고, 고유벡터는 언제나 충분하며, 게다가 서로 수직으로 고를 수 있습니다. 예제 16.3에서 이미 그것을 보았습니다. 이 장의 중심은 이 사실, 스펙트럴 정리입니다.
이 장에서 S S S 는 언제나 실수 대칭행렬(S T = S S^T = S S T = S )입니다.
17.2 실수 고윳값
정리 17.1 (대칭행렬의 고윳값은 실수입니다). 실수 대칭행렬의 고윳값은 모두 실수입니다.
증명. S x = λ x S\mathbf{x} = \lambda\mathbf{x} S x = λ x (λ ∈ C \lambda \in \mathbb{C} λ ∈ C , x ∈ C n \mathbf{x} \in \mathbb{C}^n x ∈ C n , x ≠ 0 \mathbf{x} \ne \mathbf{0} x = 0 )라 합시다. 켤레를 취하면 S S S 가 실수이므로 S x ˉ = λ ˉ x ˉ S\bar{\mathbf{x}} = \bar\lambda\bar{\mathbf{x}} S x ˉ = λ ˉ x ˉ . 수 x ˉ T S x \bar{\mathbf{x}}^TS\mathbf{x} x ˉ T S x 를 두 가지로 계산합니다.
x ˉ T ( S x ) = λ x ˉ T x , x ˉ T S x = ( S T x ˉ ) T x = ( S x ˉ ) T x = λ ˉ x ˉ T x . \bar{\mathbf{x}}^T(S\mathbf{x}) = \lambda\,\bar{\mathbf{x}}^T\mathbf{x}, \qquad \bar{\mathbf{x}}^TS\mathbf{x} = (S^T\bar{\mathbf{x}})^T\mathbf{x} = (S\bar{\mathbf{x}})^T\mathbf{x} = \bar\lambda\,\bar{\mathbf{x}}^T\mathbf{x}. x ˉ T ( S x ) = λ x ˉ T x , x ˉ T S x = ( S T x ˉ ) T x = ( S x ˉ ) T x = λ ˉ x ˉ T x .
둘째 계산에서 S T = S S^T = S S T = S 를 썼습니다. x ˉ T x = ∑ ∣ x i ∣ 2 > 0 \bar{\mathbf{x}}^T\mathbf{x} = \sum \lvert x_i \rvert^2 > 0 x ˉ T x = ∑ ∣ x i ∣ 2 > 0 이므로 λ = λ ˉ \lambda = \bar\lambda λ = λ ˉ , 즉 λ \lambda λ 는 실수입니다. ■
고윳값이 실수이면 S − λ I S - \lambda I S − λ I 도 실수 행렬이므로 고유벡터도 실수로 고를 수 있습니다.
17.3 수직인 고유벡터
정리 17.2 (대칭행렬의 고유벡터는 수직입니다). 대칭행렬의 서로 다른 고윳값에 대응하는 고유벡터는 서로 수직입니다.
증명. S x = λ 1 x S\mathbf{x} = \lambda_1\mathbf{x} S x = λ 1 x , S y = λ 2 y S\mathbf{y} = \lambda_2\mathbf{y} S y = λ 2 y , λ 1 ≠ λ 2 \lambda_1 \ne \lambda_2 λ 1 = λ 2 라 합시다. 정리 5.13 (3)과 S T = S S^T = S S T = S 에 의해
λ 1 x T y = ( S x ) T y = x T S T y = x T ( S y ) = λ 2 x T y . \lambda_1\mathbf{x}^T\mathbf{y} = (S\mathbf{x})^T\mathbf{y} = \mathbf{x}^TS^T\mathbf{y} = \mathbf{x}^T(S\mathbf{y}) = \lambda_2\mathbf{x}^T\mathbf{y}. λ 1 x T y = ( S x ) T y = x T S T y = x T ( S y ) = λ 2 x T y .
( λ 1 − λ 2 ) x T y = 0 (\lambda_1 - \lambda_2)\mathbf{x}^T\mathbf{y} = 0 ( λ 1 − λ 2 ) x T y = 0 이고 λ 1 ≠ λ 2 \lambda_1 \ne \lambda_2 λ 1 = λ 2 이므로 x T y = 0 \mathbf{x}^T\mathbf{y} = 0 x T y = 0 . ■
두 증명 모두 “S S S 를 내적의 왼쪽에서 오른쪽으로 옮길 수 있습니다”는 한 가지 성질만 썼습니다. 25–26장에서 이 성질을 가진 연산자를 자기수반이라 부르고, 같은 증명을 그대로 씁니다.
17.4 스펙트럴 정리
정리 17.3 (스펙트럴 정리). 모든 실수 대칭행렬 S S S 는
S = Q Λ Q T S = Q\Lambda Q^T S = Q Λ Q T
로 쓸 수 있습니다. Q Q Q 는 직교행렬(열이 정규직교인 고유벡터), Λ \Lambda Λ 는 실수 고윳값의 대각행렬입니다.
고윳값이 모두 다르면 정리 17.2 로 고유벡터가 수직이고, 정규화하면 끝입니다. 고윳값이 겹칠 때도 성립한다는 것이 이 정리의 핵심입니다. 중근의 고유공간 안에서는 그람–슈미트로 수직인 고유벡터를 고를 수 있는데, 문제는 고유벡터가 충분히 있는가입니다. 다음 증명은 그것을 보장합니다.
증명. n n n 에 대한 귀납법. n = 1 n = 1 n = 1 이면 S S S 는 수 하나이고 Q = [ 1 ] Q = [1] Q = [ 1 ] 로 두면 되므로 성립합니다. 정리 17.1 에 의해 S S S 는 실수 고윳값 λ 1 \lambda_1 λ 1 과 단위 고유벡터 q 1 ∈ R n \mathbf{q}_1 \in \mathbb{R}^n q 1 ∈ R n 을 갖습니다. q 1 \mathbf{q}_1 q 1 을 정규직교 기저 q 1 , w 2 , … , w n \mathbf{q}_1, \mathbf{w}_2, \ldots, \mathbf{w}_n q 1 , w 2 , … , w n 으로 확장하고(문제 12.10과 그람–슈미트), Q 1 = [ q 1 W ] Q_1 = \begin{bmatrix} \mathbf{q}_1 & W \end{bmatrix} Q 1 = [ q 1 W ] 라 합시다. 그러면
Q 1 T S Q 1 = [ q 1 T S q 1 q 1 T S W W T S q 1 W T S W ] = [ λ 1 0 T 0 S ′ ] . Q_1^TSQ_1 = \begin{bmatrix} \mathbf{q}_1^TS\mathbf{q}_1 & \mathbf{q}_1^TSW \\ W^TS\mathbf{q}_1 & W^TSW \end{bmatrix} = \begin{bmatrix} \lambda_1 & \mathbf{0}^T \\ \mathbf{0} & S' \end{bmatrix}. Q 1 T S Q 1 = [ q 1 T S q 1 W T S q 1 q 1 T S W W T S W ] = [ λ 1 0 0 T S ′ ] .
왼쪽 아래 W T S q 1 = λ 1 W T q 1 = 0 W^TS\mathbf{q}_1 = \lambda_1W^T\mathbf{q}_1 = \mathbf{0} W T S q 1 = λ 1 W T q 1 = 0 (W W W 의 열은 q 1 \mathbf{q}_1 q 1 에 수직), 오른쪽 위는 그 전치(S S S 대칭)입니다. S ′ = W T S W S' = W^TSW S ′ = W T S W 는 ( n − 1 ) × ( n − 1 ) (n - 1) \times (n - 1) ( n − 1 ) × ( n − 1 ) 대칭행렬이므로 귀납 가정에 의해 S ′ = Q ′ Λ ′ Q ′ T S' = Q'\Lambda'Q'^T S ′ = Q ′ Λ ′ Q ′ T . 그러면 Q = Q 1 [ 1 0 T 0 Q ′ ] Q = Q_1\begin{bmatrix} 1 & \mathbf{0}^T \\ \mathbf{0} & Q' \end{bmatrix} Q = Q 1 [ 1 0 0 T Q ′ ] 는 직교행렬(직교행렬의 곱)이고 Q T S Q = diag ( λ 1 , Λ ′ ) Q^TSQ = \operatorname{diag}(\lambda_1, \Lambda') Q T S Q = diag ( λ 1 , Λ ′ ) 입니다. ■
증명의 아이디어: 고유벡터 하나를 찾으면, 그것에 수직인 부분공간이 S S S 에 의해 그 안으로 보내집니다(W T S q 1 = 0 W^TS\mathbf{q}_1 = \mathbf{0} W T S q 1 = 0 ). 그래서 문제가 한 차원 작아집니다. 대칭이 아니면 이 단계가 실패합니다(오른쪽 위 블록이 0이 되지 않습니다). 그 경우에는 위삼각까지만 갈 수 있으며, 이것이 26장의 슈어 정리입니다.
17.4.1 스펙트럴 분해
S = Q Λ Q T S = Q\Lambda Q^T S = Q Λ Q T 를 열×행의 합(정리 5.5 (4))으로 쓰면
S = λ 1 q 1 q 1 T + λ 2 q 2 q 2 T + ⋯ + λ n q n q n T . S = \lambda_1\mathbf{q}_1\mathbf{q}_1^T + \lambda_2\mathbf{q}_2\mathbf{q}_2^T + \cdots + \lambda_n\mathbf{q}_n\mathbf{q}_n^T. S = λ 1 q 1 q 1 T + λ 2 q 2 q 2 T + ⋯ + λ n q n q n T .
각 q i q i T \mathbf{q}_i\mathbf{q}_i^T q i q i T 는 q i \mathbf{q}_i q i 방향 직선 위로의 사영행렬입니다(13.4절). 따라서
모든 대칭행렬은 서로 수직인 직선 위로의 사영들에 고윳값을 곱해 더한 것입니다.
예제 17.4. S = [ 2 1 1 2 ] S = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} S = [ 2 1 1 2 ] : λ = 3 \lambda = 3 λ = 3 , q 1 = 1 2 ( 1 , 1 ) \mathbf{q}_1 = \frac{1}{\sqrt2}(1, 1) q 1 = 2 1 ( 1 , 1 ) ; λ = 1 \lambda = 1 λ = 1 , q 2 = 1 2 ( 1 , − 1 ) \mathbf{q}_2 = \frac{1}{\sqrt2}(1, -1) q 2 = 2 1 ( 1 , − 1 ) .
[ 2 1 1 2 ] = 3 ⋅ 1 2 [ 1 1 1 1 ] + 1 ⋅ 1 2 [ 1 − 1 − 1 1 ] . \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} = 3 \cdot \frac12\begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} + 1 \cdot \frac12\begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix}. [ 2 1 1 2 ] = 3 ⋅ 2 1 [ 1 1 1 1 ] + 1 ⋅ 2 1 [ 1 − 1 − 1 1 ] .
x \mathbf{x} x 를 ( 1 , 1 ) (1, 1) ( 1 , 1 ) 방향 성분과 ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 방향 성분으로 나눠, 앞의 것을 3배, 뒤의 것을 1배 한 것이 S x S\mathbf{x} S x 입니다.
▶ 문제 17.1–17.5
17.5 양정치 행렬
정의 17.5 (양정치). 대칭행렬 S S S 가 모든 x ≠ 0 \mathbf{x} \ne \mathbf{0} x = 0 에 대해
x T S x > 0 \mathbf{x}^TS\mathbf{x} > 0 x T S x > 0
이면 S S S 를 양정치 (positive definite)라 합니다. ≥ 0 \ge 0 ≥ 0 이면 양반정치 (positive semidefinite)라 합니다.
x T S x = ∑ i , j s i j x i x j \mathbf{x}^TS\mathbf{x} = \sum_{i,j} s_{ij}x_ix_j x T S x = ∑ i , j s ij x i x j 를 x \mathbf{x} x 의 이차형식 (quadratic form)이라 합니다. 2 × 2 2 \times 2 2 × 2 에서는
x T [ a b b c ] x = a x 2 + 2 b x y + c y 2 . \mathbf{x}^T\begin{bmatrix} a & b \\ b & c \end{bmatrix}\mathbf{x} = ax^2 + 2bxy + cy^2. x T [ a b b c ] x = a x 2 + 2 b x y + c y 2 .
양정치란 이 식이 원점 외에서 언제나 양수, 즉 그래프가 위로 볼록한 그릇 모양이라는 뜻입니다.
정리 17.6 (양정치의 판정). 대칭행렬 S S S 에 대해 다음은 동치입니다.
S S S 는 양정치입니다.
모든 고윳값이 양수입니다.
(행 교환 없는) 소거의 피벗이 모두 양수입니다.
왼쪽 위 k × k k \times k k × k 부분행렬들의 행렬식(선행 주소행렬식 (leading principal minors))이 모두 양수입니다.
열이 독립인 어떤 A A A 에 대해 S = A T A S = A^TA S = A T A 입니다.
증명. (1)⇒(2): S x = λ x S\mathbf{x} = \lambda\mathbf{x} S x = λ x 이면 0 < x T S x = λ ∥ x ∥ 2 0 < \mathbf{x}^TS\mathbf{x} = \lambda\lVert \mathbf{x} \rVert^2 0 < x T S x = λ ∥ x ∥ 2 .
(2)⇒(1): S = Q Λ Q T S = Q\Lambda Q^T S = Q Λ Q T , y = Q T x \mathbf{y} = Q^T\mathbf{x} y = Q T x 로 두면 x T S x = y T Λ y = ∑ λ i y i 2 \mathbf{x}^TS\mathbf{x} = \mathbf{y}^T\Lambda\mathbf{y} = \sum\lambda_iy_i^2 x T S x = y T Λ y = ∑ λ i y i 2 . x ≠ 0 \mathbf{x} \ne \mathbf{0} x = 0 이면 y ≠ 0 \mathbf{y} \ne \mathbf{0} y = 0 이므로 양수.
(1)⇒(5): (2)에서 λ i > 0 \lambda_i > 0 λ i > 0 이므로 A = Λ Q T A = \sqrt\Lambda\,Q^T A = Λ Q T 로 두면 A T A = Q Λ Q T = S A^TA = Q\Lambda Q^T = S A T A = Q Λ Q T = S 이고 A A A 는 가역입니다.
(5)⇒(1): x T A T A x = ∥ A x ∥ 2 ≥ 0 \mathbf{x}^TA^TA\mathbf{x} = \lVert A\mathbf{x} \rVert^2 \ge 0 x T A T A x = ∥ A x ∥ 2 ≥ 0 이고, 열이 독립이므로 x ≠ 0 \mathbf{x} \ne \mathbf{0} x = 0 이면 A x ≠ 0 A\mathbf{x} \ne \mathbf{0} A x = 0 이어서 양수입니다.
(3) ⟺ \iff ⟺ (4): 행 교환 없이 소거하면 왼쪽 위 k × k k \times k k × k 부분행렬도 처음 k k k 개 피벗으로 소거되므로, 그 행렬식은 d 1 d 2 ⋯ d k d_1d_2 \cdots d_k d 1 d 2 ⋯ d k 입니다. 따라서 d k = D k / D k − 1 d_k = D_k/D_{k-1} d k = D k / D k − 1 (D k D_k D k 는 k k k 번째 선행 주소행렬식, D 0 = 1 D_0 = 1 D 0 = 1 ). 모든 D k > 0 D_k > 0 D k > 0 ⟺ \iff ⟺ 모든 d k > 0 d_k > 0 d k > 0 .
(3) ⟺ \iff ⟺ (1): 피벗이 모두 0이 아니면 S = L D L T S = LDL^T S = L D L T (9.6절)이고, y = L T x \mathbf{y} = L^T\mathbf{x} y = L T x 로 두면 x T S x = y T D y = ∑ d i y i 2 \mathbf{x}^TS\mathbf{x} = \mathbf{y}^TD\mathbf{y} = \sum d_iy_i^2 x T S x = y T D y = ∑ d i y i 2 . L T L^T L T 가 가역이므로 (1) ⟺ \iff ⟺ 모든 d i > 0 d_i > 0 d i > 0 . 반대로 (1)이면 각 왼쪽 위 부분행렬도 양정치(그 부분의 x \mathbf{x} x 만 쓰면 됩니다)이므로 가역이고, 따라서 소거 중에 피벗 0이 나오지 않습니다. ■
예제 17.7. K = [ 2 − 1 0 − 1 2 − 1 0 − 1 2 ] K = \begin{bmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \end{bmatrix} K = 2 − 1 0 − 1 2 − 1 0 − 1 2 .
피벗: 2 , 3 2 , 4 3 2, \frac32, \frac43 2 , 2 3 , 3 4 (예제 9.5). 모두 양수.
선행 주소행렬식: 2 , 3 , 4 2, 3, 4 2 , 3 , 4 . 모두 양수. 피벗 = 2 1 , 3 2 , 4 3 = \frac21, \frac32, \frac43 = 1 2 , 2 3 , 3 4 (비율).
고윳값: 2 − 2 2 - \sqrt2 2 − 2 , 2 2 2 , 2 + 2 2 + \sqrt2 2 + 2 . 모두 양수.
x T K x = 2 x 1 2 + 2 x 2 2 + 2 x 3 2 − 2 x 1 x 2 − 2 x 2 x 3 = x 1 2 + ( x 1 − x 2 ) 2 + ( x 2 − x 3 ) 2 + x 3 2 > 0 \mathbf{x}^TK\mathbf{x} = 2x_1^2 + 2x_2^2 + 2x_3^2 - 2x_1x_2 - 2x_2x_3 = x_1^2 + (x_1 - x_2)^2 + (x_2 - x_3)^2 + x_3^2 > 0 x T K x = 2 x 1 2 + 2 x 2 2 + 2 x 3 2 − 2 x 1 x 2 − 2 x 2 x 3 = x 1 2 + ( x 1 − x 2 ) 2 + ( x 2 − x 3 ) 2 + x 3 2 > 0 .
네 판정이 모두 양정치라고 답합니다.
예제 17.8. [ 1 2 2 1 ] \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix} [ 1 2 2 1 ] : 행렬식 − 3 < 0 -3 < 0 − 3 < 0 이므로 양정치가 아닙니다. 고윳값 3 , − 1 3, -1 3 , − 1 . x = ( 1 , − 1 ) \mathbf{x} = (1, -1) x = ( 1 , − 1 ) 이면 x T S x = 1 − 4 + 1 = − 2 \mathbf{x}^TS\mathbf{x} = 1 - 4 + 1 = -2 x T S x = 1 − 4 + 1 = − 2 . 대각성분이 모두 양수여도 양정치가 아닐 수 있습니다.
판정 (3)과 (5)를 합치면 S = L D L T = ( L D ) ( L D ) T S = LDL^T = (L\sqrt{D})(L\sqrt{D})^T S = L D L T = ( L D ) ( L D ) T 입니다. 이것을 숄레스키 분해 (Cholesky decomposition)라 하며, 양정치 행렬의 연립방정식을 푸는 가장 빠른 방법입니다.
▶ 문제 17.6–17.9
17.6 이차형식의 그림
그림 17.1. 5 x 2 + 8 x y + 5 y 2 = 1 5x^2 + 8xy + 5y^2 = 1 5 x 2 + 8 x y + 5 y 2 = 1 . S = [ 5 4 4 5 ] S = \begin{bmatrix} 5 & 4 \\ 4 & 5 \end{bmatrix} S = [ 5 4 4 5 ] 의 고윳값은 9, 1이고 고유벡터는 ( 1 , 1 ) (1, 1) ( 1 , 1 ) , ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 입니다. 타원의 축은 고유벡터 방향이고 반지름은 1 / λ 1/\sqrt\lambda 1/ λ 입니다.
양정치 S S S 에 대해 x T S x = 1 \mathbf{x}^TS\mathbf{x} = 1 x T S x = 1 은 어떤 곡선(곡면)일까요? y = Q T x \mathbf{y} = Q^T\mathbf{x} y = Q T x (고유벡터 좌표)로 바꾸면
λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2 = 1. \lambda_1y_1^2 + \lambda_2y_2^2 + \cdots + \lambda_ny_n^2 = 1. λ 1 y 1 2 + λ 2 y 2 2 + ⋯ + λ n y n 2 = 1.
축이 고유벡터 방향이고 반지름이 1 / λ i 1/\sqrt{\lambda_i} 1/ λ i 인 타원(타원면)입니다. 고윳값이 클수록 그 방향으로 짧습니다. 그 방향으로 이차형식이 빨리 커지기 때문입니다.
예제 17.9. 5 x 2 + 8 x y + 5 y 2 = 1 5x^2 + 8xy + 5y^2 = 1 5 x 2 + 8 x y + 5 y 2 = 1 (그림 17.1). x y xy x y 항 때문에 타원이 기울어져 있습니다. S = [ 5 4 4 5 ] S = \begin{bmatrix} 5 & 4 \\ 4 & 5 \end{bmatrix} S = [ 5 4 4 5 ] 의 고윳값 9, 1, 고유벡터 ( 1 , 1 ) (1, 1) ( 1 , 1 ) , ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 이므로, ( 1 , 1 ) (1, 1) ( 1 , 1 ) 방향 반지름 1 3 \frac13 3 1 , ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 방향 반지름 1입니다. 고유벡터 좌표로 바꾸는 것은 “기울어진 타원을 똑바로 세워 보는 것”이고, 그러면 x y xy x y 항이 사라집니다. 이것을 주축 정리 (principal axis theorem)라 합니다.
고윳값의 부호에 따라 모양이 바뀝니다.
모두 양수: 타원(그릇 모양의 최솟값).
양수와 음수가 섞임: 쌍곡선(말안장 모양).
0이 있음: 평행한 직선이나 평면처럼 퇴화된 모양.
대칭행렬의 성분 a, b, c를 바꾸면 곡선 xᵀSx = 1의 모양과 축(고유벡터 방향)이 바뀝니다 이 위젯은 JavaScript가 필요합니다
직관 (†). 다변수 미적분에서 함수 f ( x , y ) f(x, y) f ( x , y ) 의 임계점이 최솟값인지 판정할 때, 이계도함수들로 된 대칭행렬(헤세 행렬)이 양정치인지 봅니다. 그 근처에서 f f f 가 이차형식 1 2 x T H x \frac12\mathbf{x}^TH\mathbf{x} 2 1 x T H x 처럼 생겼기 때문입니다. 미적분을 배운 뒤에 다시 봅시다.
▶ 문제 17.10–17.11
쓰이는 곳. 공분산 행렬은 대칭·양반정치이고, 손실 함수의 헤세 행렬이 양정치이면 그 점은 극소입니다. 가우스 과정과 커널 방법의 커널 행렬도 양반정치여야 합니다.
이 장의 요약
실수 대칭행렬의 고윳값은 실수이고, 서로 다른 고윳값의 고유벡터는 수직입니다.
스펙트럴 정리: S = Q Λ Q T = ∑ i λ i q i q i T S = Q\Lambda Q^T = \sum_i \lambda_i\mathbf{q}_i\mathbf{q}_i^T S = Q Λ Q T = ∑ i λ i q i q i T (수직인 사영들의 가중합).
양정치 ⟺ \iff ⟺ x T S x > 0 \mathbf{x}^TS\mathbf{x} > 0 x T S x > 0 ⟺ \iff ⟺ 고윳값 > 0 > 0 > 0 ⟺ \iff ⟺ 피벗 > 0 > 0 > 0 ⟺ \iff ⟺ 선행 주소행렬식 > 0 > 0 > 0 ⟺ \iff ⟺ S = A T A S = A^TA S = A T A (열 독립).
x T S x = 1 \mathbf{x}^TS\mathbf{x} = 1 x T S x = 1 은 고유벡터 방향을 축으로, 1 / λ 1/\sqrt\lambda 1/ λ 를 반지름으로 하는 타원.
문제
17.1 [계산] · 확인 문제
S = [ 1 2 2 1 ] S = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix} S = [ 1 2 2 1 ] 을 Q Λ Q T Q\Lambda Q^T Q Λ Q T 로 분해하고, 스펙트럴 분해 λ 1 q 1 q 1 T + λ 2 q 2 q 2 T \lambda_1\mathbf{q}_1\mathbf{q}_1^T + \lambda_2\mathbf{q}_2\mathbf{q}_2^T λ 1 q 1 q 1 T + λ 2 q 2 q 2 T 로도 씁니다. 표에는 고윳값을 큰 것부터 적습니다.
λ 1 \lambda_1 λ 1
λ 2 \lambda_2 λ 2
[?]
[?]
정답 풀이 λ = 3 \lambda = 3 λ = 3 : q 1 = 1 2 ( 1 , 1 ) \mathbf{q}_1 = \frac{1}{\sqrt2}(1, 1) q 1 = 2 1 ( 1 , 1 ) . λ = − 1 \lambda = -1 λ = − 1 : q 2 = 1 2 ( 1 , − 1 ) \mathbf{q}_2 = \frac{1}{\sqrt2}(1, -1) q 2 = 2 1 ( 1 , − 1 ) . Q = 1 2 [ 1 1 1 − 1 ] Q = \frac{1}{\sqrt2}\begin{bmatrix} 1 & 1 \\ 1 & -1 \end{bmatrix} Q = 2 1 [ 1 1 1 − 1 ] , Λ = diag ( 3 , − 1 ) \Lambda = \operatorname{diag}(3, -1) Λ = diag ( 3 , − 1 ) .
S = 3 ⋅ 1 2 [ 1 1 1 1 ] − 1 ⋅ 1 2 [ 1 − 1 − 1 1 ] . S = 3 \cdot \frac12\begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} - 1 \cdot \frac12\begin{bmatrix} 1 & -1 \\ -1 & 1 \end{bmatrix}. S = 3 ⋅ 2 1 [ 1 1 1 1 ] − 1 ⋅ 2 1 [ 1 − 1 − 1 1 ] .
17.2 [계산] · 확인 문제
S = [ 2 0 1 0 2 0 1 0 2 ] S = \begin{bmatrix} 2 & 0 & 1 \\ 0 & 2 & 0 \\ 1 & 0 & 2 \end{bmatrix} S = 2 0 1 0 2 0 1 0 2 를 Q Λ Q T Q\Lambda Q^T Q Λ Q T 로 분해합니다. 표에는 고윳값을 큰 것부터 적습니다.
λ 1 \lambda_1 λ 1
λ 2 \lambda_2 λ 2
λ 3 \lambda_3 λ 3
[?]
[?]
[?]
정답 풀이 y y y 성분은 따로 2배: λ = 2 \lambda = 2 λ = 2 , ( 0 , 1 , 0 ) (0, 1, 0) ( 0 , 1 , 0 ) . ( x , z ) (x, z) ( x , z ) 부분은 [ 2 1 1 2 ] \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} [ 2 1 1 2 ] : λ = 3 \lambda = 3 λ = 3 , ( 1 , 0 , 1 ) (1, 0, 1) ( 1 , 0 , 1 ) ; λ = 1 \lambda = 1 λ = 1 , ( 1 , 0 , − 1 ) (1, 0, -1) ( 1 , 0 , − 1 ) .
Q = [ 1 2 0 1 2 0 1 0 1 2 0 − 1 2 ] , Λ = diag ( 3 , 2 , 1 ) . Q = \begin{bmatrix} \frac{1}{\sqrt2} & 0 & \frac{1}{\sqrt2} \\ 0 & 1 & 0 \\ \frac{1}{\sqrt2} & 0 & -\frac{1}{\sqrt2} \end{bmatrix}, \qquad \Lambda = \operatorname{diag}(3, 2, 1). Q = 2 1 0 2 1 0 1 0 2 1 0 − 2 1 , Λ = diag ( 3 , 2 , 1 ) .
17.3 [계산] · 확인 문제
S = [ 1 1 1 1 1 1 1 1 1 ] S = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix} S = 1 1 1 1 1 1 1 1 1 의 고윳값과 정규직교인 고유벡터를 구합니다. 중근의 고유공간에서는 그람–슈미트를 씁니다. 표에는 고윳값을 큰 것부터 적습니다.
λ 1 \lambda_1 λ 1
λ 2 \lambda_2 λ 2
λ 3 \lambda_3 λ 3
[?]
[?]
[?]
정답 풀이 랭크 1, tr = 3 \operatorname{tr} = 3 tr = 3 이므로 λ = 3 , 0 , 0 \lambda = 3, 0, 0 λ = 3 , 0 , 0 . λ = 3 \lambda = 3 λ = 3 : 1 3 ( 1 , 1 , 1 ) \frac{1}{\sqrt3}(1, 1, 1) 3 1 ( 1 , 1 , 1 ) . λ = 0 \lambda = 0 λ = 0 : 평면 x + y + z = 0 x + y + z = 0 x + y + z = 0 . 기저 ( 1 , − 1 , 0 ) (1, -1, 0) ( 1 , − 1 , 0 ) , ( 1 , 0 , − 1 ) (1, 0, -1) ( 1 , 0 , − 1 ) 에 그람–슈미트: ( 1 , − 1 , 0 ) (1, -1, 0) ( 1 , − 1 , 0 ) , ( 1 , 0 , − 1 ) − 1 2 ( 1 , − 1 , 0 ) = 1 2 ( 1 , 1 , − 2 ) (1, 0, -1) - \frac12(1, -1, 0) = \frac12(1, 1, -2) ( 1 , 0 , − 1 ) − 2 1 ( 1 , − 1 , 0 ) = 2 1 ( 1 , 1 , − 2 ) . 정규화: 1 2 ( 1 , − 1 , 0 ) \frac{1}{\sqrt2}(1, -1, 0) 2 1 ( 1 , − 1 , 0 ) , 1 6 ( 1 , 1 , − 2 ) \frac{1}{\sqrt6}(1, 1, -2) 6 1 ( 1 , 1 , − 2 ) .
17.4 [계산]
대칭이 아닌 A = [ 1 1 0 2 ] A = \begin{bmatrix} 1 & 1 \\ 0 & 2 \end{bmatrix} A = [ 1 0 1 2 ] 의 두 고유벡터는 서로 수직일까요? 대칭성이 왜 필요한지 정리 17.2 의 증명에서 찾습니다.
풀이 λ = 1 \lambda = 1 λ = 1 : ( 1 , 0 ) (1, 0) ( 1 , 0 ) . λ = 2 \lambda = 2 λ = 2 : ( 1 , 1 ) (1, 1) ( 1 , 1 ) . 내적 1, 수직이 아닙니다. 증명의 x T S T y = x T S y \mathbf{x}^TS^T\mathbf{y} = \mathbf{x}^TS\mathbf{y} x T S T y = x T S y 단계에서 S T = S S^T = S S T = S 가 쓰였습니다.
17.5 [증명]
스펙트럴 정리를 써서 다음을 보입니다. (a) 대칭행렬 S S S 의 고윳값이 모두 1이면 S = I S = I S = I 입니다. (b) 대칭행렬 S S S 가 S k = O S^k = O S k = O (어떤 k ≥ 1 k \ge 1 k ≥ 1 )이면 S = O S = O S = O 입니다. (문제 5.7의 [ 0 1 0 0 ] \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix} [ 0 0 1 0 ] 은 왜 (b)의 반례가 아닐까요?)
풀이 (a) Λ = I \Lambda = I Λ = I 이므로 S = Q I Q T = Q Q T = I S = QIQ^T = QQ^T = I S = Q I Q T = Q Q T = I .
(b) S k = Q Λ k Q T = O S^k = Q\Lambda^kQ^T = O S k = Q Λ k Q T = O 이면 Λ k = O \Lambda^k = O Λ k = O , 모든 λ i k = 0 \lambda_i^k = 0 λ i k = 0 , λ i = 0 \lambda_i = 0 λ i = 0 , S = O S = O S = O . [ 0 1 0 0 ] \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix} [ 0 0 1 0 ] 은 대칭이 아닙니다.
17.6 [계산] · 확인 문제
양정치, 양반정치, 둘 다 아님 중 무엇인지 판정합니다. 서로 다른 판정법을 하나 이상 씁니다. 표에는 “양정치”, “양반정치”, “둘 다 아님” 중 하나를 적습니다(양정치이면 “양정치”).
(a) [ 2 1 1 2 ] (b) [ 1 3 3 4 ] (c) [ 1 1 1 1 2 2 1 2 3 ] (d) [ 2 − 1 − 1 − 1 2 − 1 − 1 − 1 2 ] \text{(a)}\ \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \qquad \text{(b)}\ \begin{bmatrix} 1 & 3 \\ 3 & 4 \end{bmatrix} \qquad \text{(c)}\ \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 2 \\ 1 & 2 & 3 \end{bmatrix} \qquad \text{(d)}\ \begin{bmatrix} 2 & -1 & -1 \\ -1 & 2 & -1 \\ -1 & -1 & 2 \end{bmatrix} (a) [ 2 1 1 2 ] (b) [ 1 3 3 4 ] (c) 1 1 1 1 2 2 1 2 3 (d) 2 − 1 − 1 − 1 2 − 1 − 1 − 1 2
(a)
(b)
(c)
(d)
[?]
[?]
[?]
[?]
정답 풀이 (a) 양정치: 피벗 2 , 3 2 2, \frac32 2 , 2 3 ; 고윳값 3, 1.
(b) 아님: det = 4 − 9 = − 5 < 0 \det = 4 - 9 = -5 < 0 det = 4 − 9 = − 5 < 0 (고윳값 하나가 음수).
(c) 양정치: 피벗 1, 1, 1 (문제 8.3); 선행 주소행렬식 1, 1, 1.
(d) 양반정치: 피벗 2 , 3 2 , 0 2, \frac32, 0 2 , 2 3 , 0 ; 각 행의 합이 0이므로 ( 1 , 1 , 1 ) (1, 1, 1) ( 1 , 1 , 1 ) 이 고윳값 0의 고유벡터. 고윳값 0, 3, 3.
17.7 [계산] · 확인 문제
[ 1 b b 9 ] \begin{bmatrix} 1 & b \\ b & 9 \end{bmatrix} [ 1 b b 9 ] 가 양정치가 되는 b b b 의 범위를 구합니다. 표에는 범위 p < b < q p < b < q p < b < q 의 양 끝을 적습니다.
정답 풀이 선행 주소행렬식 1 > 0 1 > 0 1 > 0 , 9 − b 2 > 0 9 - b^2 > 0 9 − b 2 > 0 . − 3 < b < 3 -3 < b < 3 − 3 < b < 3 .
17.8 [계산]
S = [ 2 − 1 − 1 2 ] S = \begin{bmatrix} 2 & -1 \\ -1 & 2 \end{bmatrix} S = [ 2 − 1 − 1 2 ] 에 대해 x T S x \mathbf{x}^TS\mathbf{x} x T S x 를 L D L T LDL^T L D L T 를 이용해 제곱의 합으로 씁니다.
풀이 ℓ 21 = − 1 2 \ell_{21} = -\frac12 ℓ 21 = − 2 1 , 피벗 2 , 3 2 2, \frac32 2 , 2 3 . x T S x = 2 ( x − 1 2 y ) 2 + 3 2 y 2 \mathbf{x}^TS\mathbf{x} = 2\left(x - \frac12y\right)^2 + \frac32y^2 x T S x = 2 ( x − 2 1 y ) 2 + 2 3 y 2 . 전개하면 2 x 2 − 2 x y + 1 2 y 2 + 3 2 y 2 = 2 x 2 − 2 x y + 2 y 2 2x^2 - 2xy + \frac12y^2 + \frac32y^2 = 2x^2 - 2xy + 2y^2 2 x 2 − 2 x y + 2 1 y 2 + 2 3 y 2 = 2 x 2 − 2 x y + 2 y 2 .
17.9 [증명]
S S S , T T T 가 양정치이면 (a) S + T S + T S + T 도 양정치이고, (b) S − 1 S^{-1} S − 1 도 양정치임을 보입니다. (c) 임의의 A A A 에 대해 A T A A^TA A T A 는 양반정치임을 보입니다.
풀이 (a) x T ( S + T ) x = x T S x + x T T x > 0 \mathbf{x}^T(S + T)\mathbf{x} = \mathbf{x}^TS\mathbf{x} + \mathbf{x}^TT\mathbf{x} > 0 x T ( S + T ) x = x T S x + x T T x > 0 .
(b) 고윳값이 1 / λ i > 0 1/\lambda_i > 0 1/ λ i > 0 이고 S − 1 S^{-1} S − 1 도 대칭.
(c) x T A T A x = ∥ A x ∥ 2 ≥ 0 \mathbf{x}^TA^TA\mathbf{x} = \lVert A\mathbf{x} \rVert^2 \ge 0 x T A T A x = ∥ A x ∥ 2 ≥ 0 .
17.10 [계산] · 확인 문제
다음 곡선의 모양(타원/쌍곡선)과 축의 방향을 구합니다. 타원이면 반지름도 구합니다. (a) 3 x 2 + 2 x y + 3 y 2 = 1 3x^2 + 2xy + 3y^2 = 1 3 x 2 + 2 x y + 3 y 2 = 1 (b) x 2 + 4 x y + y 2 = 1 x^2 + 4xy + y^2 = 1 x 2 + 4 x y + y 2 = 1 . 표에는 모양과 (a)의 두 반지름(소수 셋째 자리까지)을 적습니다.
값
답
(a)의 모양
[?]
(a)의 ( 1 , 1 ) (1, 1) ( 1 , 1 ) 방향 반지름
[?]
(a)의 ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 방향 반지름
[?]
(b)의 모양
[?]
정답 풀이 (a) S = [ 3 1 1 3 ] S = \begin{bmatrix} 3 & 1 \\ 1 & 3 \end{bmatrix} S = [ 3 1 1 3 ] , λ = 4 \lambda = 4 λ = 4 ( 1 , 1 ) (1, 1) ( 1 , 1 ) , λ = 2 \lambda = 2 λ = 2 ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) . 타원, ( 1 , 1 ) (1, 1) ( 1 , 1 ) 방향 반지름 1 2 \frac12 2 1 , ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 방향 반지름 1 2 \frac{1}{\sqrt2} 2 1 .
(b) S = [ 1 2 2 1 ] S = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix} S = [ 1 2 2 1 ] , λ = 3 , − 1 \lambda = 3, -1 λ = 3 , − 1 . 쌍곡선 3 y 1 2 − y 2 2 = 1 3y_1^2 - y_2^2 = 1 3 y 1 2 − y 2 2 = 1 . 축은 ( 1 , 1 ) (1, 1) ( 1 , 1 ) , ( 1 , − 1 ) (1, -1) ( 1 , − 1 ) 방향.
17.11 [도전]
대칭행렬 S S S 의 가장 큰 고윳값을 λ max \lambda_{\max} λ m a x 라 합시다. 모든 x ≠ 0 \mathbf{x} \ne \mathbf{0} x = 0 에 대해
x T S x x T x ≤ λ max \frac{\mathbf{x}^TS\mathbf{x}}{\mathbf{x}^T\mathbf{x}} \le \lambda_{\max} x T x x T S x ≤ λ m a x 이고, 등호는 x \mathbf{x} x 가 λ max \lambda_{\max} λ m a x 의 고유벡터일 때 성립함을 보입니다. (좌변을 레일리 몫이라 합니다.)
풀이 y = Q T x \mathbf{y} = Q^T\mathbf{x} y = Q T x 이면 x T S x = ∑ λ i y i 2 ≤ λ max ∑ y i 2 = λ max ∥ y ∥ 2 = λ max ∥ x ∥ 2 \mathbf{x}^TS\mathbf{x} = \sum\lambda_iy_i^2 \le \lambda_{\max}\sum y_i^2 = \lambda_{\max}\lVert \mathbf{y} \rVert^2 = \lambda_{\max}\lVert \mathbf{x} \rVert^2 x T S x = ∑ λ i y i 2 ≤ λ m a x ∑ y i 2 = λ m a x ∥ y ∥ 2 = λ m a x ∥ x ∥ 2 . 등호는 λ i < λ max \lambda_i < \lambda_{\max} λ i < λ m a x 인 성분 y i y_i y i 가 모두 0일 때, 즉 x \mathbf{x} x 가 λ max \lambda_{\max} λ m a x 의 고유공간에 있을 때.