6장. 라그랑주 승수

“둘레가 정해진 직사각형 중 넓이가 가장 큰 것”, “예산 안에서 효용이 가장 큰 소비”, “확률의 합이 1이라는 조건에서 엔트로피가 가장 큰 분포”처럼, 실제 최적화 문제에는 조건(제약)이 붙습니다. 라그랑주 승수법은 제약을 없애지 않고도 이런 문제를 깔끔한 연립방정식으로 바꿉니다. 핵심 아이디어는 “최적점에서는 목적함수의 등위선과 제약 곡선이 접한다”는 그림 하나입니다.

6.1 제약이 있는 최적화

$g(x, y) = c$ 라는 조건(곡선) 위에서 $f(x, y)$ 를 최대 또는 최소로 하는 문제를 생각합니다.

제약을 풀어 변수 하나를 없앨 수 있으면(예: $y = c - x$ ) 미적분학 6장으로 풀립니다. 그러나 $x^2 + y^2 = 1$ 처럼 풀기 번거롭거나, 변수가 많으면 다른 방법이 필요합니다.

6.2 접하는 조건

곡선 $g = c$ 를 따라 걸으며 $f$ 의 값을 본다고 합시다. 걷는 방향이 $f$ 의 등위선을 가로지르면 $f$ 가 커지거나 작아지는 중이므로 최적점이 아닙니다. 최적점에서는 곡선이 $f$ 의 등위선과 접합니다(같은 방향으로 갑니다).

두 곡선이 접하면 그 점에서의 법선이 평행합니다. $f$ 의 등위선의 법선은 $\nabla f$ , 곡선 $g = c$ 의 법선은 $\nabla g$ 입니다(2장의 정리 2.10). 그러므로 최적점에서 $\nabla f = \lambda\nabla g$ 입니다.

정리 6.1 (라그랑주 승수법). $f$ 와 $g$ 가 미분 가능하고, 제약 $g(\mathbf{x}) = c$ 위에서 $f$ 가 $\mathbf{a}$ 에서 극값을 가지며 $\nabla g(\mathbf{a}) \ne \mathbf{0}$ 이면

\nabla f(\mathbf{a}) = \lambda\,\nabla g(\mathbf{a})

인 수 $\lambda$ 가 있습니다. $\lambda$ 를 라그랑주 승수(Lagrange multiplier)라 합니다.

실제 풀이는 미지수 $x, y, \lambda$ 에 대한 연립방정식

f_x = \lambda g_x, \quad f_y = \lambda g_y, \quad g(x, y) = c

를 풀고, 나온 후보들의 $f$ 값을 비교하는 것입니다. 같은 말로, 라그랑지언(Lagrangian) $\mathcal{L}(x, y, \lambda) = f(x, y) - \lambda(g(x, y) - c)$ 의 임계점을 찾는 것입니다. $\partial\mathcal{L}/\partial\lambda = 0$ 이 제약 자체가 됩니다.

예제 6.2. 원 $x^2 + y^2 = 1$ 위에서 $f = x + 2y$ 의 최댓값. $\nabla f = (1, 2)$ , $\nabla g = (2x, 2y)$ 이므로 $1 = 2\lambda x$ , $2 = 2\lambda y$ 에서 $y = 2x$ . 제약에 넣으면 $5x^2 = 1$ , $x = \pm\frac1{\sqrt5}$ . 최댓값은 $(x, y) = \left(\frac1{\sqrt5}, \frac2{\sqrt5}\right)$ 에서 $\frac{5}{\sqrt5} = \sqrt5$ 입니다. (코시–슈바르츠 부등식으로도 $x + 2y \le \sqrt{1 + 4}\sqrt{x^2 + y^2} = \sqrt5$ .)

예제 6.3. 둘레가 $P$ 인 직사각형의 넓이 최대: $f = xy$ , $g = 2x + 2y = P$ . $y = 2\lambda$ , $x = 2\lambda$ 이므로 $x = y = P/4$ , 정사각형입니다.

6.3 라그랑주 승수의 뜻

정리 6.4. 최적값을 제약의 상수 $c$ 의 함수 $f^*(c)$ 로 보면 $\dfrac{df^*}{dc} = \lambda$ 입니다.

곧 $\lambda$ 는 “제약을 조금 느슨하게 하면 최적값이 얼마나 좋아지는가”입니다. 경제학에서는 자원의 그림자 가격, 물리에서는 제약을 유지하는 힘(예: 줄의 장력)입니다. 예제 6.2에서 원의 반지름을 바꾸면 $f^* = \sqrt5 r$ 이고, $c = r^2$ 이므로 $\frac{df^*}{dc} = \frac{\sqrt5}{2r}$ , $r = 1$ 에서 $\frac{\sqrt5}2$ 인데, 실제로 $\lambda = \frac{1}{2x} = \frac{\sqrt5}{2}$ 입니다.

6.4 여러 제약

제약이 $g_1 = c_1, \dots, g_m = c_m$ 이면

\nabla f = \lambda_1\nabla g_1 + \cdots + \lambda_m\nabla g_m.

예제 6.5 (최대 엔트로피). 확률 $p_1, \dots, p_n$ ( $\sum p_i = 1$ )에서 엔트로피 $H = -\sum p_i\ln p_i$ 를 최대로 합니다. $\frac{\partial H}{\partial p_i} = -\ln p_i - 1 = \lambda$ 이므로 모든 $p_i$ 가 같은 값 $e^{-1-\lambda}$ 이고, 합이 1이므로 $p_i = 1/n$ 입니다. 아무 정보가 없을 때 가장 “고른” 분포는 균등분포입니다. 평균이라는 제약을 하나 더 넣으면 같은 계산에서 $p_i \propto e^{-\beta x_i}$ 꼴(볼츠만 분포, 소프트맥스)이 나옵니다.

6.5 부등식 제약과 KKT 조건

제약이 $g(\mathbf{x}) \le c$ (부등식)이면 두 경우가 있습니다.

최적점이 영역 안쪽( $g < c$ )이면 제약이 없는 것과 같아서 $\nabla f = \mathbf{0}$ .
최적점이 경계( $g = c$ )이면 라그랑주 조건, 그리고 최소화일 때 $\lambda \ge 0$ (제약이 실제로 막고 있다는 방향 조건).

두 경우를 한꺼번에 쓴 것이 KKT 조건(Karush–Kuhn–Tucker)입니다. $\nabla f + \lambda\nabla g = \mathbf{0}$ , $\lambda \ge 0$ , $g \le c$ , $\lambda(g - c) = 0$ . 마지막 식(상보성)은 “제약이 걸려 있지 않으면 승수는 0”이라는 뜻입니다. 서포트 벡터 머신(SVM)에서 “서포트 벡터”는 바로 $\lambda > 0$ 인, 경계에 걸린 데이터점입니다.

6.6 이 장의 요약

최적점에서 등위선과 제약이 접합니다: $\nabla f = \lambda\nabla g$ .
라그랑지언 $\mathcal{L} = f - \lambda(g - c)$ 의 임계점을 찾습니다.
$\lambda$ = 제약을 느슨하게 할 때 최적값의 변화율. 부등식 제약은 KKT 조건.

쓰이는 곳. 서포트 벡터 머신, 최대 엔트로피 모델과 소프트맥스의 유도, 강화학습의 제약 정책 최적화(TRPO의 KL 제약), 경제학의 효용 최대화, 물리의 제약 운동(라그랑주 역학)과 통계역학의 볼츠만 분포가 라그랑주 승수를 씁니다.

문제

6.1 [계산] · 확인 문제

원 $x^2 + y^2 = 1$ 위에서 $f = 3x + 4y$ 의 최댓값은?

정답

풀이

$3 = 2\lambda x$ , $4 = 2\lambda y$ 에서 $y = \frac43x$ . $x^2 + \frac{16}9x^2 = 1$ 이므로 $x = \frac35$ , $y = \frac45$ 이고 $f = \frac95 + \frac{16}5 = 5$ 입니다.

6.2 [계산] · 확인 문제

$x + y = 10$ 일 때 $f = x^2 + y^2$ 을 최소로 하는 점과 최솟값, 라그랑주 승수를 씁니다.

항목	값
$x$	[?]
$y$	[?]
최솟값	[?]
$\lambda$	[?]

정답

풀이

$2x = \lambda$ , $2y = \lambda$ 이므로 $x = y = 5$ , $f = 50$ , $\lambda = 10$ . 확인: 제약을 $x + y = c$ 로 두면 $f^* = c^2/2$ 이고 $\frac{df^*}{dc} = c = 10 = \lambda$ 입니다.

6.3 [계산] · 확인 문제

겉넓이가 24인 직육면체(뚜껑 있음) 가운데 부피가 가장 큰 것의 부피는?

힌트 1

대칭성으로 정육면체가 답이라 짐작하고 라그랑주 조건으로 확인합니다. $f = xyz$ , $g = 2(xy + yz + zx) = 24$ .

정답

풀이

$yz = \lambda\cdot2(y + z)$ , $xz = \lambda\cdot2(x + z)$ , $xy = \lambda\cdot2(x + y)$ . 첫째와 둘째를 빼면 $z(y - x) = 2\lambda(y - x)$ 이므로 $x = y$ 이거나 $z = 2\lambda$ 이고, 같은 계산으로 $x = y = z$ 가 나옵니다. $6x^2 = 24$ 에서 $x = 2$ , 부피 8입니다.

6.4 [계산]

확률 $p_1, p_2, p_3$ ( $\sum p_i = 1$ )의 엔트로피 $-\sum p_i\ln p_i$ 의 최댓값은? (소수 넷째 자리까지)

정답

1.0986

풀이

예제 6.5로 $p_i = 1/3$ 에서 최대이고 값은 $\ln 3 \approx 1.0986$ 입니다.

6.5 [증명]

라그랑주 승수법으로 산술·기하 평균 부등식 $\sqrt{xy} \le \frac{x + y}{2}$ ( $x, y > 0$ )를 보입니다.

힌트 1

$x + y = 2s$ 로 고정하고 $xy$ 를 최대로 합니다.

풀이

$x + y = 2s$ 일 때 $f = xy$ 를 최대로 합니다. $y = \lambda$ , $x = \lambda$ 이므로 $x = y = s$ 에서 최대 $s^2$ 입니다(경계 $x \to 0$ 에서는 $f \to 0$ ). 그러므로 $xy \le s^2 = \left(\frac{x + y}2\right)^2$ 이고 제곱근을 취하면 부등식이 나옵니다. 등호는 $x = y$ 일 때입니다.