최적화 문제의 꼴, 볼록집합, 볼록함수의 정의와 판정(1계·2계 조건), 볼록성을 지키는 연산, 국소 최솟값 = 전역 최솟값
최적화 (OP)
볼록집합과 볼록함수, 최적성 조건, 경사하강법의 수렴 속도, 뉴턴 방법과 준뉴턴 방법, 확률적 최적화와 Adam, 라그랑주 승수와 KKT 조건, 쌍대성, 선형계획법까지 다룹니다.
머신러닝의 “학습”은 손실 함수를 가장 작게 만드는 매개변수를 찾는 최적화 문제이고, 공학의 설계(가장 가벼운 다리, 가장 싼 생산 계획, 가장 빠른 제어)도 마찬가지입니다. 이 과목은 언제 최솟값을 확실히 찾을 수 있는지(볼록성), 어떻게 찾아가는지(반복 알고리즘), 조건이 붙으면 어떻게 하는지(라그랑주 승수, 쌍대성)를 다룹니다.
- 다변수 미적분 4–6장(헤세 행렬, 경사하강법, 라그랑주 승수)과 선형대수의 고윳값·양의 정부호 행렬을 바탕으로 합니다.
- 딥러닝 논문의 옵티마이저(SGD, 모멘텀, Adam, 학습률 스케줄)는 3·5장, SVM과 제약이 있는 학습은 6·7장과 이어집니다.
- 수치 답은 분수, π·√가 든 식, 소수로 써도 채점됩니다.
| 부 | 단원 | 수 | 진도 |
|---|---|---|---|
| 1부. 볼록성과 최적성 | OP.1–OP.2 | 2 | |
| 2부. 반복 알고리즘 | OP.3–OP.5 | 3 | |
| 3부. 제약이 있는 최적화 | OP.6–OP.8 | 3 |
1부. 볼록성과 최적성
- OP.1
- OP.2
- 임계점과 1계 필요조건, 2계 충분조건, 안장점, 강볼록성과 조건수, 이차함수의 닫힌 해
2부. 반복 알고리즘
- OP.3
- 하강 보조정리, 학습률 1/L, 볼록 함수에서 O(1/k) 수렴, 강볼록 함수에서 선형 수렴, 조건수와 지그재그, 직선 탐색
- OP.4
- 이차 근사와 뉴턴 단계, 이차 수렴, 감쇠 뉴턴 방법, 계산 비용, BFGS와 L-BFGS, 가우스–뉴턴 방법
- OP.5
- 유한합 문제와 SGD, 미니배치와 분산, 학습률 감소 조건, 모멘텀과 네스테로프 가속, AdaGrad·RMSProp·Adam, 가중치 감쇠와 AdamW, 학습률 스케줄
3부. 제약이 있는 최적화
- OP.6
- 등식 제약과 라그랑주 함수, 부등식 제약과 KKT 조건, 상보 여유성, 활성 제약, 사영 경사하강법, 벌점법
- OP.7
- 라그랑주 쌍대 함수, 약한 쌍대성과 쌍대 간격, 강한 쌍대성과 슬레이터 조건, 쌍대 문제 풀이, SVM의 쌍대 문제와 커널
- OP.8
- 선형계획 문제의 꼴, 실행 가능 영역과 꼭짓점, 그래프 풀이, 심플렉스 방법의 생각, 선형계획의 쌍대 문제, 정수계획과 완화