과적합 Overfitting
연습문제의 숫자와 정답까지 외워, 조금 다른 새 문제에는 약해진 상태.
01 · LESSON GUIDE
수업목표와 핵심 키워드·개념 풀이
정규화 회귀를 배우기 전에 이 수업에서 무엇을 이해하고, 어떤 개념을 구분해야 하는지 먼저 살펴봅니다.
학습 데이터를 외우는 모형보다
새로운 데이터에도 잘 맞는 모형을 만들자!
새로운 데이터에도 잘 맞는 모형을 만들자!
과적합 → 계수에 벌점 부여 → Ridge·Lasso 비교 → 새 자료에서 확인
① 왜? 과적합 방지② 무엇을? 회귀계수 조절③ 어떻게? L1 / L2④ 결과는? 일반화 확인
오늘의 수업목표 · Learning objectives
수업을 마친 뒤 다음 5가지를 할 수 있습니다
1
과적합을 설명한다. 학습 점에 지나치게 맞춘 선이 왜 새 데이터에서는 불리할 수 있는지 그림으로 설명한다.
2
정규화 원리를 말한다. 예측오차에 회귀계수의 벌점을 더하는 이유를 이해한다.
3
λ의 역할을 설명한다. 규제 강도를 올렸을 때 계수가 어떻게 변하는지 예측한다.
4
Ridge와 Lasso를 구분한다. L2는 계수 제곱합, L1은 계수 절대값합이라는 차이를 설명한다.
5
문제를 해결한다. 기출 48번에서 Lasso에 대한 올바른 설명과 틀린 설명을 구별한다.
★
핵심 메시지 정규화는 언제나 성능을 높이는 마법이 아니라, 예측오차와 모델 복잡성 사이의 균형을 찾는 방법이다.
핵심 키워드 · Keywords
용어를 쉬운 말로 먼저 이해하기
영어 원어와 한국어 뜻, 생활 속 비유를 함께 기억하세요.
일반화 Generalization
처음 보는 문제나 자료에도 배운 규칙을 잘 적용하는 능력.
정규화 회귀 Regularized Regression
회귀계수가 너무 커지지 않게 벌점을 주어 모형의 복잡성을 조절하는 방법.
회귀계수 Coefficient · β
한 변수가 예측값에 얼마나, 어느 방향으로 관련되는지 나타내는 숫자.
페널티 Penalty
모형이 너무 복잡해지지 않도록 큰 계수에 부과하는 ‘벌점’.
규제 강도 λ Lambda
벌점의 세기를 조절하는 손잡이. 커질수록 계수를 더 강하게 줄이려 함.
릿지 회귀 Ridge · L2
계수의 제곱을 합해 벌점. 대체로 계수를 모두 조금씩 줄임.
라쏘 회귀 Lasso · L1
계수의 절대값을 합해 벌점. 불필요한 변수의 계수가 0이 될 수 있음.
엘라스틱 넷 Elastic Net
L1과 L2를 함께 사용해 계수 축소와 변수 선택을 절충함.
교차검증 Cross-validation
자료를 나누어 여러 번 시험하며 규제 강도와 예측 성능을 살펴봄.
구별! 여기서 ‘정규화’는 회귀계수에 벌점을 주는 규제(Regularization)입니다. 변수의 단위를 맞추는 표준화(Standardization)와는 다른 개념입니다.
첫 장 4컷 만화 · 수업 전체 미리보기
AI에게 새 시험을 보여주면?
① 외우기 → ② 새 문제에 당황 → ③ 규칙을 단순하게 → ④ 이해해서 풀기
1컷 · 문제를 달달 외우기
“연습문제 답은 전부 외웠어!”
과적합의 시작 · 외우기만 하면 위험할 수 있어요.
2컷 · 처음 보는 문제가 등장
“어? 숫자가 바뀌니까 모르겠어!”
일반화 실패 · 새 자료에 약한 모형이에요.
3컷 · 규제 손잡이를 돌리기
“계수가 너무 커지지 않게 하자!”
정규화 · 너무 복잡한 규칙에 벌점을 줘요.
4컷 · 새 문제에도 응용 성공
“이번엔 원리를 아니까 풀 수 있어!”
일반화 지향 · 새 데이터 성능을 확인해요.
교안 01 / 10교재 발췌 p.310 · 기출 48번
02 · CONCEPT MAP
정규화 회귀: 너무 외우지 말고, 원리를 이해하기
회귀모형이 학습 데이터를 지나치게 따라갈 때, 계수의 크기를 조절하여 새로운 데이터에 대한 성능을 개선하도록 돕는 방법입니다.
개념 점검
앞장에서 배운 내용을 점검하는 4가지
- 과적합(Overfitting)이 무엇인지 사례로 설명한다.
- 정규화(Regularization)와 규제 강도 λ의 역할을 이해한다.
- Ridge(L2)와 Lasso(L1)의 차이를 구별한다.
- 기출 48번의 정답과 오답 이유를 말할 수 있다.
한 문장 핵심: 학습자료를 100% 외우는 모형보다 중요한 패턴을 적당히 익힌 모형이 새로운 자료에 더 유리할 수 있습니다.
① 과적합 문제 발견
→② 계수에 페널티 부여
→③ L1·L2 규제 선택
→④ 새 데이터 성능 확인
4-CUT CONCEPT COMIC · 01
🖍️ 학습 이야기: 외우는 인공지능과 이해하는 인공지능
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
모든 문제를 외우는 AI
💬 “훈련용 문제를 전부 외웠어!”
개념 연결 암기만으로는 새로운 문제에 약할 수 있어요.
2
새 문제가 등장했어요
💬 “어? 책에 없는 문제잖아!”
개념 연결 이미 본 자료에만 잘 맞으면 과적합 위험이 있어요.
3
선생님이 알려준 비법
💬 “중요한 규칙만 잡아 보자.”
개념 연결 정규화는 계수를 제한해 모형을 단순하게 만듭니다.
4
처음 보는 문제에도 도전
💬 “이젠 새로운 문제도 풀 수 있어!”
개념 연결 목표는 학습 점수만이 아니라 새 데이터 예측이에요.
교안 02 / 10교재 p.310 관련 이론
03 · WHY REGULARIZE?
과적합(a)과 정규화(b): 선을 비교해 보세요
● 파란 점은 학습데이터입니다. 곡선이 점을 모두 통과하는 것이 항상 좋은 예측을 뜻하지는 않습니다.
(a) 과대적합 · Overfitting
작은 차이까지 지나치게 학습
학습오차: 작아 보임 새 데이터 오차: 커질 위험
시험문제를 답까지 통째로 외웠지만, 문제가 살짝 바뀌면 풀지 못하는 상황과 비슷합니다.
(b) 정규화 · Regularization
큰 흐름을 중심으로 학습
학습오차: 조금 커질 수 있음 새 데이터 오차: 줄어들 가능성
규칙을 이해했기 때문에 처음 보는 응용문제에도 대응하는 상황과 비슷합니다.
그림에서 반드시 구별할 점
정규화는 변수의 회귀계수 크기에 제약을 추가하여 복잡도를 조절합니다. 일반적으로 과적합 위험을 낮추는 데 도움을 주지만, 규제가 지나치게 강하면 과소적합(Underfitting)이 생길 수 있습니다. 위 그림은 원리를 설명하는 개념도이며 특정 데이터에 대한 실제 적합 결과는 아닙니다.
4-CUT CONCEPT COMIC · 02
🖍️ 그림 이야기: 구불구불한 선과 매끈한 선
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
울퉁불퉁 외우는 선
💬 “점 하나하나를 다 지나가야 해!”
개념 연결 복잡한 선은 훈련자료에 과도하게 맞을 수 있어요.
2
큰 흐름을 잡는 선
💬 “전체 흐름만 따라가 볼까?”
개념 연결 정규화는 지나친 복잡도를 줄이는 데 도움이 돼요.
3
새로운 점을 만났을 때
💬 “처음 보는 점도 맞혀 보자!”
개념 연결 새 데이터에서는 더 단순한 곡선이 유리할 수 있어요.
4
너무 단순해도 문제!
💬 “직선만 고집하면 어떡해?”
개념 연결 규제가 너무 강하면 과소적합이 될 수도 있어요.
교안 03 / 10교재 p.310 관련 이론
04 · OBJECTIVE FUNCTION
정규화의 계산 원리: 오차 + 벌점
정규화는 손실을 작게 만드는 동시에 회귀계수가 과도하게 커지는 것을 억제합니다.
최소화 문제
일반 회귀 → 정규화 회귀
일반 최소제곱: 예측오차의 제곱합을 작게 합니다.
Loss = (1 / 2n) Σ (yᵢ − ŷᵢ)²
정규화: 여기에 계수의 크기에 따른 벌점을 더합니다.
Objective = Loss + λ × Penalty
λ (람다)는 규제 강도입니다. λ가 0이면 규제하지 않고, 커질수록 작은 계수를 선호합니다.
통상 절편 β₀는 벌점 대상에서 제외합니다. 서로 다른 단위의 변수를 함께 사용할 때는 입력변수를 표준화한 뒤 적용하는 것이 일반적입니다.
직접 조절
λ를 움직이면 계수는 어떻게 바뀔까?
–Ridge |β| 합계
–Lasso |β| 합계
–Lasso에서 0인 계수
λ의 효과를 계산 중입니다.
아래의 네 계수는 설명을 위해 만든 예시입니다. 표준화되고 서로 직교하는 설명변수(XᵀX/n = I)를 가정해 실제 공식대로 계산합니다.
4-CUT CONCEPT COMIC · 03
🖍️ 계산 이야기: 오차와 벌점 사이의 균형
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
틀린 만큼 오차가 생겨요
💬 “예측이 정답과 다르네.”
개념 연결 손실(Loss)은 예측이 얼마나 틀렸는지 나타내요.
2
계수가 크면 벌점도
💬 “이 숫자가 너무 커졌어!”
개념 연결 정규화는 회귀계수의 크기에 벌점을 붙여요.
3
람다는 규제 조절기
💬 “λ가 작으면 벌점이 약해.”
개념 연결 λ는 오차와 규제 사이의 무게를 정해요.
4
중간 지점을 찾아요
💬 “적당하게 조절해야지!”
개념 연결 λ는 교차검증으로 선택하는 것이 일반적이에요.
교안 04 / 10교재 p.310 관련 이론
05 · RIDGE REGRESSION
Ridge 회귀 = L2: 제곱해서 벌점
계수가 클수록 제곱 벌점이 빠르게 커집니다. 일반적으로 모든 계수를 0에 가깝게 줄이지만 정확히 0으로 만들지는 않습니다.
L2 Penalty
제곱합을 줄이는 규제
minβ [ Loss + (λ / 2) Σ βⱼ² ]
예를 들어 계수가 3이면 제곱 벌점은 9, 계수가 1이면 1입니다. 큰 계수에 더 강한 불이익을 줍니다.
원이 매끈하므로 최적점이 한 축 위(계수 0)에 정확히 놓이도록 유도하는 경향은 상대적으로 약합니다.
계수의 변화
Ridge는 전체 계수를 함께 축소
최소제곱 계수(규제 없음) OLS
Ridge 적용 후 L2
Ridge는 큰 계수까지 함께 줄입니다.
위의 직교·표준화 가정에서 β̂ⱼ(Ridge) = β̂ⱼ(OLS)/(1+λ)입니다.
4-CUT CONCEPT COMIC · 04
🖍️ Ridge 이야기: 모든 친구가 짐을 조금씩 줄여요
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
서로 다른 크기의 짐
💬 “큰 짐도, 작은 짐도 있네.”
개념 연결 막대의 높이는 각 회귀계수의 크기를 뜻해요.
2
큰 짐에 벌점이 더 커요
💬 “제곱하면 큰 수가 더 커져!”
개념 연결 Ridge는 회귀계수 제곱합인 L2 벌점을 써요.
3
다 같이 조금씩 줄여요
💬 “모두 짐을 조금 덜자!”
개념 연결 일반적으로 모든 회귀계수가 줄어듭니다.
4
아주 작은 짐도 남아요
💬 “작아져도 보통 0은 아니야.”
개념 연결 Ridge는 보통 변수를 완전히 제거하지 않아요.
교안 05 / 10교재 p.310 관련 이론
06 · LASSO REGRESSION
Lasso 회귀 = L1: 절대값으로 벌점
Lasso는 계수를 0으로 만들 수 있어 변수 선택 효과가 있습니다. 48번 문제의 핵심 개념입니다.
L1 Penalty
절대값 합을 줄이는 규제
minβ [ Loss + λ Σ |βⱼ| ]
계수가 3이면 절대값 벌점은 3, 계수가 −1이면 1입니다. 부호와 관계없이 크기에 벌점을 줍니다.
마름모의 꼭짓점이 축 위에 있으므로 최적점이 꼭짓점에 닿아 일부 계수가 정확히 0이 되기 쉽습니다.
변수 선택 시각화
작은 계수가 0이 되는 모습
규제 전 OLS
규제 후 Lasso
Lasso는 일부 회귀계수를 정확히 0으로 만듭니다.
위의 직교·표준화 가정에서 β̂ⱼ(Lasso) = sign(β̂ⱼ(OLS)) × max(|β̂ⱼ(OLS)| − λ, 0)입니다.
4-CUT CONCEPT COMIC · 05
🖍️ Lasso 이야기: 꼭 필요한 친구만 남아요
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
후보 친구 네 명
💬 “모두가 꼭 필요할까?”
개념 연결 회귀변수 중 일부는 예측에 도움이 적을 수 있어요.
2
절대값으로 벌점을 줘요
💬 “마이너스도 크기만 보자.”
개념 연결 Lasso의 L1 벌점은 계수 절대값의 합이에요.
3
작은 계수는 0으로
💬 “이 친구는 잠깐 쉬어도 돼.”
개념 연결 일부 변수의 계수가 정확히 0이 될 수 있어요.
4
중요한 변수는 남아요
💬 “필요한 친구는 계속 함께!”
개념 연결 이것이 Lasso의 변수 선택 효과예요.
교안 06 / 10교재 p.310 관련 이론
07 · COMPARISON
Ridge · Lasso · Elastic Net 3종 비교
세 모형 모두 오차에 페널티를 더합니다. 무엇을 페널티로 삼느냐가 핵심 차이입니다.
Ridge L2
제곱합 규제 · 대부분의 계수를 남기고 크기를 줄임
Lasso L1
절대값합 규제 · 일부 계수를 정확히 0으로 만듦
Elastic Net L1 + L2
절충형 규제 · 변수 선택과 계수 안정성을 함께 고려
예시: 직교·표준화된 4개 변수와 OLS 계수 [2.20, −1.45, 0.90, 0.34]. Elastic Net의 L1 혼합 비율 α=0.6 고정.
시험에 나오는 핵심 비교
| 구분 | Ridge | Lasso | Elastic Net |
|---|---|---|---|
| 규제 종류 | L2 | L1 | L1 + L2 혼합 |
| 벌점 항 | Σβⱼ² | Σ|βⱼ| | αΣ|βⱼ| + (1−α)Σβⱼ²/2 |
| 계수가 0이 되나? | 보통 정확히 0이 되지 않음 | 일부 정확히 0 가능 | 일부 정확히 0 가능 |
| 핵심 기능 | 계수 축소·안정화 | 계수 축소·변수 선택 | 두 규제의 장점 결합 |
| 조정 모수 | λ | λ | λ와 혼합 비율 α |
주의: Elastic Net의 L1·L2 항에 붙는 상수는 교재·소프트웨어의 정의에 따라 다르게 표기될 수 있습니다. 비교 목적상 동일한 손실 정규화 기준을 사용했습니다.
4-CUT CONCEPT COMIC · 06
🖍️ 비교 이야기: 세 가지 정규화 도구를 고르면?
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
Ridge를 선택하면
💬 “모두의 힘을 조금 줄여!”
개념 연결 L2는 보통 모든 회귀계수를 축소해요.
2
Lasso를 선택하면
💬 “작은 힘은 0으로 만들어!”
개념 연결 L1은 일부 변수를 제외할 수 있어요.
3
Elastic Net을 선택하면
💬 “두 방법을 섞어 써 보자!”
개념 연결 Elastic Net은 L1과 L2 벌점을 결합해요.
4
어떤 게 제일 좋을까?
💬 “시험해 보고 결정하자!”
개념 연결 교차검증으로 새 데이터 예측 성능을 비교해요.
교안 07 / 10교재 p.310 · Elastic Net 추가 설명
08 · FOUR-PANEL STORY
4컷 이야기로 배우는 정규화 회귀
복잡한 수식보다 먼저, 왜 규제를 하고 L1·L2가 어떤 일을 하는지 순서대로 기억해 보세요.
4-CUT CONCEPT COMIC · 07
🖍️ 정규화 회귀 전체 이야기
① 과적합 → ② 규제 → ③ Ridge → ④ Lasso를 기억하세요.
1
너무 열심히 외웠어!
“학습 점 하나도 놓치지 않겠어!” → 하지만 처음 보는 데이터에는 약할 수 있어요.
2
규칙을 조금 단순하게!
“오차가 조금 남아도 좋아. 대신 계수를 너무 키우지 말자!”
3
Ridge: 모두 조금씩 낮춰!
“큰 친구도 작은 친구도, 다 같이 줄어들자!” → L2 제곱합 규제
4
Lasso: 필요 없는 건 0!
“이 변수는 없어도 되겠는데?” → L1 절대값합 규제와 변수 선택
교안 08 / 10교재 p.310에 기초한 복습 설명
09 · PAST EXAM Q48
기출 48번: Lasso에 대한 부적절한 설명
정답을 바로 보지 말고, 4개 선택지 각각이 L1과 L2 중 어디에 해당하는지 생각해 보세요.
문제 48 · 정답 하나 선택
다음 중 Lasso 회귀모형에 대한 설명으로 부적절한 것은?
문제 직결 이론
두 규제를 먼저 그림으로 구분
L1 = Lasso절대값합 → 0 가능
L2 = Ridge제곱합 → 계수 축소
Lasso : Loss + λ Σ |βⱼ|
Ridge : Loss + (λ/2) Σ βⱼ²
기출 암기 공식: 라쏘 = L1 = 절대값 = 변수 선택 / 릿지 = L2 = 제곱 = 계수 축소
선택지별 해설 (정답 확인 버튼을 누르면 설명이 강조됩니다)
①
표현에 주의가 필요한 선택지 — Lasso의 벌점은 정확히 회귀계수의 절대값에 비례합니다. 원문 표현인 “회귀계수에 비례하여 가중치를 부여”는 엄밀한 정의가 아니므로 오해를 낳을 수 있습니다. 시험의 출제 취지에서는 적절한 것으로 취급합니다.
②
적절 — L1 규제로 일부 계수를 정확히 0으로 만들어 변수 선택 효과가 있습니다.
③
적절 — 벌점의 크기를 조절하는 하이퍼파라미터 λ가 있습니다.
④
부적절 · 정답 — Lasso는 L1을 사용하며, L2는 Ridge가 사용합니다.
정답은 ④. 다만 ①도 기술 방식이 모호하므로 “회귀계수 절대값에 비례하는 페널티를 부여한다”로 고쳐 표현하는 것이 통계적으로 더 정확합니다.
4-CUT CONCEPT COMIC · 08
🖍️ 문제 풀이 이야기: 48번의 함정을 찾아라
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
문제를 먼저 읽어요
💬 “옳지 않은 것을 찾으래!”
개념 연결 정답이 아니라 틀린 설명을 찾는 문제예요.
2
Lasso의 단서를 떠올려요
💬 “라쏘는 L1이지!”
개념 연결 L1은 절대값합이며 변수 선택에 도움이 돼요.
3
선택지를 하나씩 살펴요
💬 “① ② ③을 비교해 보자.”
개념 연결 ② 변수 선택, ③ 벌점 조정 모수 λ는 적절해요.
4
함정을 발견했어요
💬 “④ L2라고? 릿지잖아!”
개념 연결 따라서 교재 기출 48번 정답은 ④예요.
교안 09 / 10교재 발췌 p.310 · 기출 48번
10 · REVIEW
10초 핵심 정리 + 확인 퀴즈
두 개의 짧은 질문으로 개념을 확인하고, 모형을 선택할 때 무엇을 먼저 살펴볼지 정리합니다.
시험 직전 떠올릴 표
| 키워드 | 내용 |
|---|---|
| Overfitting | 학습 데이터에 지나치게 맞춤 |
| Regularization | 오차 + 계수 규제 |
| λ | 규제 강도 조절값 |
| Ridge | L2 · 계수 제곱합 · 계수 축소 |
| Lasso | L1 · 계수 절대값합 · 변수 선택 |
| Elastic Net | L1과 L2의 혼합 |
암기 문장
라쏘는 L1이라 ‘변수를 남길지 말지’를 결정할 수 있고, 릿지는 L2라 ‘모든 변수의 힘’을 부드럽게 줄인다.
간단한 확인 문제
Q1. 일부 계수를 정확히 0으로 만들기 쉬운 방법은?
Q2. λ가 지나치게 커지면 생길 수 있는 문제는?
실제 분석 실무: Ridge/Lasso/Elastic Net 중 어떤 방법이 더 나은지는 교차검증으로 규제 강도와 예측 성능을 비교해 선택합니다. 모델 이름만으로 항상 우수한 방법을 정할 수는 없습니다.
교재·시험 연결
기출 48번의 출제 핵심은 “Lasso = L1”의 정확한 구분입니다. 문제를 풀 때 ④의 L2를 즉시 찾아낼 수 있어야 합니다.
4-CUT CONCEPT COMIC · 09
🖍️ 복습 이야기: 시험 직전 한 번 더
왼쪽 위부터 오른쪽 아래로 읽으면 개념이 자연스럽게 이어집니다.
1
왜 규제를 쓸까요?
💬 “너무 외우면 새 문제에 약해.”
개념 연결 정규화는 과적합 위험을 줄이는 방법이에요.
2
라쏘는 무엇을 하나요?
💬 “L1, 그리고 0이 가능!”
개념 연결 Lasso = 절대값합 = 변수 선택 효과.
3
릿지는 무엇을 하나요?
💬 “L2, 함께 줄이는 거야!”
개념 연결 Ridge = 제곱합 = 계수 축소.
4
마지막 확인은?
💬 “람다도 조절하고 성능도 확인!”
개념 연결 실제 자료에서는 교차검증과 적절한 표준화가 중요해요.
교안 10 / 10교재 p.310에 기초한 복습 설명
키보드 ← →로도 넘길 수 있습니다. · 교안 10장 · 실제 인쇄 용지 수는 설정에 따라 다를 수 있습니다.