▦ PART 03 · 데이터 분석 5장 정형 데이터 마이닝 · 성과분석
교재 385–390쪽
01 / 10
PART 03 · 데이터 분석 / 5장 정형 데이터 마이닝
교재 본문 385–390쪽 · PDF 8–13p관련 기출문제: 교재 391–392쪽 (PDF 14–15p)

분류모형 성과분석
그림으로 이해하기

숫자를 외우기 전에 질문을 이해하세요.
“얼마나 맞혔나?” → “어떤 오류를 냈나?” → “누구를 우선 선택할까?” → “새 데이터에서도 통할까?”

TPFPFNTN
학습 로드맵 · 4개의 질문 출처: 윤종식 ADSP 5장 · 385–390쪽
01 / 판정
교재 385쪽

혼동행렬
Confusion Matrix

맞음·틀림을 TP / FP / FN / TN 네 칸으로 나눕니다.

정확도 · 재현율 · 정밀도
02 / 비교
교재 386–388쪽

ROC & AUC

판정 기준을 바꾸며 잘 찾는 능력과 오경보를 함께 봅니다.

TPR ↔ FPR
03 / 우선순위
교재 389–390쪽

이익도표
Lift Chart

상위 고객에게 집중하면 무작위 선택보다 얼마나 효율적일까요?

반응률 ÷ 전체 반응률
04 / 일반화
교재 390쪽

과소적합·과대적합

학습 데이터를 외우는 게 아니라 새 데이터에도 통하는 규칙을 찾습니다.

Train ↔ Test
학습 순서 기본표 → 지표별 의미 → 불균형 문제 → ROC → Lift → 적합도 → 관광 예시 → 확인 퀴즈
01 · CONFUSION MATRIX 교재 385쪽 · PDF 8p

먼저 실제값 × 예측값을 네 칸에 놓습니다

Positive는 “찾으려는 사건”입니다. 예: 관광상품 구매, 여행 취소, 노쇼 발생.

아래 숫자를 직접 바꿔보세요

혼동행렬 · 실제값은 행, 예측값은 열

실제값
예측값 Predicted
Positive (+)
Negative (−)
실제 +
TP · 정답70긍정을 긍정으로 예측
FN · 놓침30긍정을 부정으로 예측
실제 −
FP · 오경보20부정을 긍정으로 예측
TN · 정답180부정을 부정으로 예측
기억법 T(True)=맞음, F(False)=틀림 / P·N은 모델이 예측한 양성·음성을 나타냅니다. TP와 TN은 맞은 칸입니다.

내가 직접 만드는 혼동행렬

83.3%(TP+TN)/전체
70.0%TP/(TP+FN)
77.8%TP/(TP+FP)
90.0%TN/(TN+FP)
73.7%정밀도·재현율의 조화평균
16.7%(FP+FN)/전체
02 · METRICS 교재 385–386쪽 · PDF 8–9p

같은 모델도 “무엇이 중요한가”에 따라 평가가 다릅니다

재현율은 놓치지 않는 능력, 정밀도는 예측 양성의 신뢰도입니다.

슬라이드 01 값과 연결됨

여섯 공식, 한 표에 정리

정확도 Accuracy
모든 사례 중 맞힌 비율
(TP + TN) / 전체
오분류율 Error Rate
모든 사례 중 틀린 비율
(FP + FN) / 전체
재현율 Recall = Sensitivity = TPR
실제 양성 중 찾아낸 비율
TP / (TP + FN)
특이도 Specificity = TNR
실제 음성 중 음성으로 분류한 비율
TN / (TN + FP)
정밀도 Precision = PPV
양성이라고 예측한 것 중 실제 양성 비율
TP / (TP + FP)
F1 Score
정밀도와 재현율의 조화평균
2PR / (P + R)

핵심 차이를 그림으로

재현율(Recall): 실제 구매자 중 얼마나 찾았나?
분모 = 실제 Positive = TP + FN
정밀도(Precision): 구매한다고 예측한 사람 중 실제 몇 명?
분모 = 예측 Positive = TP + FP
시험 포인트 FP = 제1종 오류(Type I), FN = 제2종 오류(Type II)로 연결할 수 있습니다(음성을 귀무상태로 둘 때). FPR = 1 − 특이도입니다.

Fβ Score · 무엇을 더 강조할까요?

73.7%
β=1이면 F1. 정밀도와 재현율을 같은 중요도로 반영.
Fβ = (1 + β²)PR / (β²P + R)
03 · CLASS IMBALANCE 교재 385–386쪽 · PDF 8–9p

정확도가 99%인데도 쓸모없는 모델이 있을까요?

전체 1,000명 중 실제 노쇼가 단 10명이라면, “모두 노쇼가 아니다”라고 예측해도 대부분 맞습니다.

불균형 데이터 함정
모델 A · 무조건 음성 예측

모두 “노쇼 아님”

99.0%
0%
0%

TP 0 · FN 10 · FP 0 · TN 990

높은 정확도에 속으면 안 됩니다. 실제 노쇼 10명을 한 명도 발견하지 못했습니다.
모델 B · 양성 탐지에 집중

놓치는 노쇼를 줄인 모델

97.6%
80.0%
40.0%

TP 8 · FN 2 · FP 22 · TN 968

정확도는 낮아졌지만 노쇼 10명 중 8명을 찾아냈습니다. 다만 오경보가 22건이라 비용까지 함께 평가해야 합니다.

그래서 어떤 지표가 필요할까요?

①
재현율양성을 얼마나 놓치지 않는가?
②
정밀도 · F1양성 예측의 신뢰도와 균형을 함께 확인
③
PR Curve · PR-AUC양성이 희귀할 때 ROC-AUC와 함께 검토

실무 대응 · 데이터 자체도 점검

클래스 가중치 오버샘플링 언더샘플링 임계값 조정

재표본추출은 학습 데이터 내부에서만 적용해야 합니다. 검증·시험 데이터까지 먼저 증강하면 데이터 누수가 발생해 성능이 과대평가될 수 있습니다.
04 · ROC / AUC 교재 386–388쪽 · PDF 9–11p

ROC: “잘 찾기”와 “오경보”의 균형을 그립니다

신용위험 예시: 부도 1,040명(양성), 정상 8,960명(음성). 점수 상위 등급부터 양성으로 분류합니다.

교재의 10개 등급 자료로 계산

ROC Curve · 기준점을 움직여 보세요

모형 ROC무작위 예측(대각선)ROC 아래 면적

양성 판정에 포함할 상위 등급

51.9%부도자를 찾아낸 비율
27.5%정상인을 부도로 오판
0.6814임계값 전체에 대한 순위 판별력
좌측 상단 (FPR=0, TPR=1)에 가까울수록 이상적입니다. AUROC는 특정 기준점 하나의 정확도가 아닙니다.

ROC 성능 기준 · 흔한 참고 구간

0.9~1.0 매우 높음0.8~0.9 높음0.7~0.8 보통0.6~0.7 낮음0.5~0.6 매우 낮음

위 구간은 교재식 경험적 구분이며, 분야·비용·자료특성에 관계없이 적용되는 절대적 판정 기준은 아닙니다.

AUC가 훈련 데이터에서 1.0이라고 해도 과대적합 여부는 시험 데이터 성능과의 차이로 판단해야 합니다.
05 · LIFT CHART 교재 389–390쪽 · PDF 12–13p

이익도표: “누구에게 먼저 마케팅할까?”

관광상품 구매 예측확률 순서로 고객 2,000명을 정렬하고, 200명씩 10개 구간으로 나눕니다.

각 막대를 누르면 구간이 바뀝니다

구간별 반응률(%) · 예측순위 1~10분위

구간별 구매반응률전체 평균 반응률 19.05%

선택한 1분위 · 구매자 174명

87.0%174 / 200
45.7%174 / 381
4.57배87.0 / 19.05
해석 상위 10% 고객은 전체 고객을 무작위로 뽑았을 때보다 약 4.57배 높은 구매반응률을 보입니다.

상위 20%에만 집중한다면?

74.5%

상위 400명에서 구매자 284명 포착 → 전체 구매자 381명 중 74.5% 확보

상위 20% 누적 반응률 = 284/400 = 71.0% / 누적 Lift = 71.0% ÷ 19.05% ≈ 3.73배

주의: Lift는 0~1의 점수가 아니라 배수입니다. 상위 순위에서 Lift가 높은 편이 바람직하지만, 모든 구간이 반드시 단조 감소할 필요는 없습니다.전체 기준 반응률 = 381 / 2,000 = 19.05%
06 · GENERALIZATION 교재 390쪽 · PDF 13p

과소적합과 과대적합: 단순해도, 복잡해도 문제

핵심은 학습 데이터의 점수를 높이는 것이 아니라 처음 보는 데이터에도 통하는 패턴을 배우는 것입니다.

그림은 개념을 설명하는 예시
① Underfitting · 과소적합

너무 단순한 직선

데이터의 곡선을 놓칩니다. 훈련·시험 오차 모두 큼.

② Good Fit · 적절한 일반화

패턴을 부드럽게 학습

핵심 추세를 포착합니다. 새 자료에도 비교적 안정적.

③ Overfitting · 과대적합

개별 표본까지 외움

훈련 성능만 좋을 수 있습니다. 시험 오차가 커짐.

모델 복잡도에 따른 훈련·시험 오차

훈련 오차(예시)시험 오차(예시)

편향–분산 트레이드오프

↘
과소적합: 높은 편향(High Bias)지나치게 단순하여 실제 구조를 표현하지 못함.
◎
적절한 복잡도: 일반화 성능 우선교차검증으로 모델·하이퍼파라미터를 선정.
↗
과대적합: 높은 분산(High Variance)훈련 데이터의 우연한 노이즈에도 민감.
대응: 검증 분리 · 교차검증 · 규제(Regularization) · 특징 선택 · 조기 종료 등
07 · TOURISM EXAMPLES 교재 385–390쪽 · PDF 8–13p

관광 실무에 적용하면 지표 선택이 쉬워집니다

같은 “양성 예측”이라도 실제 손실 구조가 다르면 우선 지표가 달라집니다.

교재 개념을 응용한 자체 사례
사례 A · 숙박 노쇼 예측

“노쇼할 고객을 미리 찾는 모델”

Positive = 노쇼 발생

FN(놓침): 실제 노쇼인데 정상 체크인이라고 예측 → 빈 객실 대응 기회 상실.
FP(오경보): 정상 체크인할 고객에게 불필요한 확인 연락.

재현율 우선 여부는 놓친 노쇼의 손실과 불필요한 연락의 비용을 비교하여 결정해야 합니다.

주요 판단: Recall · Precision · 기대비용
사례 B · 관광상품 구매 가능성

“한정된 쿠폰을 누구에게 보낼까?”

Positive = 관광상품 구매

고객 예산이 제한됨: 확률 상위 10%의 반응률과 Lift를 우선 확인.
상위 집단 선택: 실제 구매자를 얼마나 많이 포착했는지 Capture도 검토.

단, 실제 마케팅 증분효과(Uplift)는 Lift와 다릅니다. 구매 가능성이 높아도 쿠폰이 구매를 추가로 유발했는지는 별도 검증이 필요합니다.

주요 판단: Lift · Capture · ROI

실무에서 모형을 고르는 최종 질문

① 목적

무엇을 양성으로 정의할까?

② 오류 비용

FP와 FN 중 무엇이 더 비쌀까?

③ 성능 비교

ROC-AUC, PR-AUC, Lift 중 적합한 것은?

④ 검증

시험 데이터와 실제 운영 환경에서도 유지될까?

08 · KEY POINTS & QUIZ 교재 385–390쪽 · PDF 8–13p

시험 직전 최종 정리 · 필수 공식과 오개념

공식과 개념을 확인한 후 다음 페이지의 다섯 문항으로 점검하세요.

다음 페이지: 확인 문제 5개 →

핵심 공식 5개

정확도(TP+TN)/(TP+TN+FP+FN)
민감도 · 재현율TP/(TP+FN)
특이도TN/(TN+FP)
정밀도TP/(TP+FP)
F12PR/(P+R)
연결해서 외우기:
TPR = Recall = Sensitivity
FPR = 1 − Specificity
ROC = 가로 FPR, 세로 TPR
Lift = 구간 반응률 ÷ 전체 반응률

오개념 방지 4문장

✕
정확도가 높으면 항상 좋은 모형이다?불균형이면 양성을 전혀 못 찾아도 높을 수 있습니다.
✕
AUROC는 혼동행렬 하나에서 계산한다?여러 판정 임계값을 바꿔 얻은 ROC 전 구간의 면적입니다.
✕
Lift는 0~1 사이 수치다?무작위 기준 대비 배수라서 1을 초과할 수 있습니다.
✕
훈련 성능이 좋으면 과대적합이 아니다?일반화는 별도 검증/시험 데이터로 확인해야 합니다.
09 · SELF QUIZ 교재 385–390쪽 · PDF 8–13p

실전 확인문제 · 총 5문항

혼동행렬·ROC·Lift·과대적합·Fβ의 핵심 의미를 직접 판단해 보세요.

자체 제작 문제 · 정답을 누르면 해설

최종 확인 문제

3줄 암기 전략

분류 성공·오류를 셀 때 → 혼동행렬과 F1
기준을 바꾸며 탐지와 오경보를 볼 때 → ROC·AUROC
상위 고객을 선별하거나 새 데이터에 적용할 때 → Lift 또는 일반화 성능

오늘의 핵심 결과

83.3%
0.6814
4.57배

지표는 평가하려는 목적과 오류 비용에 맞추어 선택하고, 최종 성능은 사용하지 않은 시험 데이터로 확인하세요.