혼동행렬·F1·민감도·특이도를 계산한다.
ROC/AUC·이익도표·과대적합을 구분한다.
선택지 클릭 후 개별 채점하거나, 6문제를 모두 풀고 한 번에 채점할 수 있습니다.
| 예측값 ↓ / 실제값 → | TRUE (+) | FALSE (−) | 합계 |
|---|---|---|---|
| TRUE (+) | 30TP | 170FP | 200 |
| FALSE (−) | 70FN | 40TN | 110 |
| 합계 | 100 | 210 | 310 |
정답 ② 1/5
먼저 양성(TRUE)을 기준으로 TP=30, FP=170, FN=70, TN=40을 확인합니다. 정밀도는 30/(30+170)=3/20, 재현율은 30/(30+70)=3/10입니다. 두 지표의 조화평균을 계산하면 F1 = 2 × (3/20 × 3/10) ÷ (3/20 + 3/10) = 1/5입니다.
정답 ② 검증용 데이터 (Validation Data)
정답은 검증용 데이터(Validation Data)입니다. 학습용 데이터로 가중치와 계수를 학습하고, 검증용 데이터의 결과를 바탕으로 하이퍼파라미터와 모델 구성을 조정합니다. 테스트 데이터는 이러한 선택이 끝난 후 최종 일반화 성능을 확인하는 데 사용하며, 조정에 반복 사용하면 평가가 낙관적으로 치우칠 수 있습니다.
정답 ① 덴드로그램 (Dendrogram)
덴드로그램은 관측치가 어떻게 단계적으로 묶이는지 나타내는 계층적 군집분석의 도구입니다. ROC, 누적 이익 도표 및 PR 곡선은 분류모형의 판별력이나 상위 대상자 선별 성능 등을 살펴보는 데 활용할 수 있습니다.
정답 ② 이익도표 (Lift Chart)
이 문항이 의도한 정답은 이익도표(Lift Chart)입니다. 예측확률 순으로 고객을 정렬하고 분위(예: 10개 등급)별 반응률·반응검출율·향상도(Lift)를 비교합니다. 혼동행렬은 등급별 반응이 아니라 실제 분류값과 예측 분류값의 교차 빈도를 보여줍니다.
정답 ④ 재현율 (Recall)
재현율(Recall)=민감도(Sensitivity)=TPR(True Positive Rate)입니다. 실제 양성인 사례(TP+FN) 중 올바르게 양성으로 예측한 TP의 비율이므로 TP/(TP+FN)으로 계산합니다. 양성 사례를 놓치지 않는 능력을 평가합니다.
정답 ② 특이도 (Specificity)
특이도(Specificity)=TN/(TN+FP)로, 실제 음성(Negative) 사례 중 음성으로 정확히 예측한 비율입니다. 민감도는 실제 양성에서 양성을 맞힌 비율이라는 점에서 서로 구분해야 합니다.
핵심 원리: 실제값이 양성/음성인지와 모형이 양성/음성으로 예측했는지를 교차하면 TP, FP, FN, TN 네 값이 생깁니다. 어떤 집단을 분모로 삼는지가 평가지표 구분의 핵심입니다.
| 예측 ↓ / 실제 → | Positive (+) | Negative (−) |
|---|---|---|
| Positive (+) | TP실제 + / 예측 + 정탐 | FP실제 − / 예측 + 거짓 양성 · 1종 오류 |
| Negative (−) | FN실제 + / 예측 − 거짓 음성 · 2종 오류 | TN실제 − / 예측 − 정상 음성 |
표의 행은 예측값, 열은 실제값입니다. FP를 FN과 바꾸지 않도록 주의하세요.
아래 네 수치는 기출 7번의 TP 30, FP 170, FN 70, TN 40입니다. 값을 바꾸면 평가지표가 즉시 갱신됩니다.
(TP+TN) / N(FP+FN) / N = 1 − AccuracyTP / (TP+FP)TP / (TP+FN) = TPRTN / (TN+FP)FP / (FP+TN) = 1 − Specificity2PR / (P+R)TP+FP+FN+TN실제로 질환이 있는 환자 가운데 몇 명을 탐지했는가? TP / (TP+FN)
실제로 질환이 없는 환자 가운데 몇 명을 정상으로 판정했는가? TN / (TN+FP)
질환이 있다고 판정한 환자 가운데 실제 질환이 있는 사람의 비율은? TP / (TP+FP)
x축 FPR = FP/(FP+TN), y축 TPR = TP/(TP+FN). ROC 곡선은 분류 임계값을 여러 수준으로 바꾸어 만듭니다. AUC는 곡선 아래 면적으로, 일반적으로 클수록 구분력이 높습니다.
※ 모양은 이해를 위한 예시이며, 기출 7번 혼동행렬만으로 계산한 ROC가 아닙니다.재현율을 높이려 할 때 정밀도가 어떻게 변하는지 보여줍니다. 특히 양성 사례가 드문 클래스 불균형 상황에서 ROC와 함께 확인할 가치가 있습니다.
※ 이 그래프 역시 설명용 예시입니다. 곡선을 구하려면 다양한 임계값의 예측점수가 필요합니다.전체 고객 2,000명, 구매자 381명이라는 교재 예시를 사용합니다. 예측확률이 높은 순서로 상위 200명을 선정했더니 실제 구매자가 174명이었습니다.
모형이 너무 단순해 학습 데이터의 구조도 충분히 설명하지 못하는 상태
관측치의 전반적인 패턴을 학습해 새로운 데이터에도 적용 가능한 상태
학습 데이터의 우연적 변동까지 따라가 새로운 데이터에서 성능이 저하될 수 있는 상태
전체 1,000명 중 실제 양성 15명, 음성 985명이라고 가정합니다. 모든 사례를 음성으로만 예측해도 정확도는 985/1,000 = 98.5%이지만, 실제 양성 15명은 단 한 명도 찾아내지 못합니다(재현율 0%).
이처럼 정확도만 보면 좋은 모형으로 착각할 수 있으므로 재현율·정밀도·F1·PR 곡선 등을 함께 확인합니다.
FP: 실제 음성 → 양성이라고 잘못 예측. FN: 실제 양성 → 음성이라고 잘못 예측. (분류 오류를 설명할 때 각각 1종·2종 오류로 연결하기도 합니다.)
검증 자료로 모형을 고른 뒤 테스트 자료를 모델 선택에 반복 활용하지 않는 것이 중요합니다. 시험용 데이터는 최종 평가에 남겨둡니다.
계산형은 Precision → Recall → F1 순서. 구분형은 실제 양성 / 실제 음성 / 예측 양성 중 무엇이 분모인지 먼저 확인합니다.
F1=정밀도·재현율의 조화평균, Recall=Sensitivity=TP/(TP+FN), Specificity=TN/(TN+FP)
덴드로그램=군집 도구, ROC/PR/Lift=분류 성능 확인, 이익도표=등급별 반응·향상도
학습 데이터로 추정 → 검증 데이터로 조정 → 테스트 데이터로 최종 평가