PART 03데이터 분석

05장 · 정형 데이터 마이닝 (Structured Data Mining)

데이터 마이닝을 위한 데이터 분할

p.383–384

학습 목표

☑ 학습·검증·시험 데이터를 구별한다.
☑ 홀드아웃과 k-fold 교차검증을 비교한다.
☑ 시험 데이터의 올바른 사용 시점을 설명한다.

데이터 3분할 · 학습 → 검증 → 최종 시험

Training · Validation · Test

전체 데이터는 서로 중복되지 않게 나누어 사용합니다. 아래 50 : 30 : 20은 교재의 예시 비율이며, 실제 분석에서는 데이터의 양과 목적에 맞게 결정합니다.

50%학습용

30%검증용

20%시험용

예: 전체 1,000건 → 학습 500건 · 검증 300건 · 시험 200건비율은 고정 규칙이 아닌 예시

🧠

학습용 데이터 Training Data · 50%

모형을 직접 학습시켜 계수와 가중치를 추정합니다. 추정용·구축용 데이터라고도 합니다.

암기: 모델을 ‘만드는’ 데이터

🛠️

검증용 데이터 Validation Data · 30%

학습된 모형의 성능을 비교하고 하이퍼파라미터를 조정하거나 과대적합 여부를 판단합니다.

암기: 모델을 ‘고르는·조정하는’ 데이터

🏁

시험용 데이터 Test Data · 20%

학습·모형 선택 과정에 참여하지 않은 독립 데이터를 활용해 최종 예측 성능과 일반화 능력을 평가합니다.

암기: 마지막에 ‘최종 평가’하는 데이터

학습 (모형 구축)

➜

검증 (모형 선택·조정)

➜

시험 (최종 평가)

※ 검증·시험 데이터의 역할을 혼동하지 마세요. 시험 데이터를 반복적으로 확인하면서 모델을 수정하면 정보 누출(Data Leakage)로 최종 성능이 낙관적으로 추정될 수 있습니다.

분할 및 모형 검증 방법 · Hold-Out vs k-Fold

데이터를 나누는 방법과 반복 검증의 차이

홀드아웃 방법 Hold-Out Method

한 번 나누기

데이터를 무작위로 나눠 한쪽에서 학습하고 다른 쪽에서 평가합니다. 아래는 교재의 2집단 분할 설명을 보여 주는 별도 예시입니다.

예시 · 학습용 80% / 평가용 20%

학습 80%Training

20%Test

① 학습 데이터

모형을 훈련

➜

② 평가 데이터

성능을 확인

핵심 특징: 분할이 간단하고 계산이 빠르지만, 한 번의 분할 결과에 따라 성능 추정이 달라질 수 있습니다. 앞의 3집단 분할 역시 홀드아웃 방식으로 구성할 수 있습니다.

k-Fold 교차검증 k-Fold Cross-Validation

k번 교대 검증

데이터를 k개 구간(Fold)으로 나누고, 매 차례 k−1개는 학습, 1개는 검증에 사용합니다. 각 구간을 한 번씩 검증에 사용합니다.

접기 수 선택행을 누르면 해당 회차 강조

학습 구간 (k−1)검증 구간 (1)

5-Fold: 4개 구간 학습 + 1개 구간 검증을 5번 반복하고 평균합니다.

핵심 특징: 각 관측치를 검증에 활용하므로 데이터를 비교적 효율적으로 활용합니다. k번의 검증 결과를 평균하고, 필요하면 별도로 보관한 독립 시험 데이터로 최종 평가합니다.

시험 직전 핵심 개념 · 반드시 구분할 3가지

짧게 이해하고 정확하게 기억하기

🎯 학습 vs 검증 vs 시험

학습은 모형 구축 · 검증은 튜닝·선택 · 시험은 최종 평가. 특히 시험용 데이터는 중간 튜닝에 사용하지 않습니다.

🔁 홀드아웃 vs 교차검증

홀드아웃은 한 번 분할 · k-Fold는 k번 교대 검증 후 평균. 데이터가 제한적이면 교차검증이 유용합니다.

🔐 일반화 성능의 신뢰성

훈련·검증에서의 좋은 성능이 실제 새 데이터 성능을 보장하지는 않습니다. 독립 시험 데이터를 보존하고 평가에 한 번 사용하는 것이 중요합니다.

교재 이해를 위한 보충: ‘학습용 50%·검증용 30%·시험용 20%’는 가능한 분할 예시이며 유일한 비율은 아닙니다. k-Fold 교차검증은 주로 훈련 단계 내부의 모형 선택·성능 추정에 활용되며, 최종 독립 시험 평가와 역할이 구분됩니다.

핵심개념 체크 · 기출문제 5 & 6

17회 기출 · 38회 기출

✏️ 보기를 먼저 선택하고 정답 확인을 누르면 채점 및 해설이 나타납니다.2문항 · 각 1점

문제 0517회 기출 · 홀드아웃

다음 중 데이터를 무작위로 두 집단으로 분리하여 실험데이터와 평가데이터로 설정하고 검정을 실시하는 모형 평가방법으로 적절한 것은?

문제 0638회 기출 · 데이터 역할

데이터 분할에 대한 설명 중 가장 부적절한 것은 무엇인가?

최종 암기 학습(구축) → 검증(조정·선택) → 시험(최종 평가) / 홀드아웃(한 번) ↔ k-Fold(k번 평균)아직 채점 전 · 총 2문항