🎯 학습목표
- CART, C4.5, C5.0, CHAID의 기준을 구별한다.
- 이진분리(Binary Split)와 다지분리(Multiple Split)의 차이를 설명한다.
- ID3, QUEST, MARS의 목적과 특성을 이해한다.
- 시험 문제에서 목표변수의 형태 + 분리기준을 연결한다.
01
학습목표 · 한눈에 이해하기 교재 419~420쪽 연계
의사결정나무는 무엇으로 나누는가? 몇 갈래로 나누는가?
Gini
CART 분류나무
Gain Ratio
C4.5 · C5.0
χ²
CHAID의 검정
Information Gain
ID3의 기준
💬 가장 쉬운 이해
관광객을 예측한다고 가정하면, 각 알고리즘은 데이터를 나누는 판단 규칙이 다릅니다.
분류
재방문 여부
예 / 아니요
재방문 여부
예 / 아니요
회귀
예상 관광지출액
예: 15만 원
예상 관광지출액
예: 15만 원
같은 관광객 데이터라도 무엇을 예측하는지에 따라 분리기준이 달라질 수 있습니다.
02
7개 알고리즘 통합 비교표
6개 번호로 제시된 교재 내용에서 C4.5와 C5.0을 분리하여 7개 알고리즘으로 표시
| 알고리즘 | 분리기준(핵심) | 분기 구조 | 특징 | 시험 암기 |
|---|---|---|---|---|
| CART | 분류: 지니 불순도 회귀: 분산·제곱오차 감소 | 이진분리 | 분류·회귀나무를 구성하는 대표적 알고리즘 | Gini + Binary |
| C4.5 | 정보이득비율 (엔트로피 기반) | 범주형에서 다지분리 가능 | ID3의 한계를 개선하며 연속형 변수도 처리 | Gain Ratio |
| C5.0 | 정보이득비율 계열 | 범주형에서 다지분리 가능 | C4.5의 후속 알고리즘으로 효율성과 활용 기능 개선 | C4.5 후속 |
| CHAID | 범주형 결과: 카이제곱 검정 연속형 결과: F 검정(변형) | 다지분리 가능 | 통계적 유의성에 따른 분할 및 사전 정지 전략 | χ² / p값 |
| ID3 | 정보이득 (Information Gain) | 범주형에 다지분리 가능 | 초기 분류나무; 범주형에 적합, 기본형에는 후처리 가지치기 부족 | Entropy → IG |
| QUEST | 통계적 검정 기반 변수 선택 | 이진분리 | 변수 선택 편향을 낮추고 계산 효율성을 고려한 분류나무 | 빠름·편향 감소 |
| MARS | 절단점 + 스플라인 기저함수 | 나무 분기가 아닌 구간별 함수 | 비선형 회귀·상호작용을 모델링하는 적응형 회귀 스플라인 | Tree와 구분! |
가장 많이 구분하는 3쌍 · CART = 지니 / 분산 감소 · C4.5·C5.0 = 엔트로피 기반 정보이득비율 · CHAID = 카이제곱·F 검정.
03
이진분리와 다지분리: 직접 비교
아래 버튼을 눌러 알고리즘별 나무 구조를 바꿔 보세요.
이진분리 · Binary Split
한 노드에서 항상 두 개의 자식노드로 분리합니다. CART와 QUEST의 핵심 특징입니다.
예: 관광 만족도 ≥ 4점 vs. 4점 미만
다지분리 · Multiple Split
범주형 변수의 여러 값에 따라 세 갈래 이상으로 분리할 수 있습니다. C4.5 계열과 CHAID 등에서 가능합니다.
예: 선호 교통수단 = 철도 / 버스 / 승용차
만족도 ≥ 4점?부모마디 · Root / Parent
예(Yes)
재방문 가능성 높음
아니요(No)
재방문 가능성 낮음
CART는 목표변수가 범주형이면 지니 불순도 감소, 연속형이면 제곱오차(분산) 감소 등의 기준을 사용하면서 한 번에 두 갈래로 나눕니다.
중요한 예외 · C4.5·C5.0에서도 연속형 입력변수는 보통 임계값을 기준으로 이진분리합니다. “다지분리가 가능하다”가 “모든 변수를 언제나 여러 갈래로 나눈다”는 뜻은 아닙니다.
04
알고리즘별 핵심 이론과 예시
교재 문장을 학습용으로 다듬고, 꼭 필요한 기술적 구분을 보완했습니다.
01. CART기출 핵심
Classification and Regression Trees
분류 및 회귀나무
분류 및 회귀나무
지니 지수 · 분산 감소 · 이진분리
- 범주형 목표변수: 지니 불순도 감소
- 연속형 목표변수: 제곱오차/분산 감소
- 한 번에 두 개의 자식노드 생성
- 과대적합 억제에 비용-복잡도 가지치기 활용
🏝️ 관광 예시: “만족도 4점 이상?”으로 재방문 여부 예측
02. C4.5
Successor to ID3
ID3의 후속 분류나무
ID3의 후속 분류나무
정보이득비율 · 엔트로피 기반
- 엔트로피에서 계산한 정보이득을 활용
- 정보이득비율(Gain Ratio)로 다값 속성 선호 경향을 완화
- 범주형 변수를 여러 갈래로 나눌 수 있음
- 연속형 입력변수도 처리 가능
🏝️ 관광 예시: 선호 여행 유형(자연·문화·미식)별 분류
03. C5.0
Successor to C4.5
C4.5의 개선 알고리즘
C4.5의 개선 알고리즘
정보이득비율 계열 · 높은 효율성
- C4.5를 계승한 분류 알고리즘
- 엔트로피에 기반한 분리기준 활용
- 처리속도·메모리 효율성 등을 개선
- 일부 구현에서 부스팅, 규칙 집합 등 지원
🏝️ 관광 예시: 여행상품 구매 여부 분류
04. CHAID기출 핵심
Chi-squared Automatic Interaction Detection
카이제곱 기반 자동 상호작용 탐지
카이제곱 기반 자동 상호작용 탐지
카이제곱 · F 검정 · 다지분리
- 범주형 목표변수: χ²(카이제곱) 검정
- 연속형 목표변수: F 검정을 쓰는 변형 존재
- 범주 병합과 다지 분기가 특징
- 유의수준·깊이 등으로 성장을 제어하는 사전 가지치기 중심
🏝️ 관광 예시: 연령대·여행 방식과 만족도 등급 간 관계
05. ID3
Iterative Dichotomiser 3
반복적 분류나무 구성
반복적 분류나무 구성
Information Gain · 정보이득 최대화
- 정보이득(IG)이 가장 높은 속성 선택
- 엔트로피가 크게 감소하는 분할을 선호
- 기본적으로 범주형 입력변수에 적합
- 초기 기본형은 연속형·과대적합 대응에 제한
🏝️ 관광 예시: 회원등급별 관광상품 구매 예측
06. QUEST
Quick, Unbiased, Efficient Statistical Tree
신속·저편향 통계적 분류나무
신속·저편향 통계적 분류나무
통계적 검정 · 변수 선택 편향 완화
- 변수 선택과 분할점 탐색을 구분
- 범주 수가 많은 변수에 유리해지는 선택 편향을 줄임
- 빠른 계산과 이진분기가 특징
- 불균형 자료에서 우수한 성능을 항상 보장하지는 않음
🏝️ 관광 예시: 다양한 고객 속성으로 만족·불만족 분류
07. MARS의사결정나무와 구별
Multivariate Adaptive Regression Splines · 다변량 적응적 회귀 스플라인
구간별 스플라인 · 비선형 회귀
MARS는 설명변수의 절단점(Knot)을 기준으로 구간별 함수(기저함수)를 조합합니다. 연속형 결과 예측과 비선형·상호작용 관계 설명에 활용됩니다.
🏝️ 관광 예시: 체류시간이 2시간을 넘으면 지출 증가 기울기가 달라지는 관계 추정
예시 기저함수: h(x) = max(0, x − t)
나무처럼 데이터를 분할하는 발상과 관련이 있지만 끝마디마다 예측값을 주는 전형적인 의사결정나무 알고리즘은 아닙니다. 모델 복잡도가 증가하면 과대적합 위험이 있으므로 검증이 필요합니다.
05
헷갈리는 기준 구분하기
목표변수의 형태가 달라질 때 CART의 분리기준이 어떻게 바뀌는지 확인
① CART에서 무엇을 예측하나요?
분류나무(Classification Tree)
목표: 재방문 여부(예/아니요)
주요 기준: 지니 불순도를 최대한 감소시키는 분리
주요 기준: 지니 불순도를 최대한 감소시키는 분리
※ 특정 알고리즘에서 주로 쓰는 기준을 설명하며, 모든 구현의 유일한 기준이라는 뜻은 아닙니다.
② 정보이득과 정보이득비율의 차이
엔트로피얼마나 섞여 있는가?
→정보이득(IG)분리 후 얼마나 줄었나? · ID3
→정보이득비율분리의 내재적 정보로 보정 · C4.5
IG = H(부모) − Σ [n(자식)/n(부모)] × H(자식)
Gain Ratio = IG ÷ Split Information
수업·시험용 정확성 확인 교재의 “CART가 입력변수들의 선형결합에서 최적 분리를 찾을 수 있다”는 설명은 일반적인 표준 CART의 기본 작동방식으로 이해하면 부정확할 수 있습니다. 표준 CART는 대체로 한 변수의 임계값을 사용하는 축 정렬 분할을 하며, 선형결합 분할은 oblique tree 등 확장 모형에서 다룹니다. 또한 C4.5의 대표 기준은 단순 엔트로피 최소가 아니라 정보이득비율입니다.
06
핵심개념체크 · 제41회 기출 25번 420쪽
정답을 선택한 다음 ‘채점·해설 보기’를 누르세요.
제41회 기출25번시험 중요
25. 데이터 분할 시 연속형에서는 분산 감소량, 범주형에서는 지니지수를 사용하는 분할 방법은 무엇인가?
정답은 ③ CART
CART(Classification and Regression Trees)는 범주형 목표변수를 예측하는 분류나무에서 일반적으로 지니 불순도를 사용하고, 연속형 목표변수를 예측하는 회귀나무에서는 분산 또는 제곱오차 감소를 기준으로 분할합니다.
| 선택지 | 알고리즘 유형 | 정답 판단 |
|---|---|---|
| ① K-means | 비지도학습 · 군집분석 | 군집 내 거리·제곱합 최소화를 추구하므로 오답 |
| ② DBSCAN | 비지도학습 · 밀도 기반 군집분석 | 밀도 연결성과 이웃 반경·최소 표본 수를 사용하므로 오답 |
| ③ CART | 지도학습 · 분류/회귀나무 | 지니지수 / 분산 감소와 직접 연결되므로 정답 |
| ④ PCA | 비지도학습에서 주로 활용 · 차원축소 | 데이터의 분산이 큰 주성분을 찾는 기법이므로 오답 |
헷갈리기 쉬운 표현: “연속형에서는 분산, 범주형에서는 지니”는 목표변수(Y)의 유형을 뜻합니다. 예측변수(X)가 연속형이라고 무조건 분산 감소를 쓰는 것은 아닙니다.
✏️ 추가 연습문제 자체 제작 · 기출 아님
연습 A. 정보이득비율(Gain Ratio)을 대표적 분리기준으로 사용하는 알고리즘은?
연습 B. 카이제곱 검정에 기반하여 다지분리를 수행할 수 있는 알고리즘은?
연습 C. 분류나무가 아니라 비선형 회귀 스플라인 기법으로 구분해야 하는 것은?
추가문제 해설
A: C4.5. 엔트로피에서 정보이득을 구하고 정보이득비율로 분리합니다.
B: CHAID. 범주형 목표변수에 카이제곱 검정을 이용하는 것이 대표적입니다.
C: MARS. 절단점과 스플라인 기저함수로 비선형 회귀를 수행합니다.
07
시험 직전 30초 암기표
알고리즘 이름이 나오면 반드시 연결할 핵심 키워드
CART
Gini · Variance · Binary
분류·회귀 + 이진분리
C4.5 · C5.0
Gain Ratio
엔트로피 계열 · 다지분리 가능
CHAID
Chi-square · F
통계적 검정 · 다지분리
ID3
Information Gain
범주형 중심의 초기 나무
QUEST
Quick · Unbiased
변수 선택 편향 완화
MARS
Regression Splines
나무와 구분하는 비선형 회귀
기출 25번의 한 줄 정답: “범주형 결과 → 지니, 연속형 결과 → 분산 감소”라고 묻는다면 CART, ③번!