PART 03 · 데이터분석 5장 정형 데이터 마이닝
제5장 정형 데이터 마이닝 · 교재 424–429쪽
CHAPTER 05 / ENSEMBLE LEARNING 📖 교재 5장 · 424–429쪽
개념 · 원리 · 비교 · 기출

앙상블 분석
여러 모델이
함께 예측한다

배깅(Bagging) · 보팅(Voting) · 스태킹(Stacking) · 부스팅(Boosting)을 한눈에 이해하는 학습자료

4가지핵심 앙상블 방식
3단계배깅 핵심 흐름
3문항마무리 개념 퀴즈
ENSEMBLE = MANY MODELS → ONE DECISION
🌳
모델 A
🧠
모델 B
📈
모델 C
↓
🎯 최종 예측 결과

개별 모형의 한계를 여러 모형의 결합으로 보완

학습 목표: 복원추출 → 개별 모델 학습 → 결합 원리를 이해하고, 배깅·부스팅·보팅·스태킹의 차이를 구별한다. 원교재 위치: PART 03 · 제5장 정형 데이터 마이닝 · 424–429쪽 (HTML 12개 화면과 교재 쪽수는 별도 표시)
01 / OVERVIEW 📖 교재 5장 · 424–428쪽

앙상블 기법, 무엇이 다른가?

핵심은 모델을 만드는 방식과 결과를 결합하는 방식입니다.
BAGGING
🧺

배깅

학습데이터를 복원추출하여 여러 모델을 대체로 독립적으로 학습

핵심: 분산 감소

VOTING
🗳️

보팅

여러 모델이 낸 범주 또는 예측확률을 투표·평균으로 결합

핵심: 결과 결합 규칙

STACKING
🧩

스태킹

기본 모델 예측을 입력으로 활용하는 메타모델을 추가 학습

핵심: 결합법도 학습

BOOSTING
🚀

부스팅

모델을 순차적으로 학습시켜 이전 단계의 오류를 개선

핵심: 단계별 보완

암기 문장: 배깅은 자료를 다르게 / 보팅은 투표 / 스태킹은 메타학습 / 부스팅은 오류를 이어서 개선
02 / BOOTSTRAP 📖 교재 5장 · 426쪽

붓스트랩이란? 복원추출!

원본에서 한 번 뽑은 관측치를 다시 뽑을 수 있습니다.
원본 학습데이터 (N = 6)
ABCDEF

추출 원리

추출 방식무작위 복원추출
기본 예시의 표본 크기원본과 동일한 6개
중복 출현가능
선택되지 않는 관측치가능
버튼을 누를 때마다 새로운 표본 3개 생성
각 표본은 6번 추출하지만, 같은 관측치가 여러 번 포함될 수 있습니다.

배깅은 이런 표본마다 모델을 학습시키므로 서로 조금씩 다른 예측을 얻습니다.

시험 함정: 붓스트랩은 비복원추출(X)이 아닙니다. 원본 표본 크기와 동일하게 뽑더라도 서로 다른 관측치가 6개 모두 포함된다는 뜻은 아닙니다.
03 / BAGGING 📖 교재 5장 · 426쪽

배깅 알고리즘, 3단계 흐름

Bootstrap Aggregating = Bootstrap + Aggregation
📚
원본 데이터학습자료 D
→
🔁
복원추출D₁, D₂, D₃ 생성
→
🌳
모델 개별 학습트리 1, 2, 3
→
🎯
예측 결합분류: 투표 / 회귀: 평균
BOOTSTRAP ①
예측: A
BOOTSTRAP ②
예측: A
BOOTSTRAP ③
예측: B
🗳️ 최종 결과: A · A · B → 다수결로 A　|　배깅은 개별 모델 변동을 평균화하여 예측의 분산을 줄이는 데 도움을 줄 수 있습니다.
근거: Breiman (1996), Bagging predictors. 원전 열기 ↗
04 / BAGGING CHARACTERISTICS 📖 교재 5장 · 425–426쪽

배깅의 특징과 시험 함정

불안정한 모델(예: 의사결정나무)을 여러 번 결합할 때 효과적일 수 있습니다.
왜 분산이 줄어들까?
한 그루의 예측은 흔들려도
여러 그루의 평균은
상대적으로 안정될 수 있다.
과적합 위험을 완화할 수 있지만, 항상 성능이 좋아지는 것은 아닙니다. 기본 모델의 품질·오류 간 상관성 등에 따라 달라집니다.
1

트리의 가지치기

고전적 배깅 예시에서는 깊게 성장한 의사결정나무를 자주 활용합니다. 단, 모든 배깅에 필수인 것은 아닙니다.

2

모델 학습 관계

개별 모델을 대체로 독립·병렬적으로 학습할 수 있습니다.

3

랜덤포레스트와 관계

랜덤포레스트는 붓스트랩 표본화 + 분할 시 변수 무작위 선택을 결합한 대표적인 트리 앙상블입니다.

교재의 “Breiman(1994)” 표기는 검증이 필요합니다. 대표적인 배깅 원전 Bagging predictors의 출판연도는 1996년입니다.
05 / VOTING 📖 교재 5장 · 426쪽

하드 보팅 vs 소프트 보팅

같은 3개 모델이라도 결합 규칙에 따라 결론이 달라질 수 있습니다.
모델 1

A 예측

A 확률51%
B 확률: 49%
모델 2

A 예측

A 확률52%
B 확률: 48%
모델 3

B 예측

B 확률99%
A 확률: 1%
HARD VOTING

A 2표 vs B 1표 → 최종 A

각 모델의 최종 범주를 세어서 다수결로 결정합니다. 개별 확률의 크기는 직접 비교하지 않습니다.

주의: 소프트 보팅은 분류에서 확률을 평균하는 방법입니다. 연속형 종속변수는 여러 회귀모형의 예측값 평균으로 결합합니다. 서로 같은 개념이 아닙니다.
참고: scikit-learn Ensemble User Guide ↗
06 / STACKING 📖 교재 5장 · 426쪽

스태킹은 결합 방법도 학습한다

단순 투표가 아니라 기본 모델의 예측값으로 상위 모델을 학습시킵니다.
1단계 · BASE MODELS
로지스틱
회귀
랜덤
포레스트
SVM
예측 A예측 B예측 C
↓
2단계 · 메타모델 (Meta-learner)
예: 로지스틱 회귀
↓
🎯 최종 예측

보팅과 무엇이 다른가?

보팅 Voting규칙 기반 결합

범주 다수결 또는 예측확률 평균

스태킹 Stacking학습 기반 결합

다양한 기본 모델의 예측을 메타모델 입력으로 사용

주요 장점: 서로 다른 모델들의 보완적 예측 패턴을 학습할 수 있습니다.
실무 주의: 메타모델 학습에는 일반적으로 교차검증에서 생성한 OOF(Out-of-Fold) 예측을 사용하여 데이터 누수를 줄입니다.
참고: scikit-learn 스태킹 예시 ↗
07 / BOOSTING 📖 교재 5장 · 428쪽

부스팅은 이전 오류를 따라 개선한다

여러 약한 학습기(weak learners)를 순차적으로 결합하는 대표적 방식입니다.
ROUND 1
🌱
모델 1 학습첫 번째 예측과 오류 확인
→
ROUND 2
🌿
모델 2 학습앞 모델의 부족한 부분 보완
→
ROUND 3
🌳
모델 3 학습남은 오류를 추가로 개선
→
ENSEMBLE
🎯
최종 예측단계별 모델 결과 결합
BAGGING

독립·병렬 학습

여러 붓스트랩 표본 → 각기 별도 모델 → 예측 결합

분산 감소복원추출평균/투표
BOOSTING

순차적 보완 학습

앞선 단계에서 어려웠던 사례나 손실을 반영하여 새 모델 추가

순차 학습오류 보완가중 결합
정확한 구별: AdaBoost는 오분류된 사례의 가중치를 조정하고, Gradient Boosting은 손실함수의 기울기를 이용해 다음 학습 방향을 결정합니다.
08 / BOOSTING FAMILY 📖 교재 5장 · 428쪽

AdaBoost · GBM · XGBoost · LightGBM

공통점은 부스팅 계열이라는 것, 차이는 오류 반영과 최적화 방식입니다.
AdaBoost

가중치 중심

⚖️

틀린 표본에 상대적으로 더 주목하도록 가중치를 갱신하고 모델을 결합

암기: 오분류 사례 가중치
GBM

기울기 중심

📉

손실함수의 음의 기울기를 바탕으로 순차적으로 새로운 모델을 적합

암기: Gradient Boosting
XGBoost

최적화·규제

⚙️

경사 부스팅을 효율적으로 구현하고 규제 및 샘플링 옵션 등을 제공

암기: 정규화·효율적 학습
LightGBM

Leaf-wise

🍃

손실을 가장 크게 줄이는 리프(leaf)를 우선 분할하는 방식 사용

주의: 작은 데이터에서는 과적합 관리 필요
속도와 정확도는 데이터 크기, 특성, 하드웨어, 하이퍼파라미터에 따라 달라집니다. “XGBoost가 언제나 빠르다” 또는 “LightGBM이 반드시 우수하다”라고 단정하지 않습니다.
출처: LightGBM Features ↗ · XGBoost Parameters ↗
09 / COMPARISON 📖 교재 5장 · 425–429쪽

4가지 기법 통합 비교표

시험에서는 가장 비슷해 보이는 개념의 차이가 핵심입니다.
비교 기준
배깅 Bagging
부스팅 Boosting
스태킹 Stacking
모델 학습
대체로 독립·병렬
순차적 학습
기본 모델 학습 후 메타모델 학습
주요 핵심
표본 변동에 따른 예측 평균화
앞선 예측 오류·손실 개선
예측값을 이용해 결합 방식 학습
데이터 처리
복원추출 표본
가중치/기울기 반영
여러 기본 모델의 OOF 예측
결과 결합
분류 다수결, 회귀 평균 등
순차 모델의 가중 결합 등
메타모델 최종 예측
대표 예시
Bagged Tree, Random Forest*
AdaBoost, GBM, XGBoost, LightGBM
StackingClassifier, StackingRegressor
보팅 Voting은 결합 방법을 가리키는 명칭입니다. 위 세 방식과 비교할 때, 하드 보팅 = 최종 범주 다수결, 소프트 보팅 = 범주 예측확률 평균으로 별도 암기하세요.
* 랜덤포레스트는 배깅 원리에 더해 분할 시 변수 무작위 선택을 활용합니다. 세부 구현은 알고리즘에 따라 다릅니다.
10 / PRACTICE 📖 교재 5장 · 426–427쪽

기출 + 응용 3문항 확인

답을 선택한 뒤 정답 확인을 눌러보세요.
제34회 기출 · 28번

복원추출하여 여러 번 샘플링한 뒤 각 모델의 결과를 결합하는 기법은?

✅ 정답 ① 배깅. 붓스트랩 복원추출 + 여러 모델 예측 결합이 핵심입니다.
개념 응용

각 분류모델의 예측확률을 평균하여 범주를 결정하는 기법은?

✅ 정답 ② 소프트 보팅. 최종 범주에 투표하는 하드 보팅과 구별합니다.
개념 응용

기본 모델의 예측을 입력으로 학습하는 상위 모델을 사용하는 기법은?

✅ 정답 ③ 스태킹. 기본 모델의 예측을 메타학습기가 결합하도록 학습합니다.
3문항 중 몇 개 맞힐까요?
11 / FINAL REVIEW 📖 교재 5장 · 424–429쪽

마지막 1분, 키워드로 암기

“어떻게 데이터를 뽑고, 모델을 학습하고, 결과를 결합하는가?”
🧺 배깅복원추출 → 여러 모델 → 다수결/평균
🗳️ 보팅하드=범주 다수결 · 소프트=분류확률 평균
🧩 스태킹기본 모델 예측 → 메타모델 → 최종 결과
🚀 부스팅오류/손실 보완 → 다음 모델 순차 학습

핵심 출제 포인트

복원추출분산 감소다수결메타모델순차 학습오분류 가중치손실함수 기울기Leaf-wise
암기 공식:
배깅 = 병렬 / 부스팅 = 순차 / 보팅 = 집계 / 스태킹 = 학습
참고 문헌·자료
Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123–140. https://doi.org/10.1007/BF00058655
scikit-learn Ensemble User Guide · LightGBM Features · XGBoost Parameters
※ 본 자료는 제공된 교재 내용을 토대로 설명을 보완한 학습용 구성입니다. 예시 확률 및 표본은 원리 설명을 위한 가상 데이터입니다.