CHAPTER 05 · CLASSIFICATION교재 424–432쪽전체 범위

시험 핵심 · 시각화 학습

앙상블
분석

Ensemble Learning
여러 예측모형이 협력해 더 안정적이고 강력한 예측을 만드는 방법

#붓스트랩#배깅#부스팅#랜덤포레스트#스태킹

🎯

학습 목표 01앙상블의 정의와 필요성 이해

🔀

학습 목표 02배깅과 부스팅의 학습 방식 비교

🌲

학습 목표 03랜덤포레스트의 차별점과 기출 적용

← → 방향키로 이동 · 목차에서 원하는 장 선택 · 전체 13장

01 / LEARNING ROADMAP교재 424–432쪽학습 안내

오늘 배우는 핵심 구조

앙상블은 공통 목적을 가지지만, 모형을 만드는 방식과 결합하는 방식이 다릅니다.

원본 데이터학습용 데이터

→

여러 예측모형 생성서로 다른 관점으로 학습

→

최종 예측투표 · 평균 · 가중결합

① 병렬 학습

🧺 배깅 Bagging

다른 붓스트랩 표본을 사용해 독립적으로 학습한 후 예측을 결합합니다.

② 순차 학습

🚀 부스팅 Boosting

앞 단계의 오차를 참고해 차례로 모형을 추가합니다.

③ 나무 + 무작위성

🌳 랜덤포레스트

배깅 방식에 특성 무작위 선택을 더해 나무들의 유사성을 낮춥니다.

한 줄 암기 · 배깅 = 표본을 바꿔 병렬 학습 / 부스팅 = 오차를 보완하며 순차 학습 / 랜덤포레스트 = 배깅 + 특성 무작위성

02 / ENSEMBLE CONCEPT교재 424–425쪽교재 원문 기반

왜 모델을 여러 개 사용할까?

앙상블(Ensemble)은 여러 개의 기본 예측기(Base Learner)를 결합하는 학습 방법입니다.

🌱

단일 의사결정나무

학습자료가 조금만 바뀌어도 분기와 예측이 크게 달라질 수 있는 불안정한 학습기의 대표 예입니다.

데이터 A
나무 1 → 정상

데이터 A′
나무 2 → 이탈

작은 학습자료 변화 → 예측 변화 가능

🤝

앙상블 모델

서로 다른 모형의 결과를 종합하여 개별 모델의 오류를 보완하고, 일반화 성능과 안정성을 개선할 수 있습니다.

나무 A
정상

나무 B
이탈

나무 C
정상

→

정상
2 : 1

주의 · 앙상블이 과대적합·과소적합을 언제나 해결하는 것은 아닙니다. 특히 배깅은 주로 분산 감소에 유리하며, 효과는 기초모형의 성능과 다양성에 따라 달라집니다.

03 / BOOTSTRAP교재 426쪽원문 연계 실습

붓스트랩: 같은 자료를 복원추출

Bootstrap Sampling · 원본 데이터에서 뽑은 자료를 다시 넣고 반복 추출하므로 중복이 발생할 수 있습니다.

① 원본 데이터 7개

ABCDEFG

한 번에 1개를 뽑고, 다시 넣은 후 다음 데이터를 뽑습니다.

붓스트랩 표본은 일반적으로 원본 데이터와 같은 개수로 구성합니다.

② 생성한 붓스트랩 표본

중복

같은 관측치가 여러 번 뽑힐 수 있음

OOB

해당 표본에 선택되지 않은 관측치

≈ 63.2%

원본 표본 크기가 커지면 한 붓스트랩 표본에 포함되는 서로 다른 관측치의 기대 비율

OOB(Out-of-Bag)는 선택되지 않은 관측치를 활용하여 예측 성능을 점검하는 데 사용할 수 있습니다. 63.2%는 큰 표본에서의 근삿값입니다.

04 / BAGGING교재 426–427쪽교재 원문 기반

배깅 = Bootstrap + Aggregating

서로 다른 붓스트랩 표본으로 기본 모델을 병렬 학습하고, 예측 결과를 결합합니다.

STEP 01원본 학습데이터

전체 데이터 1세트

STEP 02복원추출

표본 A · B · C 생성

STEP 03병렬 모델 학습

모형 A · B · C

STEP 04결과 집계

다수결 또는 평균

분류 Classification

🗳️ 다수결 투표

정상이탈정상→정상

가장 많은 모델이 예측한 범주 선택 (또는 예측확률의 평균 활용)

회귀 Regression

📈 예측값 평균

101412→12

수치 예측 결과를 평균하여 단일 모델의 변동성을 줄임

시험 포인트 · 배깅의 핵심 = 복원추출 + 병렬 학습 + 결과 집계 / 일반적으로 불안정하고 분산이 큰 학습기에 특히 유용

05 / BOOSTING교재 428쪽교재 원문 기반

부스팅: 이전 모델의 실수를 보완

Boosting · 약한 학습기를 순차적으로 추가하며 예측오차를 줄여 나갑니다.

MODEL 01첫 번째 학습

기본 예측 및 오차 확인

MODEL 02오차에 집중

이전의 약점을 보완

MODEL 03다시 보완

손실을 더 줄이도록 학습

FINAL최종 결합

가중합 등으로 예측

⚖️

AdaBoost

틀린 관측치의 가중치를 높여 다음 약한 학습기가 어려운 사례에 더 집중하도록 합니다.

오분류 관측치 → 다음 학습에서 비중 ↑

📉

Gradient Boosting

현재 모델의 손실함수를 줄이는 방향으로 새 학습기를 순차적으로 추가합니다.

손실의 음의 기울기 방향 → 개선

핵심 차이 · 배깅은 모델을 병렬로 만들 수 있지만, 부스팅은 일반적으로 이전 단계의 결과가 다음 학습에 영향을 주므로 순차적입니다.

06 / RANDOM FOREST교재 429–431쪽교재 원문 기반

랜덤포레스트 = 배깅 + 변수 무작위 선택

Random Forest · 관측치뿐 아니라 분기 후보 변수까지 무작위로 제한해 서로 다른 의사결정나무를 만듭니다.

원본 자료관측치 + 여러 특성

→

붓스트랩 표본나무마다 다른 관측치

→

분기마다 무작위 특성일부 변수만 후보로 고려

→

다수결 · 평균최종 예측

🌲 나무 1

특성 후보: 나이 · 소득

붓스트랩 표본 A 이용

🌳 나무 2

특성 후보: 방문수 · 관심사

붓스트랩 표본 B 이용

🌴 나무 3

특성 후보: 소득 · 방문수

붓스트랩 표본 C 이용

교재 표현 바로잡기 · 랜덤포레스트가 기본적으로 모델별 가중치를 부여해 선형결합하는 것은 아닙니다. 일반적인 랜덤포레스트는 분류 시 투표(또는 확률 평균), 회귀 시 평균을 사용합니다. 위 특성 조합은 원리 설명을 위한 예시입니다.

07 / STACKING교재 426쪽교재 원문 기반

스태킹: 모델의 예측을 다른 모델에 학습

Stacking · 여러 기초 모델의 예측값을 상위 모델(Meta-Learner)의 입력으로 사용합니다.

LEVEL 0 · 기초 모델

의사결정나무

로지스틱 회귀

SVM

↓　예측값을 새로운 입력 변수로 사용　↓

메타 학습기 (Meta-Learner)여러 모델의 예측값 간 관계를 학습

↓

최종 예측 결과

구별 포인트 · 배깅은 예측을 단순 집계하는 반면, 스태킹은 결합 방법 자체를 학습합니다. 메타 학습에는 데이터 누수를 막기 위해 일반적으로 교차검증 기반의 예측값을 사용합니다.

08 / COMPARISON교재 426–429쪽비교·요약

배깅 · 부스팅 · 랜덤포레스트 · 스태킹 비교

시험의 비교형 문제에서 가장 중요한 한 장 정리입니다.

비교 기준	배깅 Bagging	부스팅 Boosting	랜덤포레스트 RF	스태킹 Stacking
학습 방식	주로 병렬	순차	주로 병렬	기초 모델 → 메타 모델
데이터 활용	붓스트랩 표본	오차 · 손실 기반 개선	붓스트랩 + 무작위 특성	기초모델 예측값
결합 방식	투표 · 평균	가중결합 · 가산모형	투표 · 확률 평균 · 수치 평균	메타모델의 예측
대표 예시	Bagged Trees	AdaBoost, Gradient Boosting	Random Forest	Stacked Generalization
핵심 특성	분산 감소	오차를 순차적으로 보완	나무 간 상관 감소	서로 다른 모델의 강점 결합

배깅

“서로 다른 문제집을 동시에 풀고 답을 모은다.”

부스팅

“이전 오답을 확인하고 다음 문제풀이를 개선한다.”

랜덤포레스트

“다른 문제집을 풀되 참고할 힌트도 다르게 한다.”

※ 기법에 따라 구체적 결합 규칙은 달라질 수 있습니다. 위 표는 대표적인 표준 구현을 기준으로 합니다.

09 / INTERACTIVE DEMO교재 426–429쪽 연계보충 실습

체험! 모델 5개의 투표로 예측하기

각 모델을 눌러 예측 결과를 바꿔보세요. 배깅·랜덤포레스트 분류의 결합 원리를 이해하는 예시입니다.

모델별 예측 · 버튼을 눌러 정상 ↔ 이탈 변경

최종 다수결

정상정상 3표 · 이탈 2표

📊 실시간 투표 분포

정상

3 / 5

이탈

2 / 5

💡 기억할 점

여러 모델의 다양성이 유익할 수 있지만, 모델이 많이 존재하거나 서로 다른 의견을 내는 것만으로 높은 정확도가 보장되지는 않습니다.

이는 하드 보팅(Hard Voting) 예시입니다. 실제 알고리즘은 확률 평균, 가중 투표 등 다른 결합 규칙을 사용할 수도 있습니다.

10 / EXAM CAUTIONS교재 425·429쪽 연계보충 해설

교재 문장에서 주의할 표현 4가지

암기할 때 지나친 일반화와 알고리즘별 차이를 구분하면 시험과 실제 분석에서 모두 유리합니다.

주의 ①

“랜덤포레스트는 가중치 선형결합”

수정: 일반적 랜덤포레스트는 분류 시 투표/확률 평균, 회귀 시 예측값 평균을 사용합니다.

주의 ②

“1-NN은 가장 안정적인 방법”

수정: 1-NN은 표본 변화·잡음·이상치의 영향에 민감할 수 있습니다. 가장 안정적이라고 일률적으로 판단하기 어렵습니다.

주의 ③

“모형 간 독립성이 높을수록 무조건 좋음”

수정: 오차 상관이 낮고 각 모델이 충분한 예측력을 가질 때 결합 이점이 커질 수 있습니다. 다양성만으로는 부족합니다.

주의 ④

“앙상블은 과대·과소적합 해결”

수정: 일반화 성능을 개선할 수 있지만 보장하지는 않습니다. 기법·데이터·하이퍼파라미터에 따라 달라집니다.

실전 답변 · “여러 예측기의 결과를 결합하며, 개별 예측기의 정확성과 오류 간 상관관계를 함께 고려해야 앙상블의 성능 향상을 설명할 수 있다.”

11 / PAST EXAM교재 425쪽36회 기출

기출문제 | 36회 · 27번

문제를 읽고 보기를 선택하면 바로 해설을 확인할 수 있습니다.

실전 기출

다음 중 앙상블 모형의 특징으로 적절하지 않은 것은?

🧠

정답을 찾는 핵심

다른 모델이 똑같은 실수를 반복한다면 여러 모델을 결합해도 이점이 제한됩니다.

개별 예측력 확보 + 오류의 다양성 → 앙상블 이점 증가 가능

※ ①~③은 교재의 일반적인 설명으로 출제되었습니다. 실무에서는 설명가능성·이상값 민감도·분산감소 효과가 기법에 따라 다릅니다.

출처: 사용자가 제공한 교재 발췌문 · 36회 기출 27번 (원문 형식 기반)

12 / REVIEW & REFERENCES교재 424–432쪽 연계보충 문제

최종 확인 · 한 장으로 복습

다음 두 문항으로 학습 결과를 확인하고, 아래 암기 문장을 정리해 보세요.

확인 문제 A

복원추출 표본 + 분기마다 무작위 변수 후보 사용 = ?

확인 문제 B

이전 단계의 오차를 보완하며 다음 모델을 추가하는 학습 방식은?

10초 최종 암기 · 붓스트랩 = 복원추출 / 배깅 = 병렬·집계 / 부스팅 = 순차·오차 보완 / 랜덤포레스트 = 배깅 + 변수 무작위화 / 스태킹 = 메타학습기

정확성 검토에 사용한 주요 참고자료

Breiman, L. (1996). Bagging predictors. Machine Learning, 24, 123–140. 원문 DOI ↗
Breiman, L. (2001). Random forests. Machine Learning, 45, 5–32. 원문 DOI ↗
scikit-learn. Ensemble methods: Boosting, random forests, bagging, voting, stacking. 공식 문서 ↗

앙상블분석