PART 03데이터 분석
CHAPTER 05 · 정형 데이터 마이닝

나이브 베이즈 분류Naive Bayes Classification · 확률과 분류의 원리

p.406
🎯 학습목표
  • 빈도 확률과 베이지안 접근의 차이를 설명한다.
  • 사전확률·우도·사후확률의 관계를 이해한다.
  • 나이브 베이즈의 조건부 독립 가정을 구분한다.
  • 43회 기출문제에 적용하여 정답을 판별한다.
01

빈도 확률과 베이지안 확률

Probability · 기본 개념

빈도주의와 베이지안 접근은 확률을 해석하고 불확실성을 다루는 방식에서 차이가 있습니다.

FREQUENTIST INTERPRETATION

📊 빈도 확률 · 빈도주의 관점

같은 조건에서 관찰·실험을 충분히 반복할 때 나타나는 사건의 장기적 상대빈도에 초점을 둡니다.

예: 제품을 1,000회 검사했을 때 불량이 50회 → 관찰된 불량 비율 5%
BAYESIAN INTERPRETATION

🧠 베이지안 확률 · 신념의 갱신

이미 알고 있는 정보(사전확률)를 새 증거(우도)에 따라 갱신하여 사후확률을 구합니다.

예: 기존의 스팸 비율과 메시지 속 단어 정보를 결합 → 스팸일 확률 갱신
📚
사전확률Prior · 기존 정보
→
🔎
새로운 증거Evidence · 관찰 데이터
→
⚖️
우도 반영Likelihood · 증거의 설명력
→
🎯
사후확률Posterior · 갱신 결과
시험 개념: 베이지안 확률을 단순히 “주관적인 확률”이라고만 기억하기보다, 사전정보 + 현재 관찰된 증거 → 사후확률이라는 갱신 구조를 이해해야 합니다. 두 접근 모두 데이터에 기반한 통계적 분석이 가능합니다.
02

베이즈 정리(Bayes' Theorem)

조건부 확률 · 사전 → 사후
📐 가장 중요한 공식
P(A | B) =P(B | A) × P(A)P(B)

해석: B라는 증거가 관찰되었을 때, A가 성립할 확률은 A의 사전확률에 증거의 우도를 곱한 뒤, 증거의 전체 확률로 나누어 구합니다.

두 사건 A / Aᶜ로 구성된 경우:
P(B) = P(B | A) P(A) + P(B | Aᶜ) P(Aᶜ)
이 식이 분모의 전체 증거 확률을 계산하는 방법입니다.
P(A)

사전확률(Prior)
증거 B를 보기 전 A의 확률

P(B | A)

우도(Likelihood)
A일 때 증거 B가 나타날 확률

P(B)

증거확률(Evidence)
증거 B가 관찰될 전체 확률

P(A | B)

사후확률(Posterior)
증거 B를 관찰한 뒤 A의 확률

✅ 조건부 확률의 방향은 다릅니다P(A | B) ≠ P(B | A) (일반적으로). “스팸일 때 무료라는 단어가 나올 확률”과 “무료라는 단어가 나왔을 때 스팸일 확률”은 다릅니다.
✅ 정리가 적용되는 기본 조건분모 P(B)는 0보다 커야 합니다. 실제 분류에서는 사전확률과 각 특성의 조건부 확률을 추정합니다.
03

직접 계산하는 사후확률

슬라이더를 조작하면 실시간 갱신

학습용 가상 사례: 이메일에 ‘무료’라는 단어가 나타났을 때, 해당 이메일이 스팸일 확률을 구합니다. 수치는 원리 설명을 위한 예시입니다.

전체 이메일 중 스팸으로 분류되는 비중
스팸 메시지에서 해당 단어가 등장할 가능성
정상 메시지에서도 같은 단어가 나타날 수 있음
POSTERIOR PROBABILITY · 사후확률
77.4%‘무료’가 포함된 이메일이 스팸일 확률
스팸 77.4%정상 22.6%

전체 이메일 1,000통 중 기대되는 ‘무료’ 등장 건수를 기준으로 비교합니다.

(0.80 × 0.30) ÷ [(0.80 × 0.30) + (0.10 × 0.70)] = 0.7742
시험 함정: P(무료|스팸)=80%라고 해서 P(스팸|무료)=80%인 것은 아닙니다. 사전확률과 정상 메시지의 ‘무료’ 등장 확률도 함께 고려해야 합니다.
04

나이브 베이즈 분류의 작동 원리

Supervised Learning · 지도학습

나이브 베이즈는 클래스가 주어졌을 때 특성들이 서로 조건부 독립이라고 가정하고, 클래스별 사후확률을 비교하여 가장 가능성이 높은 클래스를 선택합니다.

📥
① 입력 데이터문서·메일의 단어와 특성 추출
→
🗂️
② 클래스별 정보스팸 / 정상의 사전확률
→
🧮
③ 조건부 확률 결합단어별 우도 곱하기
→
✅
④ 최종 분류가장 큰 사후확률의 클래스
P(Ck | x₁, …, xₙ) ∝ P(Ck) × ∏i=1n P(xi | Ck)

사후확률 ∝ 클래스의 사전확률 × (해당 클래스에서) 각 특성이 관찰될 조건부 확률의 곱
같은 입력에서 비교하는 경우 분모 P(x₁,…,xₙ)는 클래스 간 공통이므로, 정규화 전 점수를 먼저 비교할 수 있습니다.

클래스 C스팸 / 정상X₁ 무료X₂ 할인X₃ 긴급특성특성특성
클래스 C가 주어졌을 때 X₁·X₂·X₃의 독립성을 가정하는 구조

🔑 'Naive(나이브)'의 정확한 의미

  • 모든 특성이 항상 독립이라는 뜻이 아닙니다.
  • 특성들은 같은 클래스 C가 주어졌을 때 서로 독립이라고 가정합니다.
  • 실제 단어들은 연관될 수 있지만, 단순화된 가정으로 계산을 빠르고 쉽게 합니다.
  • 이러한 분류는 메일 스팸 판별, 문서 주제 분류, 감성 분류 등에 적용됩니다.
05

나이브 베이즈 문서 분류 체험

단어를 선택하면 클래스별 확률이 달라집니다

학습용 가상 데이터: 스팸의 사전확률 30%, 정상 70%. 아래 단어를 선택하여 단순한 나이브 베이즈 모델이 어떻게 분류하는지 확인해 보세요.

📩 이메일에 등장한 단어 선택

조건부 등장확률 가정: 무료(스팸 80% / 정상 10%), 할인(70% / 20%), 긴급(60% / 40%). 선택한 단어의 등장 정보만 계산에 사용하며, 선택하지 않은 단어의 부재는 반영하지 않습니다.

🎯 사후확률 비교 → 스팸

스팸(Spam)92.3%
정상(Not spam)7.7%

스팸 점수 0.1680 / 정상 점수 0.0140 → 스팸으로 분류

실제 적용 시: 학습 데이터에서 조건부 확률을 추정하고, 0 확률 문제에는 라플라스 평활화(Laplace Smoothing) 등을 활용합니다. 특성이 많으면 수치 언더플로를 피하기 위해 로그 확률의 합으로 계산하기도 합니다.
06

출제포인트와 오답 방지

개념 한눈에 비교

① 확률 공식 혼동

P(A|B)와 P(B|A)는 다릅니다. 사전확률 P(A), 우도 P(B|A), 증거확률 P(B)를 구분합니다.

② 조건부 독립 가정

나이브 베이즈의 핵심은 클래스가 주어진 상태에서의 특성 간 조건부 독립이지, 특성의 무조건적 독립이 아닙니다.

③ 학습 유형 구분

나이브 베이즈 분류는 클래스 라벨을 활용하는 지도학습 분류 알고리즘입니다. 데이터의 의미 있는 집단만 찾는 군집화와 다릅니다.

07

핵심개념 체크 · 43회 기출문제 20번

교재 제시 기출 · 4지선다
📝 네 보기 중 가장 적절한 설명 하나를 선택한 뒤 정답 확인을 누르세요. 하단에는 정오 판정과 선지별 해설이 표시됩니다.
43회 기출 · 문제 20Bayes' Theorem

다음은 베이즈 정리에 대한 설명이다. 내용이 가장 적절한 것은?