PART 03 · 데이터분석 / 5장 정형 데이터 마이닝

혼합분포군집
Mixture Distribution Clustering

서로 다른 확률분포의 가중합으로 데이터를 설명하고, EM 알고리즘으로 군집별 소속 확률과 모수를 반복 추정하는 모형 기반 군집 방법

모형 기반 군집 Model-based혼합 정규분포 Gaussian MixtureEM 알고리즘 E-step · M-step

학습목표 ①

혼합분포군집의 가정과 군집 분류 원리를 설명한다.

학습목표 ②

EM 알고리즘의 E단계와 M단계를 구별한다.

학습목표 ③

K-means와의 차이 및 기출 함정을 이해한다.

01 개념·수식02 데이터 분포 형태03 EM 알고리즘04 특징·비교05 기출문제06 최종 암기

01 / CONCEPT · 교재 459쪽

모집단을 여러 확률분포의 가중합으로 설명

각 군집은 확률분포 하나에 대응하며, 관측값은 어떤 분포에서 생성되었을 사후 소속 확률에 따라 분류한다.

전체 데이터 X
다봉형 / 여러 집단 혼재

→

군집별 분포 k개
f₁(x), f₂(x), …, fₖ(x)

→

소속 확률 계산
P(Z=k | X=x)

핵심 가정 · Mixture Model

모집단 분포는 k개 모수적 확률분포의 결합으로 표현된다. 가장 흔한 예는 정규분포(다변량 자료는 다변량 정규분포)이며 정규분포만 가능한 것은 아니다.

p(x) = ∑_k=1^K π_k f_k(x | θ_k)
π_k ≥ 0 · ∑ π_k = 1

무엇을 추정하는가?

혼합 가중치 πₖ는 각 군집의 전체 비중, θₖ는 해당 군집의 분포 모수(정규분포 예: 평균 μₖ, 분산·공분산 Σₖ)이다.

각 자료 x_i마다 소속 확률을 계산하고, 가장 높은 군집에 배정할 수 있다. 소속 확률 자체를 보존하는 소프트 군집화도 가능하다.

예시: 관광객 소비액이 저·중·고 3개 고객집단의 분포가 합쳐진 모습이라면, 각 고객의 소비액이 각 집단에서 발생했을 확률을 추정할 수 있다.

02 / VISUALIZATION · 교재 459쪽

한 개 분포보다 여러 분포의 결합이 적절한 자료

교재 (a) 단변량 다봉형 분포, (b) 이변량 데이터의 군집 형태를 개념적으로 재현한 예시입니다. 실제 관측자료 그래프는 아닙니다.

(a) 단변량 · 봉우리가 여러 개

군집 A군집 B군집 C혼합분포

봉우리가 3개 보이면 3개 성분 분포의 결합을 후보로 고려할 수 있습니다. 봉우리 수와 실제 군집 수가 항상 일치하는 것은 아닙니다.

(b) 이변량 · 크기·방향이 다른 군집

군집 A군집 B군집 C

다변량 정규분포의 공분산을 달리 설정하면 다른 크기·타원 모양·방향의 군집을 설명할 수 있습니다.

시험 핵심: 혼합분포군집은 여러 정규분포의 결합으로 이해하면 쉽지만, 이론적으로는 정규분포에만 한정되지 않습니다.

03 / ALGORITHM · 교재 459–460쪽

EM: 추정 → 확률 계산 → 모수 갱신 → 반복

Expectation–Maximization(익스펙테이션–맥시마이제이션) · 잠재변수 Z는 실제로 어느 군집에서 나왔는지 나타내는 관측되지 않은 집단 지표입니다.

START

초기값 설정

군집 수 K와 각 분포의 모수 μ, Σ 및 가중치 π의 시작값을 정한다.

→

E-STEP · EXPECTATION

소속 확률 계산

현재 모수로 각 자료가 각 군집에 속할 조건부 확률(책임도)을 계산한다.

→

M-STEP · MAXIMIZATION

모수·가중치 갱신

E단계 확률을 활용해 기대 완전자료 로그가능도를 최대화한다.

↻

E-step 기댓값 단계

현재 추정값으로 잠재변수 Z의 조건부 기댓값인 군집별 책임도(responsibility, 소속 확률) γ_ik를 계산합니다.

γ_ik = P(Z_i=k | x_i)
= π_k f_k(x_i) / ∑_j π_j f_j(x_i)

M-step 최대화 단계

E단계의 책임도를 반영하여 완전자료 로그가능도의 조건부 기댓값을 최대화하는 새로운 모수들을 구합니다.

N_k = ∑_i γ_ik , π_k = N_k / n
μ_k = ( ∑_i γ_ikx_i ) / N_k

교재 표현 이해: (X,Z)의 완전자료 로그가능도에서 관측되지 않은 Z를 현재 자료·모수에 따른 조건부 기댓값으로 처리하여 계산합니다. E와 M을 번갈아 수행합니다.

종료 기준: 로그가능도의 변화량이나 모수 변화량이 작아지면 반복을 멈춥니다. 초기값에 따라 국소 최적해로 수렴할 수 있어 여러 초기화를 고려합니다.

04 / CHARACTERISTICS · 교재 460쪽

혼합분포군집의 특징과 K-means 비교

두 방법 모두 K개의 군집을 가정할 수 있지만, 확률분포의 도입 여부와 배정 방식이 핵심적으로 다릅니다.

장점

평균·분산·공분산 등의 적은 수의 모수로 군집 특징 설명
분포·공분산 가정에 따라 다른 크기, 모양, 방향의 군집 표현
군집별 소속 확률을 제공하여 모호한 사례 해석 가능

주의할 점

대규모 자료에서는 EM 반복 계산에 시간이 걸릴 수 있음
군집 표본·유효 자료량이 너무 적으면 모수 추정이 불안정
이상치·초기값·분포 가정에 민감할 수 있어 점검 필요

비교 기준	K-means (K-평균 군집)	혼합분포군집 (GMM 예)
기본 논리	군집 중심까지의 거리 최소화	각 군집을 확률분포로 모델링
군집 배정	가장 가까운 중심에 단정적 배정	소속 확률 계산 후 분류 가능
군집 형태	유클리드 거리 기준, 구형에 유리	공분산 허용 시 타원형·다른 크기 가능
추정 대상	군집 중심(평균)	가중치·평균·공분산 등
대표 절차	할당 ↔ 중심 갱신	E-step ↔ M-step

시험 유의: “작은 군집일수록 추정이 쉽다”는 틀립니다. 표본이나 책임도의 유효합 Nₖ가 작으면 모수 추정의 정확성과 안정성이 저하될 수 있습니다.

05 / EXAM PRACTICE · 교재 460–461쪽 35회 기출 · 47번

핵심개념체크 · 정답 선택하기

각 군집의 확률분포 가정, 모수 추정과 계산 비용을 구별하는 사례 제시형 문제입니다.

47. 다음 중 혼합분포군집 모형의 특징으로 부적절한 설명은?

① 각 군집은 특정 확률분포를 따른다고 가정한다. ② 군집의 특성은 평균과 분산을 통해 정의된다. ③ 대규모 데이터에서 계산 비용이 커지며 시간이 소요된다. ④ 군집의 크기가 작을수록 추정의 정도가 쉽다.

정답을 선택해 보세요.

① ② ③: 적절한 이유

① 확률분포 가정이 기본. ②는 특히 정규혼합모형에서 평균·분산(공분산)으로 군집을 설명한다는 뜻. ③ 반복적인 EM 계산에 비용이 들 수 있다.

④: 부적절한 이유

군집 크기가 작으면 데이터가 부족하여 모수 추정의 정확도가 낮아지고 불안정해질 수 있습니다. “작을수록 쉽다”는 반대입니다.

06 / ONE-PAGE REVIEW · 교재 459–461쪽

시험 직전 1분 핵심 정리

개념 → 분포 형태 → EM 알고리즘 → 주의점 → 35회 기출까지 한 장에 정리합니다.

01 모형 기반(Model-based)
모집단 분포 = 여러 군집별 분포의 가중합

02 군집별 분포
각 군집 = 확률분포 1개; 정규분포가 대표적

03 E-step (Expectation)
현재 모수 → 관측자료의 군집 소속 확률 계산

04 M-step (Maximization)
소속 확률 → 혼합비중·평균·공분산 갱신

05 계속 반복
E ↔ M 반복 → 로그가능도·모수 변화가 작으면 중지

06 기출 정답 ④
작은 군집은 표본 부족으로 추정이 어려울 수 있음

가능도 · Likelihood (라이클리후드)

이미 관측한 데이터를 고정하고, 어떤 모수값이 그 데이터를 잘 설명하는지 평가하는 함수입니다. 가능한 모수 중 가능도가 높은 값을 탐색하는 것이 최대가능도추정(MLE)입니다.

로그가능도 · Log-likelihood (로그 라이클리후드)

가능도에 자연로그를 취한 함수입니다. 곱을 합으로 바꾸어 계산이 쉬워지며, 로그는 단조증가하므로 가능도를 최대화하는 모수와 로그가능도를 최대화하는 모수가 같습니다.

최종 암기문장: “혼합분포군집은 확률분포의 가중합, EM의 E는 소속 확률, M은 모수 갱신, 작은 군집은 추정이 어려울 수 있다.”

혼합분포군집Mixture Distribution Clustering