① 잔차가 큰 점
다른 점에 비해 위·아래(Y)로 멉니다. 예측오차가 크지만 X가 중앙이면 레버리지는 작을 수 있습니다.
PART 03 · 데이터 분석 / 제4장 통계분석 / 교재 p.297
영향력 진단 Influence Diagnostics
회귀분석에서 중요한 질문은 “관측치 딱 하나 때문에 회귀직선이 크게 바뀌는가?” 입니다. 아래 점을 클릭하면 해당 관측치의 영향력을 직접 확인할 수 있습니다.
학습목표
01 · 개념관측치 하나를 제외했을 때 회귀식이 달라지는 이유를 설명한다.
02 · 시각화수직으로 멀리 있는 점과 가로축에서 멀리 있는 점을 구분한다.
03 · 진단Leverage, Cook’s D, DFBETAS, DFFITS의 목적과 대표적인 기준값을 이해한다.
01. 관측치 하나를 빼면 회귀직선이 어떻게 달라질까?
아래 예시는 개념 설명을 위한 가상 자료입니다. 시나리오를 고르고 붉은 관측치를 제외했을 때 직선과 지표를 비교해 보세요.
모든 점 포함선택 점 제외선택한 관측치
원하는 관측치를 클릭하면 지표가 새로 계산됩니다. 파란색 실선과 금색 점선의 차이가 클수록 결과가 민감하게 변합니다.
02. 이상치(Outlier), 레버리지, 영향점은 다릅니다
어디에 멀리 있느냐와 실제로 회귀식이 변하느냐는 구분해야 합니다.
② 레버리지가 큰 점
좌·우(X)로 멀리 떨어져 있습니다. 기존 추세선 위에 있다면 영향력이 반드시 큰 것은 아닙니다.
③ 실제 영향점
이 점을 제외하기 전·후의 회귀선이 눈에 띄게 달라집니다. 연구 결론의 민감성을 점검해야 합니다.
핵심 구분: 레버리지는 X위치의 특이함, 잔차는 관측값과 예측값의 차이, 영향력은 해당 점을 빼면서 회귀분석 결과가 얼마나 변하는지를 말합니다. 큰 레버리지는 영향력이 커질 가능성을 나타낼 뿐, 영향력 그 자체는 아닙니다.
03. 4가지 영향력 진단 지표 — 무엇을 재는가?
01
Leverage (hᵢ)
지레점 · 설명변수 공간에서 얼마나 먼가?
hᵢ = xᵢᵀ(XᵀX)⁻¹xᵢ
관측치의 X 위치가 전체 자료의 중심에서 얼마나 독특한지 나타냅니다.
점검선: hᵢ > 2(p+1)/n
단순회귀에서는 hᵢ = 1/n + (xᵢ−x̄)²/Sxx.
02
Cook’s Distance
쿡의 거리 · 전체 적합값에 얼마나 영향?
Dᵢ = [Σ(ŷⱼ−ŷⱼ₍ᵢ₎)²] / [(p+1)·MSE]
한 점을 삭제한 뒤 여러 관측치의 예측값이 전체적으로 얼마나 달라지는가를 측정합니다.
점검선: Dᵢ > 1
잔차 크기와 레버리지의 영향을 함께 반영합니다.
03
DFBETAS
Difference in Betas · 계수 각각의 변화
DFBETASᵢⱼ = (bⱼ−bⱼ₍ᵢ₎) / [s₍ᵢ₎√cⱼⱼ]
관측치를 삭제했을 때 특정 회귀계수(절편·기울기)가 얼마나 변하는가를 표준화해 측정합니다.
점검선: |DFBETAS| > 2/√n
문헌에 따라 |DFBETAS| > 2를 참고하기도 합니다.
04
DFFITS
Difference in Fits · 해당 점의 예측 변화
DFFITSᵢ = (ŷᵢ−ŷᵢ₍ᵢ₎) / [s₍ᵢ₎√hᵢ]
한 점을 삭제할 때 바로 그 관측치의 예측값이 얼마나 바뀌는지 표준화합니다.
점검선: |DFFITS| > 2√[(p+1)/n]
절댓값을 비교한다는 점을 기억하세요.
수식·용어 정리: p = 독립변수 개수, p+1 = 절편을 포함한 회귀계수 개수, n = 관측치 수, ŷⱼ₍ᵢ₎ = i번째 관측치 없이 적합한 모형으로 얻은 j번째 예측값, s₍ᵢ₎ = i번째 관측치를 제외한 회귀모형의 잔차표준오차, cⱼⱼ = (XᵀX)⁻¹의 j번째 대각원소입니다. 교재 OCR에 보이는 DFFITS의 제곱근 누락 가능성을 바로잡아 일반적으로 사용하는 기준값 2√[(p+1)/n]을 제시했습니다.
04. 목적별로 한눈에 비교
| 지표 | 핵심 질문 | 비교 대상 | 기억할 표현 |
|---|---|---|---|
| Leverage h | X가 다른 점들과 얼마나 멀리 있는가? | 설명변수의 위치 | “위치가 특이하다” |
| Cook’s D | 이 점을 빼면 전체 예측선이 얼마나 변하는가? | 전체 예측값 변화 | “모형 전체를 바꾼다” |
| DFBETAS | 이 점을 빼면 회귀계수 하나하나가 얼마나 변하는가? | 절편·기울기 등 계수 | “계수를 바꾼다” |
| DFFITS | 이 점을 빼면 이 점의 예측값이 얼마나 변하는가? | 해당 점의 적합값 | “그 점의 예측값을 바꾼다” |
※ 이 기준은 표본 수, 연구 목적, 예측변수 수에 따라 다르게 참고할 수 있습니다. 진단값 하나만으로 삭제 여부를 결정하지 않습니다.
05. 네 컷으로 기억하기
학생들이 서로 다른 진단 지표의 역할을 이야기로 기억하도록 구성했습니다.
1관측치 발견
📊 ●
“저 빨간 점, 다른 친구들과 너무 멀리 있지 않아?”
Leverage
먼저 X축에서 얼마나 외따로 있는지 살펴봅니다.
2점 하나 제거
🔎 🗑️
“그 점을 잠깐 빼면 전체 직선이 움직일까?”
Cook’s Distance
전체 회귀모형이 얼마나 영향을 받는지 측정합니다.
3계수 살펴보기
📐 ↗️
“그럼 절편과 기울기는 각각 얼마나 바뀌었지?”
DFBETAS
회귀계수의 변화량을 항목별로 살펴봅니다.
4예측값 확인
🎯 📏
“그 빨간 점의 예측값은 얼마나 달라졌을까?”
DFFITS
선택한 점의 예측값 변화에 집중합니다.
06. 이해도 점검 — 퀴즈
Q1. 다른 점들보다 X값이 멀리 있지만 기존 회귀선에 잘 놓여 있는 점은, 영향점으로 반드시 판단할 수 있을까요?
정답: 아니오(X). 레버리지가 높다고 Cook’s D나 DFFITS도 반드시 높은 것은 아닙니다.
Q2. 한 점을 삭제하자 회귀계수인 기울기 β₁이 크게 바뀌었습니다. 어느 지표가 변화 원인을 계수별로 파악하는 데 가장 적합할까요?
정답: DFBETAS. 각 회귀계수에 대한 관측치의 영향을 구분해서 나타내기 때문입니다.
Q3. 표본이 n=100이고 설명변수가 p=3개라면 DFFITS의 대표적 절댓값 점검 기준은 얼마인가요?
정답: 0.40. 2√[(3+1)/100] = 2×0.2 = 0.4이며, |DFFITS|와 비교합니다.
실제 분석 순서: 진단 지표 확인 → 원자료의 입력 오류 및 수집 과정 점검 → 영향점 포함/제외 결과 비교 → 분석 선택의 이유를 보고. 영향점이라는 이유만으로 관측치를 자동 삭제하지 않습니다.