00 · 전체 개요 교재 pp. 291–293
회귀분석은 X를 이용해 Y를 예측하는 규칙을 찾는 방법
에어컨의 예약대수(X)를 알면 판매대수(Y)를 어느 정도 예측할 수 있을까요?
예측 판매대수 ŷ = 6.4095 + 1.5295 × 예약대수 X
① 방향기울기 β₁가 +인가, −인가?
② 유의성p값이 0.05보다 작은가?
③ 설명력·진단R²는 얼마이며 잔차는 적절한가?
쉬운 이해: 날씨가 더워질수록 아이스크림이 많이 팔리는지 알아보는 것처럼, 예약대수가 많으면 판매대수도 많아지는지 데이터로 확인하는 과정입니다. 단, 회귀분석에서 관계가 나타난다고 해서 자동으로 인과관계가 증명되지는 않습니다.
📌 교재 표기 점검: '10년간'이라고 소개되어 있으나, 제공된 X·Y 값은 각각 9개 쌍입니다. 교재의 회귀계수·자유도(n−2=7)·p값은 9개 관측값을 계산한 결과와 일치합니다.
01 · 단순선형 회귀분석의 정의 p. 291
점들 사이로 가장 잘 어울리는 직선을 그립니다.
가로축 X는 예약대수, 세로축 Y는 판매대수입니다. 점은 실제 기록, 파란선은 모형이 예측한 값입니다.
실제 관측값(9쌍)추정 회귀직선
단위: 예약대수 및 판매대수 모두 1,000대 · 실제 관측치 9개
수식의 부품 알아보기
Yᵢ = β₀ + β₁Xᵢ + εᵢ
β₀ · 절편X가 0일 때의 평균 Y (이 예제에서는 관측범위 밖의 외삽에 주의)
β₁ · 기울기X가 1단위 증가할 때 평균 Y의 변화량
εᵢ · 오차실제값과 모집단의 참된 회귀관계 사이의 차이
이 사례의 핵심: 기울기 1.5295는 예약이 1,000대 늘어날 때 판매량이 평균 1,529.5대 증가하는 연관성을 의미합니다. 인과 효과라고 단정하지 않습니다.
02 · 회귀계수의 추정 p. 291
어떤 직선이 가장 좋을까? 잔차 제곱의 합이 가장 작은 선
슬라이더를 움직여 선을 일부러 틀어보세요. 실제 점과 예측선의 세로 차이(잔차)가 길어지고 잔차제곱합 SSE도 커집니다.
실제 데이터직선잔차(실제−예측)
연한 분홍색 세로선이 각 관측값의 잔차입니다.
직접 움직여보기
현재 잔차제곱합 SSE
398.15
작을수록 관측값에 가까움
ŷ = 6.40 + 1.53X
왜 제곱할까요? 잔차의 양수와 음수가 서로 상쇄되는 것을 막고, 큰 오차에 더 큰 벌점을 주기 위해서입니다.
1컷📍관측
점이 흩어져 있어요.예약량과 판매량의 실제 기록을 찍습니다.
2컷📏비교
선을 하나 그려요.선에서 각 점까지의 세로 차이를 잽니다.
3컷🔢계산
차이를 제곱해 더해요.잔차제곱합 SSE를 계산합니다.
4컷🏆최적
SSE가 최소인 선을 선택!이것이 최소제곱법(OLS)입니다.
03 · 회귀계수 계산과 해석 p. 291
예측식의 절편과 기울기는 이렇게 계산합니다.
기울기 · β̂₁ (Slope)
β̂₁ = Σ(Xᵢ−X̄)(Yᵢ−Ȳ) / Σ(Xᵢ−X̄)²
X와 Y가 함께 변하는 정도를 X 변동으로 나누어 계산합니다.
절편 · β̂₀ (Intercept)
β̂₀ = Ȳ − β̂₁X̄
기울기를 구한 다음 평균점 (X̄, Ȳ)을 지나는 절편을 정합니다.
추정 절편 β̂₀
6.4095
선이 세로축과 만나는 값
추정 기울기 β̂₁
1.5295
X 1단위 변화에 따른 평균 Y 증가
지금 선택한 X에서 예측
ŷ = 52.29 (천 대)
예측은 관측범위 안(19~49천 대)에서 하는 것이 상대적으로 안전합니다. 이 회귀식은 예측값이 실제 판매량과 완전히 같다는 뜻은 아닙니다.
R에서 구하기
fit <- lm(y ~ x)
coef(fit)
summary(fit)
lm = linear model, y ~ x는 y를 x로 설명하는 모형입니다.
04 · 회귀계수의 검정 p. 292
기울기가 0이 아니라고 통계적으로 말할 수 있을까?
t분포 위에서 p값 읽기
자유도 7의 양측검정 · 두 꼬리(주황 영역)가 5%의 기각역 · 관측 t=5.932
t 통계량
5.932
1.5295 ÷ 0.2578
검정 결론
H₀ 기각
기울기가 0이라는 가설 기각
기울기 검정 4단계
① 가설H₀: β₁=0 / H₁: β₁≠0
② 계산t = β̂₁ / SE(β̂₁) = 5.932
③ 비교p = 0.000581 < α = 0.05
④ 판단귀무가설 기각 → 선형 연관성의 통계적 근거
R 출력 표의 핵심
| 변수 | Estimate | t | p |
|---|
| 절편 | 6.4095 | 0.718 | 0.496033 |
| X | 1.5295 | 5.932 | 0.000581 |
기울기는 유의하지만 절편의 p값은 0.05보다 큽니다. 절편이 유의하지 않더라도 기울기 검정 결과가 무효가 되는 것은 아닙니다.
표현 주의: β₁=0은 선형 관계의 기울기가 0이라는 뜻이지, 반드시 '인과관계가 전혀 없다'는 뜻이 아닙니다. 비선형 관계가 있거나 교란변수가 있을 수 있습니다.
05 · 결정계수의 원리 p. 292
판매량의 흔들림 중 얼마만큼을 회귀선이 설명할까?
실제값(Y), 회귀선 예측값(ŷ), 전체 평균(Ȳ)을 비교하면 SST·SSR·SSE를 직관적으로 볼 수 있습니다.
이 그림은 한 점의 세 가지 높이를 표시합니다. SST=SSR+SSE 등식은 전체 관측치의 제곱합에서 성립합니다(절편이 있는 OLS).
SST · 전체Σ(Yᵢ − Ȳ)² = 2399.56
SSR · 설명Σ(ŷᵢ − Ȳ)² = 2001.41
SSE · 남은 차이Σ(Yᵢ − ŷᵢ)² = 398.15
전체 변동 100% 중
설명 83.41%미설명 16.59%
R² = SSR/SST = 1−SSE/SST = 0.8341
쉬운 비유: 판매량의 변동을 100조각 퍼즐로 보면, 이 회귀식이 약 83조각을 설명하고 나머지 약 17조각은 설명하지 못합니다. 설명력과 인과관계는 다른 개념입니다.
06 · 결정계수와 수정된 결정계수 pp. 292–293
R²가 높으면 무엇이 좋고, 무엇을 주의해야 할까요?
같은 모형의 R²와 수정된 R²
결정계수 R²0.8341 (83.41%)
수정된 결정계수 Adjusted R²0.8104 (81.04%)
수정 R² = 1 − (1−R²) × (n−1)/(n−k−1)
이 예제는 관측치 n=9, 독립변수 k=1입니다.
단순선형 회귀분석에서절편이 있는 OLS 모형이라면 R² = 상관계수 r²입니다.
r ≈ 0.9133 → r² ≈ 0.8341
R²를 읽는 기준
- 0에 가까우면 X가 Y의 표본 변동을 선형으로 설명하는 비중이 낮습니다.
- 1에 가까우면 모형이 표본의 변동을 많이 설명합니다.
- 하지만 높은 R²만으로 모형 가정 충족, 인과관계, 미래 예측력까지 보장되지는 않습니다.
왜 수정된 R²를 볼까요?
독립변수를 추가하면 일반적인 OLS의 R²는 내려가지 않습니다. 수정된 R²는 변수 수가 늘어나는 것에 불이익을 주어 불필요한 변수를 점검하도록 돕습니다.
주의: 수정된 R²는 R² 이하이며, 경우에 따라 음수가 될 수도 있습니다. 이를 반드시 0~1 값이라고 외우면 틀릴 수 있습니다.
07 · 오차와 잔차, 회귀진단 p. 293
좋은 회귀직선인지 보려면 잔차를 반드시 확인!
잔차 그림의 형태를 바꿔 비교해 보세요
에어컨 자료(9개)의 실제 잔차를 보여줍니다.
오차 Error · εᵢ
모집단의 참된 평균 관계에서 실제값까지의 차이. 참된 회귀선을 모르므로 직접 관측할 수 없습니다.
잔차 Residual · eᵢ
표본에서 추정한 회귀선과 관측값의 차이. 데이터로 계산할 수 있습니다.
잔차 eᵢ = Yᵢ − ŷᵢ
체크할 회귀 가정
① 선형성잔차에 뚜렷한 곡선 패턴이 없는가?
② 등분산성X가 변해도 잔차의 퍼짐이 유사한가?
③ 독립성관측치의 오차가 서로 종속되어 있지 않은가?
④ 정규성t·F 추론에 필요한 오차분포 조건이 적절한가?
핵심: R²가 높아도 잔차에 규칙적인 모양이 나타나면 모형을 다시 검토해야 합니다. 잔차 플롯만으로 모든 가정이 검증되는 것은 아닙니다.
08 · 4컷 복습 + 기출형 퀴즈 pp. 291–293
네 장면으로 설명하기 + 핵심 확인 퀴즈
1컷 · 데이터 수집📅 🛒
예약과 판매를 기록“예약이 많으면 실제 판매도 늘까?” X·Y값을 모읍니다.
2컷 · 모형 만들기📉 📏
가장 잘 맞는 직선“점들과의 차이를 줄이자!” 최소제곱법으로 선을 정합니다.
3컷 · 유의성 확인🔎 📊
기울기 검정“우연히 이런 선이 나왔을까?” t검정 p값을 확인합니다.
4컷 · 품질 확인✅ 🎯
설명력과 잔차“얼마나 설명하고, 이상한 패턴은 없을까?” R²와 잔차를 봅니다.
학습 요약: β̂₁(방향·크기) → t와 p(유의성) → R²(설명력) → 잔차(가정 진단) 순서로 읽으면 회귀 결과를 안정적으로 해석할 수 있습니다.