회귀분석을 그림으로 이해하기
“광고비가 늘면 매출도 늘어날까?” 데이터를 바탕으로 설명변수 X와 결과변수 Y의 관계를 수식과 직선으로 나타내는 방법을 배웁니다.
오늘의 학습목표
- 회귀분석의 정의와 X·Y의 역할을 구분한다.
- 선형성·등분산성·독립성·정규성을 그래프로 판단한다.
- 잔차그래프와 Q–Q Plot의 의미를 해석한다.
- 기출문제 33~36번을 풀고 오답 이유를 설명한다.
- 후속 학습으로 R 회귀분석과 변수선택을 연결한다.
핵심 질문 하나로 시작
회귀분석은 단순한 동행 관계를 넘어, 다른 조건을 일정하게 둔 통계적 관계를 추정할 수 있습니다. 다만 회귀계수만으로 인과관계가 증명되는 것은 아닙니다.
독립변수 X는 설명하고, 종속변수 Y는 설명된다
반응변수·종속변수·결과변수는 모두 Y를, 설명변수·독립변수·예측변수는 모두 X를 가리키는 이름입니다.
단순선형회귀 : X가 1개
X
Y
예: 광고비가 1단위 늘어날 때 Y의 조건부 평균이 β₁만큼 변하는 선형 모형.
다중선형회귀 : X가 2개 이상
점과 직선이 다른 만큼 = 잔차
실제 매출이 예측보다 높으면 (+), 낮으면 (−)입니다. 잔차를 보면 회귀식이 무엇을 놓쳤는지 살필 수 있습니다.
외우기 쉬운 구분
원인이라고 가정한 설명요인 = X
설명·예측하고 싶은 결과 = Y
※ 관찰자료에서는 통계적 예측관계와 인과관계를 구분해야 합니다.
좋은 회귀모형을 판단하는 5가지 질문
문제에서 반복되는 네 가지 핵심 가정과 교재의 “X와 오차의 무관성”을 구분해 이해합니다.
잔차 대 예측값 그래프에 체계적인 곡선이 없어야 합니다. 회귀식이 계수에 선형이라는 뜻과 구분합니다.
잔차가 0 주변에서 비슷한 폭으로 퍼지면 적절; 부채꼴은 이분산 가능성.
잔차의 시계열 패턴·자기상관을 확인하며 Durbin–Watson은 1차 자기상관 진단에 사용합니다.
Q–Q Plot·Shapiro–Wilk 검정으로 점검하며 특히 작은 표본의 정확한 t/F 추론과 관련됩니다.
E(ε｜X)=0이 중요한 조건입니다. 단순히 그림 하나로 보장되지 않으며 누락변수 등도 고려합니다.
그림으로 보는 4가지 단서
곡선 패턴이 반복되면 모형 점검.
뒤로 갈수록 벌어지면 이분산.
시간 순서의 파도 패턴 주의.
큰 이탈은 비정규성 단서.
잔차 그림을 바꾸면 위반하는 가정도 달라집니다
아래 버튼을 눌러 잔차 대 예측값(또는 X) 그림을 바꿔 보세요. 점이 0을 기준으로 어떻게 퍼지는지 관찰합니다.
잔차가 0 위아래로 무작위로 나타나고 폭이 대체로 일정합니다. 다만 그래프만으로 가정을 확정하지는 않습니다.
왜 부채꼴이 문제일까요?
교재 그림과 연결
- (a) 오른쪽으로 갈수록 폭 감소 → 이분산.
- (b) U자형 곡선 → 제곱항 등을 검토.
- (c) 집단별 패턴 → 누락한 설명변수 등을 검토.
정확한 원인은 추가 진단과 연구 맥락을 통해 확인해야 합니다.
정규성은 Q–Q Plot, 자기상관은 잔차 순서로
잔차가 직선 주변에 놓인다면 정규분포와 대체로 부합할 수 있습니다. 그러나 완벽하게 일치할 필요는 없습니다.
정규 Q–Q Plot을 비교하세요
관측한 잔차의 분위수들이 기준선 근처에 모여 있습니다. 정규성은 증명된 것이 아니라 위반 근거가 약한 상태입니다.
정규성 검토 방법
눈으로 점들이 기준 직선에서 체계적으로 벗어나는지 확인.
H₀: 정규분포를 따른다. 유의확률이 작으면 정규성을 의심.
지정된 분포와의 차이를 비교. 모수를 자료에서 추정한 경우 검정 방식에 주의.
분포 꼬리 또는 왜도·첨도에 주목하는 보조 검정.
독립성·비상관성은?
시간 순서로 잔차를 그렸을 때 계속 양수였다가 계속 음수가 되는 패턴은 자기상관을 의심하게 합니다. Durbin–Watson 값이 대략 2 부근이면 1차 자기상관이 약하다는 단서이지만, 모형과 표본 조건에 따라 판정해야 합니다.
기출 33번 | 잔차와 X의 관계
문제 위의 이론을 먼저 본 다음, 선지를 하나 선택해 정답 확인을 누르세요.
먼저 볼 이론 그림 · 잔차는 신호일까?
회귀분석에 대한 설명 중 부적절한 것은?
기출 34번 | 잔차분석의 세 가지 가정
세 가지 질문으로 기억하세요. “오차끼리 연결되나?”, “오차 폭은 같나?”, “분포 모양은 어떤가?”
이론 그림 · 잔차진단 3단 카드
오차끼리 순서대로 연결되지 않는가?
X가 커져도 잔차의 폭이 일정한가?
오차 분포가 정규분포에 가까운가?
시간순 잔차·잔차산점도·Q–Q Plot
다음 중 회귀분석에서 잔차분석을 통해 검토해야 하는 가정으로 올바른 것은?
기출 35번 | 독립변수끼리 꼭 관련돼야 할까?
서로 다른 설명변수끼리 상관이 높은 것은 가정이 아니라 주의할 상황입니다.
이론 그림 · 유사한 X가 동시에 들어오면
X₁
X₂
서로 비슷한 X들이 함께 사용될 때 각각의 회귀계수를 분리해 추정하기 어려워져 계수의 표준오차가 커질 수 있습니다. 다만 X들 사이에 약한 상관이 있다고 해서 바로 문제가 되는 것은 아닙니다.
헷갈리는 선지 비교
- 선형성 = X를 고려한 Y와의 평균 관계.
- 등분산성 = 잔차 퍼짐의 일정함.
- 정규성 = 오차의 분포 모양.
- 다중공선성 = 설명변수 X들 사이의 중복 정보 문제.
다음 중 회귀분석의 기본 가정에 해당하지 않는 것은 무엇인가?
기출 36번 | 등분산성과 이분산성은 반대
“같은 폭으로 퍼져야 한다”가 가정입니다. 부채꼴은 이분산성의 전형적인 시각적 단서입니다.
이론 그림 · 잔차의 폭 비교
이분산성: X에 따라 오차 분산이 커지거나 작아짐.
다음 중 회귀분석의 가정으로 부적절한 것은?
한 장으로 끝내는 회귀분석 핵심 복습
가정의 이름만 외우기보다 어떤 그래프를 보고 어떤 문제를 발견하는지 연결하면 오래 기억됩니다.
시험에 나오는 연결표
| 확인 대상 | 시각적 단서 · 도구 | 주의할 위반 |
|---|---|---|
| 선형성 | 잔차 vs 예측값 | U자형 곡선 |
| 등분산성 | 잔차 산점도 | 부채꼴 |
| 독립성 | 시간순 잔차 · DW | 자기상관 |
| 정규성 | Q–Q · Shapiro | 직선에서 큰 이탈 |
| 다중공선성 | VIF · X 간 관계 | X들의 중복정보 |
기출 정답표
각 기출문제에서 선지를 선택한 뒤 정답을 확인해 보세요.
다음 차시 연결: R과 회귀모형 평가
summary(fit)
plot(fit)
R²: 설명된 변동의 비율
t검정: 개별 회귀계수 검정
F검정: 모형 전체의 공동 유의성 검정
전진·후진·단계별 선택은 후보 변수를 고릅니다. Lasso는 L1 벌점으로 일부 계수를 0으로 만들 수 있습니다.
※ 위 R·R²·t/F·Lasso는 주제 연결을 위한 추가 안내이며, 제공된 287~290쪽의 상세 설명 범위를 넘습니다.