다중선형 회귀분석 · 시각화 이론 + 기출 38~40번

여러 독립변수가 하나의 결과를 설명한다

Multiple Linear Regression · 다중선형 회귀분석

회귀식의 구성

Y = β₀ + β₁X₁ + ··· + βₖXₖ + ε결과 = 절편 + 각 변수의 기여 + 오차

다른 독립변수를 일정하게 통제한 상태에서 X_j가 1단위 변할 때, 예측되는 Y의 변화량이 β_j입니다.

Y종속변수 / 설명할 결과

β₀절편 / 기준값

βⱼ회귀계수 / 기울기

ε오차항 / 설명하지 못한 변동

예시: 호텔 만족도는 무엇의 영향을 받나?

교육용 가상 사례입니다. 아래 화살표는 예측모형의 설명 관계이며, 인과관계를 입증한 것은 아닙니다.

X₁ · 서비스 품질Service Quality

X₂ · 접근성Accessibility

X₃ · 가격가치Perceived Value

⟶

Y · 고객만족Customer Satisfaction

핵심 구분: 독립변수가 하나면 단순회귀, 둘 이상이면 다중회귀입니다. 추가 변수는 예측과 해석을 돕지만, 항상 좋은 것은 아닙니다.

🏨① 궁금증

“호텔 만족도는 왜 다를까?”

🛎️🚉② 여러 단서

서비스·위치·가격을 함께 살핀다.

📈③ 하나의 식

각 단서의 관계를 회귀계수로 추정한다.

🔍④ 검증

“전체 식과 각 변수는 의미 있을까?”

F검정은 모형 전체, t검정은 개별 계수

시험에서 가장 많이 혼동하는 두 통계량을 구분합니다.

F-test · 전체 모형 유의성

독립변수들을 함께 넣은 모형이, 기울기가 모두 0인 모형보다 종속변수 변동을 유의하게 설명하는가?

H₀: β₁ = β₂ = ··· = βₖ = 0
H₁: 적어도 하나의 기울기 ≠ 0

t-test · 개별 회귀계수 유의성

다른 독립변수를 고려한 상태에서 특정 Xⱼ의 계수가 0과 다른가?

H₀: βⱼ = 0
H₁: βⱼ ≠ 0 (양측검정의 예)

직접 움직이는 F검정 인터랙티브 실습

가상 사례: 관측치 n = 30개, 독립변수 k = 2개, 유의수준 α = 0.05

회귀평균제곱
MSR8.0

오차평균제곱
MSE2.0

F = MSR / MSE4.00모형 유의

0.030F검정 p-value

0.05유의수준 α

3.35F 임계값 (α=.05)

MSR

8.0

MSE

2.0

전체 모형 검정에서 p < .05이면 H₀를 기각합니다.

분산분석표(ANOVA)의 구조

F = SSR / kSSE / (n−k−1)SSR 회귀제곱합 · SSE 오차제곱합 · SST 전체제곱합

요인	제곱합 SS	자유도 df	평균제곱 MS	F
회귀	16.00	k = 2	8.00	4.00
오차	54.00	n−k−1 = 27	2.00	4.00
전체	70.00	n−1 = 29	—	—

중요: “F값이 크면 무조건 유의하다”가 아니라, 자유도가 정해진 상태에서 F가 커질수록 p값이 작아집니다. p < .05인지가 판단 기준입니다.

👥① 팀 전체 질문

“세 변수를 함께 쓰면 쓸모 있을까?”

📊② F검정

팀 전체가 결과와 관련 있는지 확인

🔎③ t검정

팀원 하나하나의 계수를 확인

🟨④ 암기

“전체 F, 개별 t, 판단은 p!”

설명력과 적합성은 서로 다른 질문이다

R² / Adjusted R²는 설명력, 잔차 그림은 모형의 패턴을 확인합니다.

결정계수 R² vs 수정 결정계수 Adjusted R²

R² = 1 − SSE/SST

절편이 포함된 일반적인 최소제곱 회귀모형 기준

Adjusted R² = 1 − (1−R²) × (n−1)/(n−k−1)

독립변수 수 k에 따른 자유도를 반영합니다.

변수 수 k2

가상 예시: n = 30, R² = 0.55 고정. 변수를 더 추가해도 설명력이 늘지 않는다고 가정한 계산 연습.

R²

0.550

수정 R²

0.517

R²는 변수를 추가해도 감소하지 않지만, 수정 R²는 설명력 개선이 부족하면 감소할 수 있습니다. 두 지표 모두 인과관계 증명이나 예측력 보장은 아닙니다.

잔차 그래프: 무엇이 보이나?

가로축은 예측값(Ŷ), 세로축은 잔차(e = Y−Ŷ). 실제로는 ‘잔차 vs 예측값’을 자주 봅니다.

① 비교적 바람직: 불규칙한 흩어짐

② 점검 필요: 퍼짐이 넓어지는 부채꼴

잔차에 곡선 패턴이 나타나면 선형성, 부채꼴이 나타나면 등분산성 위반을 의심할 수 있습니다. 잔차그림 하나로 모든 가정을 확정할 수는 없습니다.

선형성

예측변수와 결과의 관계가 계수에 대해 선형적으로 표현되는가?

오차의 독립성

시간·공간 순서에 따라 오차가 서로 연관되지 않는가?

등분산성

예측값이 달라도 오차의 퍼짐이 대체로 일정한가?

완전 공선성 없음

독립변수 하나가 다른 변수들의 완벽한 선형조합은 아닌가?

외생성·정규성 확인

오차 조건부 평균 0이 중요하며, 정규성은 특히 작은 표본의 추론에서 고려합니다.

교재 보완: ‘정상성’은 특히 시계열 분석에서 중요하지만 모든 횡단면 다중회귀의 공통 필수 가정은 아닙니다. “모든 계수가 유의해야 모형을 사용할 수 있다”도 일반적인 필수 조건이 아닙니다.

다중공선성: 독립변수끼리 너무 닮으면?

Multicollinearity · 계수의 불안정성, 표준오차 증가, 해석의 어려움을 이해합니다.

변수 간 상관을 직접 바꾸어 보기 인터랙티브

X₁과 X₂의
상관 r0.85

점이 직선 주변에 뭉칠수록 두 변수의 정보가 중복됩니다. 표본에서 계산한 상관과 동일하게 설계된 가상 자료입니다.

분산팽창요인 · VIF

VIFⱼ = 1/(1−Rⱼ²)

Rⱼ²는 Xⱼ를 다른 모든 독립변수로 회귀했을 때의 결정계수

지금 실습은 X가 두 개뿐이므로 Rⱼ² = r²입니다.

3.60

공선성 주의 구간

VIF ≈ 1 · 낮음4~5 · 점검10 초과 · 강한 경고

VIF개별 독립변수의 분산 팽창을 점검
4~5부터 점검, 10 이상은 강한 경고로 흔히 사용

상태지수 (CI)설계행렬의 작은 고유값 등으로 선형 종속성 점검
10 이상 주의, 30 초과 심각 가능성(경험 기준)

경계값은 절대법칙이 아닙니다. VIF와 상태지수는 데이터 규모, 연구 목적, 변수 구성과 함께 해석해야 합니다.

① 변수 제거·통합

비슷한 변수를 근거에 따라 하나로 줄이거나 지수를 구성합니다. 중요한 통제변수를 무작정 삭제하지 않습니다.

② Ridge 회귀 (능형회귀)

계수에 규제를 부여해 불안정성을 완화합니다. 일부 편향을 허용하는 대신 분산을 줄일 수 있습니다.

③ 주성분회귀 (PCR)

상관된 변수를 선형결합한 주성분으로 분석합니다. 원래 계수의 직접적 해석은 어려워질 수 있습니다.

🧑‍🤝‍🧑① 너무 비슷한 친구

“우린 항상 거의 같은 말만 해!”

🤔② 각자 몫이 애매

“누가 얼마나 영향을 주었지?”

📉③ 계수 흔들림

표본이 바뀌면 각자의 계수가 크게 달라질 수 있다.

🛠️④ 해결

변수 검토·Ridge·주성분회귀를 고려한다.

기출문제 38~40번 · 한 번에 한 문제씩

이론 그림 → 문제 선택 → 정답 확인 → 보기별 상세 해설 · 좌우 버튼 또는 화면 스와이프

교재 p. 296 · 핵심개념체크 세 문제의 정답은 ② · ① · ②

01 / 03

38번 관련 이론 · 다중공선성과 계수 안정성

독립변수 X끼리 유사할수록
→ 계수의 표준오차가 커질 수 있음
→ 추정치가 불안정해질 수 있음

👯① 비슷한 X

두 정보가 겹친다.

⚖️② 기여도 혼동

몫을 나누기 어렵다.

🔄③ 표본 변경

계수가 흔들릴 수 있다.

❌④ ‘항상’은 함정

불변이라고 할 수 없다.

VIF가 높다는 사실만으로 예측오차가 반드시 커진다고 단정하지는 않습니다.
표본 크기와 표본 구성은 추정의 정밀도 및 계수 변동과 관련됩니다.
높은 공선성에서 특정 변수를 제거하면 다른 계수도 달라질 수 있습니다.

38번 · 다중공선성 · 옳지 않은 설명 고르기

다음 중 다중공선성(Multicollinearity) 관련 설명으로 가장 부적절한 것은?

정답을 예상하고 보기를 선택하세요.

정답 ② — ‘표본 크기와 관계없이 항상 일정’은 틀린 설명

핵심: 강한 공선성이 있으면 개별 계수의 분산이 커져 데이터나 표본 구성이 변할 때 추정치가 불안정할 수 있습니다. 더 큰 표본은 일반적으로 추정의 정밀도에 영향을 줄 수 있으므로 “항상 일정”이라고 할 수 없습니다.

① 적절: 예측 정확도가 감소할 수는 있습니다. 다만 공선성이 언제나 예측을 나쁘게 만드는 것은 아닙니다.

② 부적절: “항상”, “표본 크기에 관계없이”라는 단정이 틀렸습니다.

③ 적절: VIF > 10은 흔히 쓰는 경고 기준입니다. 절대적인 진단 법칙은 아닙니다.

④ 적절: 회귀계수는 다른 독립변수를 통제한 조건부 관계이므로 변수 구성이 바뀌면 추정값이 달라질 수 있습니다.

암기: 독립변수 간 높은 상관 → 계수 추정 불안정 / ‘항상 일정’ ×

39번 관련 이론 · F와 t의 역할 구분

모형 전체가 유의한가? → F통계량
변수 하나가 유의한가? → t통계량

🏟️① 팀 전체

모형의 기울기를 함께 검정

📊② F검정

한 명 이상 기여하는가?

🧍③ 개인

특정 변수의 계수

📏④ t검정

그 계수가 0과 다른가?

F: H₀: β₁ = ··· = βₖ = 0
t: H₀: 특정 βⱼ = 0
p-value: 검정통계량 자체가 아니라 검정 결과의 유의성 판단에 사용
AIC: 여러 모형의 상대적 적합도·복잡도 비교에 사용

39번 · 전체 회귀모형 유의성 검정

선형회귀모형에서 모델 전체의 유의성을 평가하는 데 가장 적절한 통계량은 무엇인가?

정답을 예상하고 보기를 선택하세요.

정답 ① — F-statistics

F통계량은 독립변수들의 회귀계수가 모두 0이라는 귀무가설을 한꺼번에 검정합니다. 일반적으로 F검정 p-value가 0.05보다 작으면 전체 모형이 통계적으로 유의하다고 판단합니다.

① 정답: 여러 기울기를 공동으로 검정합니다.

② 오답: 특정 개별 계수의 유의성에는 보통 t통계량을 사용합니다.

③ 오답: p값은 F검정에도 t검정에도 있으며, 특정한 검정통계량 이름이 아닙니다.

④ 오답: AIC는 모형을 상대적으로 비교하는 선택 기준이지 전체 회귀계수의 공동 유의성 검정통계량이 아닙니다.

암기: 전체 모형 = F / 개별 변수 = t / 통계적 판단 = p / 모형 비교 = AIC

40번 관련 이론 · 다중공선성의 진단과 대처

이미 겹치는 변수가 있는데 독립변수를 더 넣는다?
→ 일반적인 해결책이 아님

🧩🧩① 정보 중복

설명변수들이 닮았다.

📚② 더 추가?

겹치는 변수를 더 쌓는다.

😵③ 문제 지속

불안정성은 저절로 사라지지 않는다.

🧰④ 적절한 대처

변수 검토·Ridge·PCR

높은 VIF는 회귀계수의 표준오차 확대를 시사합니다.
표준오차가 증가하면 같은 계수 추정값에서도 |t|가 작아질 수 있습니다.
변수 제거는 이론·교란 가능성·예측 목적을 함께 고려해야 합니다.

40번 · 다중공선성 진단·해결 방법

다음 중 다중공선성에 대한 설명으로 옳지 않은 것은?

정답을 예상하고 보기를 선택하세요.

정답 ② — 독립변수 추가는 일반적인 해결법이 아닙니다.

변수를 무작정 추가하면 중복 정보와 추정의 복잡성이 더 커질 수 있습니다. 변수의 통합·제거, Ridge 회귀, 주성분회귀 등의 대안을 목적과 맥락에 따라 고려합니다.

① 적절: VIF > 10은 널리 쓰이는 강한 경고 기준입니다.

② 부적절: 추가 변수의 선택만으로 기존 공선성 문제가 자동 해결되는 것은 아닙니다.

③ 적절: 다중공선성의 정의에 해당합니다. 두 변수 이상 사이의 선형 결합 관계도 포함합니다.

④ 적절: 계수의 분산·표준오차 증가로 개별 t검정의 유의성이 약해질 수 있습니다.

암기: 진단 = VIF·상태지수 / 대처 = 변수 검토·Ridge·PCR / 무작정 추가 ×

PC: 좌우 화살표 키 / 모바일: 문제 영역에서 좌우 스와이프 · 인쇄하면 세 문제와 해설이 모두 펼쳐집니다.

시험 직전 1분 암기표

통계량, 해석, 주의점을 한 번에 확인합니다.

시험 키워드	확인할 것	꼭 기억할 문장
F통계량	모형 전체의 공동 유의성	기울기 모두 0인지 검정 · p < α이면 귀무가설 기각
t통계량	특정 회귀계수의 유의성	개별 βⱼ 검정 · 표준오차가 커지면 \|t\|는 작아질 수 있음
R² / 수정 R²	설명된 변동의 비율 / 변수 수 고려	변수 추가만으로 R²는 줄지 않지만, 수정 R²는 줄 수 있음
VIF	독립변수 하나의 공선성 진단	VIF = 1/(1−Rⱼ²) · 4~5 점검 / 10 이상 강한 경고(경험적)
상태지수 CI	여러 독립변수의 선형 의존성	10 이상 주의 / 30 초과 심각 가능성(경험적)
공선성 대처	변수 선택 · Ridge · PCR	독립변수를 무작정 더 추가하는 것은 해결책이 아님
기출 정답	38번 · 39번 · 40번	② → ① → ②

방법론적 주의: 통계적으로 유의한 모형이라고 해서 모든 개별 계수가 유의하거나 인과관계가 성립하는 것은 아닙니다. 또한 다중공선성은 계수 해석에 큰 영향을 주지만, 예측 성능 저하를 언제나 의미하지는 않습니다.