각 화면에서 개념 그림을 먼저 보고, 바로 아래 연결된 기출문제를 풀어보세요.
회귀분석은 독립변수가 종속변수에 미치는 영향을 추정하는 통계기법 — 인과관계를 "밝히고" 모형을 적합해 변수를 예측·추론하는 분석방법이다.
회귀분석에서 잔차(오차항)는 독립변수와 상관관계가 없어야 한다. 잔차와 독립변수 간 상관이 존재하면, 해당 모델은 독립변수가 종속변수를 제대로 설명하지 못하거나 중요한 변수를 누락했을 가능성이 있다.
Durbin-Watson 검정(독립성), Q-Q plot·Shapiro-Wilk 검정(정규성)으로 가정을 확인한다.
회귀분석의 가정에는 독립성, 선형성, 정규성이 포함되며, 이분산성은 오히려 가정에 위배된다. 이분산성이 존재하면 잔차의 분산이 일정하지 않아 회귀분석의 결과가 왜곡될 수 있다. 나머지 선택지들은 모두 회귀분석에서 요구되는 가정이다.
독립변수를 추가하면 R²은 항상 증가(또는 유지)한다 — 불필요한 변수를 넣어도 오르는 함정. 그래서 다중회귀에서는 "수정된 결정계수(Adjusted R²)"를 기준으로 삼는다.
결정계수는 총 변동 중에서 회귀모형에 의해 설명되는 변동의 비율을 나타낸다. 오차에 의한 변동이 아닌 설명된 변동에 초점을 두며, 오차에 의한 변동이 차지하는 비율은 잔차 제곱합(SSE)을 의미한다. 입력 변수가 증가하면 결정계수가 증가하지만, 이는 불필요한 변수를 추가했을 때 발생할 수 있는 문제이므로 수정된 결정계수를 사용하는 것으로 해결한다. 유의하지 않은 독립변수 포함 시 수정된 결정계수 값은 감소한다.