회귀분석 — 변수선택법과 정규화 회귀 · 개념 그림 + 기출문제 통합 학습 HTML

CONCEPT 01

단계적 변수선택법 3가지

1 / 4

전진선택법절편만 있는 모형에서 시작해 중요한 변수부터 차례로 추가

후진제거법모든 변수를 넣은 모형에서 가장 영향이 적은 변수부터 하나씩 제거

단계선택법전진선택을 하며 기존 변수의 중요도가 약화되면 제거도 함께 수행

↓ 기출 1번 연결 ↓

QUESTION 01

변수 선택법 설명으로 부적절한 것

33회 기출

관련 문제

회귀분석에서 변수 선택법은 모델의 성능을 향상시키는 데 중요한 역할을 한다. 다음 중 변수 선택법에 대한 설명으로 부적절한 것은?

① 전진 선택법은 중요하다고 판단되는 설명 변수를 하나씩 추가하는 방식이다.

② 전진 선택법으로 변수를 추가할 때 기존 선택된 변수들의 중요도에 영향을 받지 않는다.

③ 후진 제거법은 설명 변수의 개수가 많을 경우 사용이 까다로울 수 있다.

④ 전진 선택법은 입력 변수의 작은 변동에도 민감하여 결과가 크게 달라질 수 있다.

정답 ②

전진 선택법은 기존에 선택된 변수와 새로 추가되는 변수의 관계를 고려하여 변수를 추가한다. 기존 변수들의 중요도가 추가 변수 선택에 영향을 미친다. 나머지 선택지는 전진 선택법과 후진 제거법의 특징을 올바르게 설명하고 있다.

핵심 암기 · 전진선택법도 "기존 변수와의 관계"를 고려한다 — 독립적이지 않음

CONCEPT 02

벌점화된 선택 기준 — AIC · BIC · Cp

2 / 4

모델 복잡도변수가 많을수록 ↑

+

벌점(penalty)AIC · BIC

=

값이 최소인 모델선택

AIC·BIC는 값이 작을수록 좋은 모델. Cp값이 변수 개수(p)와 비슷하면 편향이 작은 우수한 모델을 의미한다.

↓ 기출 2번 연결 ↓

QUESTION 02

변수 선택법 설명으로 부적절한 것

5회 기출

관련 문제

회귀분석에서 변수 선택법에 대한 설명으로 가장 부적절한 것은?

① 전진선택법은 중요하다고 생각되는 설명변수부터 차례로 선택하는 방법이다.

② 전진선택법과 후진선택법의 결과가 항상 동일하지는 않다.

③ 모든 가능한 회귀모형은 독립변수들의 조합으로 이루어진 회귀모형 중 가장 적합하게 나타난 모형을 선택하는 방법이다.

④ 전진선택법으로 변수를 추가할 때 기존 변수들의 중요도는 영향을 받지 않는다.

정답 ④

전진선택법은 변수를 하나씩 추가하며 모형의 적합도를 평가하는 방법으로, 새 변수를 추가할 때 기존 변수들의 중요도나 설명력은 변동될 수 있다. 기존 변수의 중요도가 변경될 가능성을 고려하지 않는 것은 오류를 유발할 수 있다. 1번과 2번 선택지는 전진선택법과 후진선택법의 개념을 정확히 설명하고 있으며, 3번 선택지는 회귀모형을 검토하는 방법에 대한 정의를 적절히 기술하고 있다.

핵심 암기 · 변수를 추가하면 "기존 변수의 중요도도" 함께 바뀔 수 있다

CONCEPT 03

R의 lm() 결과 읽기 실전

3 / 4

> summary(lm(Chick$weight~Chick$Time),data=Chick) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 24.4654 6.7279 3.636 0.00456 ** Chick$Time 7.9879 0.5236 15.255 2.97e-08 *** --- Residual standard error: 12.29 on 10 degrees of freedom Multiple R-squared: 0.9588, Adjusted R-squared: 0.9547 F-statistic: 232.7 on 1 and 10 DF, p-value: 2.974e-08

기울기(Time 계수) p-value(2.97e-08) ≪ 0.05 → 매우 유의. F-statistic의 p-value도 ≪ 0.05 → 모형 전체가 통계적으로 유의. Intercept의 p-value(0.00456)도 0.05보다는 작아 유의하지만 0.001보다는 커서 "0.1% 이하로 매우 유의"는 과장된 해석.

↓ 기출 3번 연결 ↓

QUESTION 03

코드 실행 결과 해석

36회 기출

관련 문제

다음 중 아래 코드 실행 결과에 대한 설명으로 가장 적절한 것은?

> summary(lm(Chick$weight~Chick$Time),data=Chick) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 24.4654 6.7279 3.636 0.00456 ** Chick$Time 7.9879 0.5236 15.255 2.97e-08 *** --- Residual standard error: 12.29 on 10 degrees of freedom Multiple R-squared: 0.9588, Adjusted R-squared: 0.9547 F-statistic: 232.7 on 1 and 10 DF, p-value: 2.974e-08

① 위의 모델은 단순 선형 회귀가 아닌 다항 회귀 모델이다.

② 추정된 회귀식의 기울기는 7.98790이지만, Time 변수의 계수는 유의하지 않으며 모델 설명력에 큰 영향을 주지 않는다.

③ 회귀모형은 유의수준 5% 하에서 통계적으로 유의미하다.

④ Intercept의 p-value가 유의수준 0.1% 이하이므로 매우 유의미한 값이다.

정답 ③

주어진 코드는 단순 선형 회귀 모델로, 독립 변수로 Chick$Time만 사용하고 있으며 F-statistic 값이 232.70이며, p-value가 0.05보다 작으므로 5% 유의수준에서 회귀모형이 통계적으로 유의미하다는 것을 나타낸다. Chick$Time의 p-value는 0.05보다 작아 통계적으로 매우 유의하다. Intercept의 p-value는 0.00456으로 0.001보다 크므로 유의수준 0.1%이하에서 통계적으로 유의하지 않다.

핵심 암기 · 별표(***) 개수가 많을수록 더 유의 — Pr(>|t|) 값이 작을수록 유의

CONCEPT 04

정규화 회귀 — Ridge · Lasso

4 / 4

Ridge 회귀가중치 제곱합을 최소화하는 제약(L2 규제) — 계수를 0에 가깝게, 완전히 0으로 만들진 않음

Lasso 회귀가중치 절댓값 합을 최소화하는 제약(L1 규제) — 불필요한 변수의 계수를 0으로 만들어 변수 선택 효과

ElasticNetRidge와 Lasso를 절충한 모델

정규화 회귀는 계수에 제약을 추가해 과적합(Overfitting)을 막는 방법 — 학습데이터 설명력을 조금 포기하고 미래 데이터에 안정적인 결과를 낸다.

↓ 기출 4번 연결 ↓

QUESTION 04

Lasso 회귀모형 설명

35회 기출

관련 문제

다음 중 Lasso 회귀모형에 대한 설명으로 부적절한 것은?

① 회귀계수에 비례하여 가중치를 부여하는 방식이다.

② 중요한 변수를 선택하고 불필요한 변수를 제거하는 효과가 있다.

③ penalty 조정 파라미터가 존재한다.

④ L2 penalty를 사용한다.

정답 ④

Lasso 회귀모형은 L1 penalty를 사용하여 가중치를 조정하며, 불필요한 변수를 제거하고 중요한 변수를 선택하는 데 효과적이다. L2 penalty는 Ridge 회귀모형에서 사용된다.

핵심 암기 · Lasso = L1(절댓값, 변수선택 가능) / Ridge = L2(제곱, 0은 안 됨)