01 / 이론의 전체 구조
왜 변수 선택(Variable Selection)을 할까요?
변수를 많이 넣는 것과 좋은 회귀모형을 만드는 것은 다릅니다.
교재 pp.299·305–306
한눈에 보는 좋은 모형을 찾는 과정
① 후보 변수X₁ · X₂ · X₃ · X₄예: 가격·거리·광고·날씨
→
② 변수 선택추가 / 제거모형의 적합도와 복잡도 점검
→
③ 간결한 모형Y ← X₁, X₂예측·해석에 유리한 변수 조합
이론과 연결되는 4컷 만화
변수를 왜 골라야 할까요?
소풍 가방에 비유하면 변수 선택의 목적이 바로 보입니다.
1출발 전
🧒🧳
“소풍 물건을 전부 넣을래!”
가방에 온갖 물건을 넣으니 너무 무거워요.
전부 넣기 = 꼭 좋은 선택은 아님
2꼭 필요한 것
👧💧
“마실 물은 꼭 가져가야지!”
중요한 물건까지 빼면 소풍이 힘들겠죠?
예측에 도움 되는 변수는 남기기
3겹치는 것
🧒🧴🧴
“같은 물병이 왜 두 개나?”
비슷한 역할을 하는 물건은 다시 살펴봐요.
정보 중복을 확인하기
4가방 완성
👩🏫📈
“필요한 것을 알맞게 담았네!”
회귀모형도 필요한 정보를 담고 성능을 확인해요.
정확성 + 간결함을 함께 고려
이론 연결 변수 선택은 무조건 적게 넣는 일이 아닙니다. 중요한 정보는 남기고, 중복되는 정보와 모형의 복잡도를 함께 살피는 과정입니다.
핵심 메시지: 현재 모형에 이미 들어간 변수까지 고려하여 새 변수가 추가로 설명해 주는 정보가 있는지 판단합니다.
직관적인 비유
여행 준비물 가방 꾸리기 🧳
필요한 물건은 담되 역할이 겹치거나 효과가 적은 물건까지 모두 넣을 필요는 없습니다.
많이 담으면 무겁고, 너무 적게 담으면 중요한 물건이 빠집니다.
시험에 자주 나오는 구분
전진 · 후진 · 단계 · 모든 조합
전진선택법빈 모형 → 하나씩 추가
후진제거법전체 모형 → 하나씩 제거
단계선택법추가 후 필요하면 제거
학습목표: ① 변수 선택법의 차이를 설명한다. ② 새 변수를 추가할 때 기존 변수와의 관계를 해석한다. ③ 기출 43·44번의 공통 함정을 판별한다.
02 / 직접 눌러보는 시각화
전진선택법은 매 단계마다 다시 비교합니다
Forward Selection — 절편만 있는 모형에서 시작하여 변수를 하나씩 추가합니다.
교재 p.299 · 기출 p.306
현재 회귀모형
Y ~ 1
0단계: 아직 독립변수를 선택하지 않음
그림의 변수
X₁ = 광고비 · X₂ = 노출횟수 · X₃ = 행사 여부
교육용 가상 사례입니다. 실제 데이터의 회귀계수나 검정 결과가 아닙니다.
각 단계에서의 추가 설명력: 비교 상황을 보여주는 가상 수치
X₁
85
X₂
62
X₃
40
① 광고비(X₁)가 가장 많은 설명력을 보인다고 가정하고 시작합니다.
이론과 연결되는 4컷 만화
전진선택법, 왜 매번 다시 비교할까요?
축제 방문객 수 예측에 광고비·노출횟수·행사 여부를 사용하는 이야기입니다.
1처음에는
👧🎪
“축제에 몇 명이 올까?”
방문객 수를 맞힐 정보를 찾고 있어요.
아직 모형에 변수가 없음
2하나 추가
🧒📢
“광고비 X₁부터 넣자!”
첫 번째로 유용해 보이는 정보를 넣었어요.
전진선택 = 하나씩 추가
3다음 후보
👧📱
“노출횟수 X₂도 넣을까?”
광고비와 비슷한 정보여서 새 도움은 줄 수 있어요.
가상 점수: X₂ 62 → 9
4다시 판단
👩🏫🔍
“현재 모형에서 다시 살펴보자!”
이미 넣은 X₁을 고려하고 추가 기여를 계산해요.
기존 변수와의 관계가 핵심
이론 연결 가상 예시에서 X₂의 추가 기여 점수는 62에서 9로 줄어듭니다. 이는 X₁과 정보가 겹치는 상황을 보여주기 위한 수치입니다.
왜 X₂의 평가가 달라질까요?
X₁(광고비)과 X₂(노출횟수)가 비슷한 정보를 담고 있다면, X₁을 먼저 넣은 뒤 X₂가 새롭게 설명하는 부분은 줄어들 수 있습니다.
시험 정답의 결정적 원리
후보 X₂가 중요한지는 현재 선택된 X₁을 이미 포함한 모형을 기준으로 다시 판단해야 합니다. 따라서 기존 변수의 영향은 무시할 수 없습니다.
핵심 수식(개념): 새 변수의 추가 기여 = 현재 모형의 오차 − 새 변수 추가 후의 오차. 실제 선택 기준은 p값, AIC, BIC 등 설정한 방법에 따라 달라집니다.
03 / 차이를 그림으로 기억하기
변수 선택법 4가지 비교
시작점과 변수를 추가·제거하는 방향을 기준으로 구분하면 쉽습니다.
교재 p.299 · 기출 p.306
① Forward
전진선택법
빈 모형→+ X₁→+ X₃
절편만 있는 모형에서 출발합니다.
좋은 후보를 하나씩 추가하되, 매번 현재 모형을 기준으로 평가합니다.
② Backward
후진제거법
X₁X₂X₃→− X₃→X₁X₂
후보 변수를 모두 넣고 시작합니다.
기여가 작은 변수부터 제거합니다. 변수가 많으면 계산·표본 수 제약이 생길 수 있습니다.
③ Stepwise
단계선택법
+ X₁→+ X₂→− X₁
전진선택처럼 추가하다가 기존 변수의 효과가 약해지면 다시 제거할 수 있습니다.
추가와 제거를 함께 점검합니다.
④ All subsets
모든 가능한 조합
∅·X₁·X₂·X₁X₂
가능한 모든 변수 조합을 만들고 비교합니다.
조합의 수가 급격히 증가할 수 있습니다.
이론과 연결되는 4컷 만화
변수 선택법 네 가지를 한 번에 구별하기
학급 행사 팀원을 꾸리는 방법으로 이해해 보세요.
1전진선택
🧒➕
“빈 팀에서 한 명씩 뽑자!”
처음에는 아무도 없고, 필요할 때 팀원을 추가해요.
빈 모형 → 변수 추가
2후진제거
👧➖
“일단 모두 모이고 정하자!”
팀원 모두로 시작해 기여가 적은 사람부터 검토해요.
전체 모형 → 변수 제거
3단계선택
👩🏫🔄
“뽑았던 친구도 다시 확인!”
새 팀원이 오면 기존 팀원의 역할도 달라질 수 있어요.
추가 + 기존 변수 재평가·제거
4모든 조합
🧑🤝🧑🧩
“팀 조합을 전부 비교해 볼까?”
가능한 조합을 만들고 기준에 따라 선택해요.
가능한 부분집합 전부 비교
이론 연결 전진·후진·단계·모든 조합은 시작점과 탐색 방식이 다릅니다. 그러므로 전진선택과 후진제거의 결과가 반드시 같지는 않습니다.
| 방법 | 시작 | 실행 | 시험 출제 포인트 |
|---|---|---|---|
| 전진선택 | 절편만 | 하나씩 추가 | 기존 선택 변수의 영향을 고려한다. |
| 후진제거 | 전체 후보 | 하나씩 제거 | 변수가 많거나 표본이 작으면 사용이 어려울 수 있다. |
| 단계선택 | 보통 절편만 | 추가·재평가·제거 | 한번 선택한 변수를 나중에 제거할 수 있다. |
| 모든 조합 | 가능한 부분집합 | 전체 조합 비교 | 후보가 k개이면 절편만 포함한 모형까지 2ᵏ개 가능하다. |
전진선택 결과 ≠ 후진제거 결과가 될 수 있습니다. 시작 모형과 탐색 경로가 달라 항상 같은 변수 집합을 선택하지는 않습니다.
04 / 변수 선택의 기준
Mallows' Cp와 편향·분산을 시각화
핵심은 잘 맞는 정도와 불필요한 복잡도 사이의 균형입니다.
교재 p.305–306
Cp 값을 움직여 보세요
가정: 모형의 모수 수 p = 6 (절편 포함) · 교육용 숫자
기준선 p = 66.0
기준선 근처: 편향이 크지 않은 후보 모형인지 검토합니다.
변수가 너무 적거나 많으면?
그림은 경향을 설명하는 개념도이며 실제 관측값이 아닙니다. 총 오차의 모양은 상황에 따라 다릅니다.
이론과 연결되는 4컷 만화
편향·분산과 Cₚ, 왜 균형이 중요할까요?
날씨를 예측하는 친구의 이야기로 모형의 복잡도를 생각해 봅니다.
1너무 단순해
🧒☀️
“매일 맑다고만 예측할래!”
다른 단서를 무시하면 늘 같은 쪽으로 빗나갈 수 있어요.
편향(Bias)이 큰 상황
2너무 복잡해
👧🌀
“조그만 변화에도 예측을 바꿀래!”
정보를 지나치게 좇으면 결과가 흔들리기 쉬워요.
분산(Variance)이 큰 상황
3균형 찾기
👩🏫⚖️
“둘 다 함께 생각하자!”
지나치게 단순하지도 복잡하지도 않은지 봐요.
편향–분산 균형
4기준 확인
🧒📏
“Cₚ 숫자도 비교해 보자!”
Cₚ가 p에 가까운지 확인하고 다른 기준도 살펴요.
Cₚ ≈ p: 후보 검토, 단독 결론 ✕
이론 연결 Cₚ가 p 부근이면 검토할 만한 후보일 수 있지만, Cₚ와 p만 비교해 좋은 모형이나 불필요한 변수의 존재를 확정할 수는 없습니다.
Cp와 p의 관계 (교재 개념)
Cp ≈ p 편향이 크지 않은 후보로 살펴볼 수 있습니다.
Cp ≫ p 모형의 편향·적합 부족을 의심해 볼 수 있습니다.
Cp < p 이것만으로 필요 없는 변수가 있다고 단정할 수는 없습니다.
주의: 교재 서술과 실제 해석
제공된 교재는 Cp < p 상황을 불필요한 변수와 연결하지만, 그 부등식만으로 불필요한 변수의 존재가 증명되지는 않습니다.
시험은 제시된 표현을 알아두되, 실무에서는 잔차·검증 성능·다른 기준을 함께 평가합니다. p의 정의도 자료에 따라 절편 포함 여부를 확인해야 합니다.
모수 절약 원칙(Parsimony): 비슷한 설명력이라면 불필요하게 복잡하지 않은 모형을 선호합니다. AIC·BIC는 적합도와 복잡도에 대한 벌점을 함께 고려합니다.
05 / 핵심개념체크 · 33회 기출
기출 43번: 전진선택법의 함정
이론 그림을 읽은 뒤 문제를 선택하고 정답을 공개해 보세요.
교재 p.306 · 정답 ②
문제 위 이론 시각화Forward Selection — 기존 변수는 이미 모형 안에 있습니다
① Y ~ 1빈 모형에서 시작
→
② Y ~ X₁X₁을 먼저 선택
→
③ Y ~ X₁ + X₂ ?X₁을 고려해 X₂ 재평가
→
“X₁ 영향 없음” ✕기존 정보 무시하면 오류
새 변수를 평가할 때 기존 선택 변수와의 중복 정보 및 추가적인 설명력이 영향을 미칩니다.
이론과 연결되는 4컷 만화
43번: 기존 변수는 왜 중요할까요?
축제 홍보의 포스터와 SNS가 서로 겹치는 정보를 주는 상황입니다.
1먼저 선택
🧒🪧
“포스터 수 X₁을 넣었어!”
홍보가 축제 방문객 수와 관계가 있는지 봐요.
현재 모형: Y ~ X₁
2새 후보
👧📱
“SNS 노출 X₂도 중요하지?”
그런데 포스터를 많이 붙이면 SNS 홍보도 늘 수 있어요.
두 변수의 정보가 겹칠 수 있음
3다시 계산
👩🏫🔁
“X₂를 넣은 뒤 X₁도 다시 볼까?”
두 변수를 같이 넣으면 각 변수의 평가가 달라질 수 있어요.
기존 변수의 중요도·유의성 변동 가능
4문제의 함정
🧒❌
“기존 변수는 영향이 없다?”
그렇게 단정하면 틀려요. 현재 모형 전체를 고려해야 해요.
정답을 찾을 때 ‘영향 없음’을 주의
이론 연결 43번의 핵심은 전진선택이 기존 모형을 기준으로 새 변수의 기여를 평가한다는 점입니다. 새 변수를 넣으면 기존 변수의 추정 결과도 바뀔 수 있습니다.
33회 기출객관식 · 부적절한 설명
43. 회귀분석에서 변수 선택법은 모델의 성능을 향상시키는 데 중요한 역할을 한다. 다음 중 변수 선택법에 대한 설명으로 부적절한 것은?
먼저 보기를 하나 선택해 보세요.
선택지별 해설
🔎
정답을 공개하면
모든 보기의 옳고 그름과 시험 포인트를 확인합니다.
모든 보기의 옳고 그름과 시험 포인트를 확인합니다.
정답 ② · 기존 변수의 영향을 받지 않는다 → 잘못된 설명
① 옳음 절편만 있는 모형에서 시작해 평가 기준에 따라 변수를 하나씩 추가합니다.
② 틀림 · 정답 X₁을 먼저 포함하면 새 X₂의 추가적인 설명력이 달라집니다. 기존 변수와의 상관·중복 정보를 고려해야 합니다.
③ 옳음 변수가 많을 때 전체 변수를 포함한 시작 모형의 계산·추정이 어려울 수 있습니다.
④ 옳음 변수의 설명력이 비슷하거나 자료가 조금 바뀌면 탐색 경로·선택 결과가 바뀔 수 있습니다.
암기: 전진 = 추가 / 선택된 변수와의 관계를 고려 / 결과가 불안정할 수 있음
06 / 핵심개념체크 · 5회 기출
기출 44번: 같은 원리, 다른 보기 번호
43번과 공통인 함정을 찾아보세요. 이번에는 ④번에 배치되어 있습니다.
교재 p.306 · 정답 ④
문제 위 이론 시각화추가할 변수의 평가는 ‘현재 모형’에 따라 달라집니다
후보 X₂혼자 보면 중요
→
X₁ 먼저 선택이미 설명한 정보 존재
→
X₂ 추가 효과?중복 정보를 제외해 평가
→
무관하다? ✕기존 변수에 따라 바뀜
43번 ②와 44번 ④는 사실상 같은 오개념을 묻습니다.
이론과 연결되는 4컷 만화
44번: 변수 하나가 들어오면 무엇이 바뀔까요?
관광객 수 예측에 기온과 야외활동 정보를 이용하는 다른 사례입니다.
1첫 단서
👧🌤️
“따뜻한 날엔 방문객이 많네!”
기온 X₁만으로 관광객 수를 예측해 봐요.
모형: Y ~ X₁
2새 단서
🧒🚲
“야외활동 X₂도 넣어 볼까?”
따뜻한 날에는 야외활동도 늘어날 수 있어요.
X₁과 X₂가 연관될 수 있음
3함께 보면
👩🏫📉
“기온의 역할도 달라졌어!”
X₂를 넣고 나면 X₁의 계수나 유의성이 바뀔 수 있어요.
변수 추가 후 기존 변수도 재평가
4확인 완료
👧✅
“앞에서 고른 것도 다시 봐야 해!”
변수 선택은 한 번 고른 변수를 무시하는 과정이 아니에요.
43·44번 공통 개념: 기존 변수 고려
이론 연결 새 변수가 포함되면 기존 변수의 회귀계수나 통계적 유의성이 달라질 수 있습니다. 따라서 “기존 변수의 중요도는 영향을 받지 않는다”는 진술은 부적절합니다.
5회 기출객관식 · 가장 부적절한 설명
44. 회귀분석에서 변수 선택법에 대한 설명으로 가장 부적절한 것은?
먼저 보기를 하나 선택해 보세요.
선택지별 해설
🔎
정답을 공개하면
전진·후진·모든 조합의 차이를 확인합니다.
전진·후진·모든 조합의 차이를 확인합니다.
정답 ④ · 기존 변수의 중요도는 영향을 받지 않는다 → 잘못된 설명
① 옳음 절편만 있는 모형에서 시작하여 선택 기준을 개선하는 변수를 추가합니다.
② 옳음 전진선택과 후진제거는 시작점과 탐색 순서가 달라 같은 결과를 보장하지 않습니다.
③ 옳음 가능한 후보 변수 조합을 검토하고 정해진 평가 기준에서 가장 적합한 모형을 선택합니다.
④ 틀림 · 정답 새 변수를 넣으면 기존 변수의 회귀계수, 유의성, 설명력이 변할 수 있습니다. 또한 기존 선택 변수들이 후보 변수의 추가 기여에 영향을 줍니다.
43번과 연결: 43번 ②와 44번 ④는 동일한 핵심 오류 — “기존 변수는 영향을 주지 않는다”.
07 / 핵심 요약
기출 43·44번을 기억하는 4컷 개념 만화
한 번에 이해하고 바로 암기하는 그림 요약
교재 p.306 · 정답 43 ② / 44 ④
이론과 연결되는 4컷 만화
기출 43·44번, 네 컷으로 마지막 정리!
문제 번호보다 공통으로 묻는 원리를 기억하세요.
1시작하기
🧒📦
“전진은 빈 모형부터!”
설명변수가 없는 모형에서 시작해요.
전진선택: 시작은 비어 있음
2하나씩
👧➕
“좋은 후보를 하나 더 넣자!”
선택 기준에 따라 변수를 추가해요.
변수 추가
3다시 보기
👩🏫🔍
“이전에 넣은 변수도 중요해!”
새 변수가 들어오면 기존 변수와의 관계를 다시 살펴요.
현재 모형 전체를 고려
4시험 기억
🧒🏁
“두 문제의 함정이 같구나!”
‘기존 변수의 영향은 없다’고 하면 의심해요.
43번 ② / 44번 ④
이론 연결 43번 정답은 ②, 44번 정답은 ④입니다. 두 문항 모두 “기존 변수는 새 변수를 넣어도 영향을 받지 않는다”는 생각이 잘못되었는지 묻습니다.
시험 직전 10초 암기
전진선택: 추가 → 기존 변수와의 관계까지 고려
후진제거: 제거 → 전체 후보에서 시작
단계선택: 추가·제거 → 새 변수 때문에 기존 변수도 재평가
모든 조합: 전부 비교 → 최적 기준으로 선택
두 문항 정답 대조
| 문제 | 정답 | 잘못된 표현 |
|---|---|---|
| 43번 | ② | 기존 선택 변수의 중요도에 영향을 받지 않는다. |
| 44번 | ④ | 기존 변수들의 중요도는 영향을 받지 않는다. |
핵심은 ‘기존 변수도 함께 고려한다’는 한 문장입니다.
자료 범위: 사용자가 제공한 교재 299쪽, 305–306쪽 발췌 및 306쪽 기출문제. 실습용 수치·그림은 이해를 돕기 위한 예시이며 실제 교재 분석 결과가 아닙니다.