PART 03 · CHAPTER 05 · CLASSIFICATION

로지스틱 회귀분석
Logistic Regression

확률 예측의 논리부터 로짓·오즈비·최대우도추정, R 분석표 해석, 기출문제까지 한 번에 학습

① 개념·수식② 가정·코딩③ R 실전 해석④ 기출 14·15·16

396쪽

정의 · 로짓 · 로지스틱 함수

397쪽

오즈비 · 회귀 비교 · MLE

398쪽

전립선 림프절 예제

399쪽

iris 예제 · Deviance

400쪽

기출 14~16번 및 해설

원문에서 부정확하거나 혼동을 부를 수 있는 표현은 학습 정확성을 위해 주의·정정 표시했습니다. 수식은 표준 이항 로지스틱 회귀를 기준으로 정리했습니다.

OVERVIEW · 핵심 학습 구조

딱 이 순서로 이해하면 됩니다

빈출 주제는 ‘모형이 무엇을 예측하는가’와 ‘계수를 어떻게 읽는가’입니다.

396–400쪽

🎯

확률 예측

P(Y=1 | X) 추정

📐

로짓으로 선형화

log[p/(1−p)] = β₀+βX

🔎

확률 → 집단 분류

기준값과 비교하여 0/1 판정

시험 키워드 ①

e^β1단위 증가 시 오즈의 배수

β가 양수이면 오즈 증가, 음수이면 감소

시험 키워드 ②

MLE최대우도추정법

관측 데이터의 우도가 최대인 계수를 찾음

시험 키워드 ③

χ²우도비 검정 등

모형 간 이탈도 감소량의 유의성 판단

2025년 시험의 3문제 출제 정보는 제공된 교재의 설명입니다. 이 자료는 출제 이력보다 개념·해석의 정확성을 우선합니다.

1 · 핵심 개념

회귀분석인데 왜 분류에 사용할까요?

반응변수가 두 범주(예: 이탈/유지)일 때 성공 범주에 속할 확률을 예측합니다.

396쪽

📘 개념 정의

로지스틱 회귀는 설명변수 X로 사건 발생 확률 P(Y=1 | X)을 추정하는 통계 모형입니다.

종속변수(Y)0 / 1

독립변수(X)연속형·범주형

분석 결과0~1의 확률

기본 이항 로지스틱 회귀에서는 Y가 두 범주입니다. 다항·순서형 로지스틱 회귀는 범주가 더 많거나 순서가 있는 경우에 사용합니다.

🏨 관광 분야 적용 예시

문제: 관광객이 내년에 해당 관광지를 재방문할지(1) / 하지 않을지(0) 예측한다면?

입력: 만족도, 여행 비용, 과거 방문 횟수

예측 확률

0.82

분류 결과

재방문(1)

예: 기준값이 0.5인 경우 0.82 ≥ 0.5이므로 ‘재방문’으로 분류합니다. 기준값은 목적과 오류 비용에 따라 달라질 수 있습니다.

2 · 반드시 외우는 식

확률 → 오즈 → 로그 오즈(로짓)

로짓은 선형, 성공확률은 S자 함수로 표현합니다.

396쪽

① 확률 (Probability)

p = P(Y = 1 | X)

성공 사건이 발생할 확률 (0 ≤ p ≤ 1)

② 오즈 (Odds)

odds = p / (1 − p)

‘성공할 확률’ 대 ‘실패할 확률’의 비

③ 로짓 (Logit)

logit(p) = ln[p/(1−p)]

오즈에 자연로그를 취한 값

📌 로지스틱 회귀의 두 가지 동치 표현

로그 오즈(선형식)

ln[p/(1−p)] = β₀ + β₁X₁ + ··· + βₖXₖ

확률식(S자 변환)

p = 1 / (1 + e^−η)

η = β₀ + β₁X₁ + ··· + βₖXₖ, e^η / (1 + e^η)와 같은 식

‘독립변수와 종속변수 자체가 선형’인 것이 아닙니다. 독립변수와 종속변수의 로그 오즈 사이에 선형 관계를 가정합니다.

3 · 인터랙티브 개념 실험

β의 부호에 따라 S자 방향이 바뀝니다

슬라이더로 계수와 독립변수를 변경해 확률이 어떻게 움직이는지 확인하세요.

396쪽

🎛 직접 움직여 보는 계수

절편 β₀−1.0

기울기 β₁+1.0

독립변수 X1.0

현재 예측확률

50.0%

현재 로짓(η)0.00

오즈 배수(e^β₁)2.718배

📈 확률곡선과 선택한 X

예측확률 곡선 선택한 X의 위치

β₁이 양수이므로 X가 증가하면 예측확률이 증가합니다.

4 · 출제 포인트

β가 아니라 e^β를 오즈의 배수로 읽습니다

다른 변수를 고정한 상태에서 X가 1 증가할 때를 기준으로 해석합니다.

396·400쪽

β > 0

성공 오즈 증가

β = 0.7 → e^β ≈ 2.01

오즈가 약 2.01배가 됩니다.

β = 0

오즈 변화 없음

β = 0 → e^β = 1

한 단위 변화에 따른 오즈 배수는 1배입니다.

β < 0

성공 오즈 감소

β = −0.7 → e^β ≈ 0.50

오즈가 약 0.50배가 됩니다.

✅ 올바른 문장

“X가 1 증가하면, 나머지 조건이 같을 때 성공의 오즈가 e^β배로 변한다.”

계수 β 자체는 X의 1단위 증가에 따른 로그 오즈 변화량입니다.

⚠️ 자주 나오는 오답

“X가 1 증가하면 성공 확률이 e^β배가 된다.”

틀립니다. 오즈와 확률은 다릅니다. 확률의 변화량은 시작 확률·다른 변수값에 따라 달라집니다.

5 · 적용 전 점검

로지스틱 회귀의 가정과 주의사항

교재의 표현 중 ‘꼭 필요한 조건’과 ‘실무 권장사항’을 구별합니다.

396쪽 · 개념+

✅ 핵심 전제

종속변수: 이항 모형은 두 범주로 정의 (예: 성공 1, 실패 0)

독립변수: 연속형 또는 범주형 모두 가능

관측치 독립성: 표준 모형은 관측치 간 독립을 전제

로그 오즈 선형성: 연속형 예측변수와 로짓의 관계를 적절히 지정

완전분리 문제: 예측값만으로 0·1이 완전히 분리되면 추정 불안정 가능

🔧 실무 점검

다중공선성: 독립변수 사이에 매우 강한 선형 관계가 없는지 확인

표본 크기: 사건 수·매개변수 수·데이터 분포에 맞게 충분히 확보

이상치/영향점: 회귀계수를 과도하게 좌우하는 값 확인

종속변수 분포: 0/1의 베르누이 분포를 기본으로 하는 이항 GLM

“n ≥ 30이면 충족”, “가정은 거의 신경 쓸 필요 없음”은 일반적으로 타당하지 않습니다. 독립성·함수형태·공선성·희소 사건 등은 반드시 검토할 항목입니다.

6 · 데이터 전처리

더미변수화 · 원핫인코딩 · 라벨인코딩

범주형 X를 수치로 표현하지만, 변환 방식에 따라 모형의 의미가 달라집니다.

397쪽 · 개념+

① 이진 더미변수 (Dummy)

성별	남성 더미
남성	1
여성	0 (기준 범주)

남성 더미의 β는 여성 대비 남성의 로그 오즈 차이입니다.

연속형 설명변수(나이, 금액 등)는 더미로 바꿀 필요가 없습니다. 그대로 사용할 수 있습니다.

② 세 범주 예시: 서울·부산·대구

지역	서울 더미	부산 더미	라벨코딩
서울	1	0	0
부산	0	1	1
대구	0	0	2

절편이 있으면 k개 범주 → 보통 k−1개 더미를 사용합니다. 이 예시는 대구가 기준입니다.

명목변수의 0·1·2 라벨코딩을 일반 회귀의 연속값처럼 넣으면 인위적인 순서·간격을 가정하게 됩니다.

7 · 모형 비교

선형회귀 vs 로지스틱 회귀

가장 중요한 차이는 종속변수, 추정법, 계수 해석입니다.

397쪽 · 비교표

비교 항목	선형회귀 (Linear regression)	로지스틱 회귀 (Logistic regression)
분석 목적	연속값의 평균 예측	범주에 속할 확률 예측 및 분류
종속변수	연속형(Y)	이항모형은 0/1
모형식	Y = β₀ + β₁X + ε	ln[p/(1−p)] = β₀ + β₁X
계수 해석	X 1 증가 시 Y 평균 β만큼 변화	X 1 증가 시 로그 오즈 β 변화; 오즈 e^β배
추정법	주로 최소제곱법 (OLS)	최대우도추정법 (MLE)
주요 검정	t검정, F검정	Wald z검정, 우도비 χ² 검정 등

📍 선형회귀

예측 매출액 = 100 + 5X

X가 1 커지면 매출액 예측치가 5 증가

📍 로지스틱 회귀

logit(p) = −2 + 0.7X

X가 1 커지면 성공 오즈가 약 2.01배

8 · 추정과 검정

최대우도추정법(MLE)과 카이제곱검정

데이터를 가장 그럴듯하게 설명하는 계수를 고르고, 모형의 설명력이 향상됐는지 확인합니다.

397쪽

🧮 최대우도추정법

관측값 yᵢ(0/1)와 모형 확률 pᵢ가 주어질 때

L(β) = ∏ pᵢ^yᵢ (1−pᵢ)^1−yᵢ

우도 L가 가장 커지는 β를 추정합니다. 실제 계산은 로그우도 log L을 최대로 합니다.

이미 관측한 데이터를 ‘가장 잘 설명하는 모형 파라미터’를 찾는 방법입니다. 우도를 단순히 ‘모수의 확률’과 동일시하지 않습니다.

📊 어떤 유의성 검정을 볼까?

Wald z · 개별 계수β̂ / SE

우도비 χ² · 중첩모형 비교ΔDeviance

AIC · 후보 모형 비교−2logL + 2k

카이제곱검정은 대표적인 모형 비교 방법입니다. 그러나 로지스틱 분석의 모든 검정이 하나의 χ² 검정만으로 이루어지는 것은 아닙니다.

기출 15번에서는 ‘최소제곱법·쌍측검정·F검정·카이제곱검정’ 중 모형 검정 방법을 고르므로 정답은 ④ 카이제곱검정입니다.

9 · 오즈비 실습

오즈비 36 ≠ 확률이 36배

브라질과 한국의 가상 성공확률로 오즈·오즈비를 계산해 봅니다.

397쪽 · 예제

🎛 사건 발생 확률

브라질 성공확률0.80

한국 성공확률0.10

브라질

80%

한국

10%

제시된 확률은 교재의 계산 예시이며 실제 국가별 경기 성적의 통계적 예측치가 아닙니다.

📐 계산을 구분해서 읽기

브라질 오즈

4.00

p / (1−p)

한국 오즈

0.111

p / (1−p)

오즈비 OR

36.0

오즈 / 오즈

오즈비(OR)4 ÷ (1/9) = 36

확률비(RR)0.8 ÷ 0.1 = 8

교재의 “오즈비가 36이므로 확률이 36배 높다”는 해석은 부정확합니다. 정확히는 성공 오즈가 36배이며, 이 예시에서 성공확률 자체는 8배입니다.

10 · R 실습 ① 분석 설계

전립선 림프절 양성 여부 예측

boot 패키지의 nodal 자료에서 r에 대한 로지스틱 회귀를 수행합니다.

398쪽

📁 변수 구성

변수명	설명	역할
r	림프절 양성 여부	종속
age	환자 연령	후보 설명변수
stage	질병 진행 단계	설명
grade	종양 등급	후보 설명변수
xray	X-ray 결과	설명
acid	혈청 인산염 관련 수치	설명

💻 교재의 R 코드

library(boot)
data(nodal)
a <- c(2, 4, 6, 7)
data <- nodal[, a]
glmModel <- glm(r ~ ., data=data,
                family="binomial")
summary(glmModel)

실제 제시된 코드는 r, stage, xray, acid 네 열만 선택하여 분석합니다. 따라서 이 코드만으로는 ‘5개 후보 중 age와 grade를 유의하지 않아 제외했다’는 이전 선택 과정을 확인할 수 없습니다.

11 · R 실습 ① 출력 해석

stage·xray·acid는 모두 유의합니다

각 계수의 exp(β)를 계산하면 오즈의 변화 방향과 배수를 읽을 수 있습니다.

398쪽

모형 추정식

η = −3.0518 + 1.6453·stage
+ 1.9116·xray + 1.6378·acid

p = 1/(1 + e^−η)

독립변수의 다른 값은 고정했을 때 해석합니다.

세 계수 모두 양(+)의 값이고 p < .05이므로 성공 사건(양성=1)의 오즈와 양(+)의 관련이 있습니다.

R 회귀계수 요약

변수	Estimate	z	p	e^β ≈
(Intercept)	−3.0518	−3.624	.00029	—
stage	1.6453	2.255	.02414	5.18
xray	1.9116	2.460	.01390	6.76
acid	1.6378	2.172	.02983	5.14

Null deviance70.252

Residual deviance49.180

자유도(df)52 → 49

AIC57.18

e^β는 ‘한 단위 증가’의 오즈비입니다. stage·xray·acid의 실제 코딩·단위를 확인한 뒤 임상적으로 해석해야 하며, 계수만으로 인과관계를 주장할 수 없습니다.

12 · R 실습 ② iris

꽃받침 길이로 붓꽃 종류 예측

setosa와 versicolor만 남겨 이항 로지스틱 회귀를 적용한 예제입니다.

399쪽

💻 분석 코드

a <- iris[iris$Species == "setosa" |
          iris$Species == "versicolor", ]
b <- glm(Species ~ Sepal.Length,
         data = a, family = binomial)
summary(b)

종속변수 (Species)setosa=0
versicolor=1

설명변수Sepal.Length

이 코드는 R의 factor 수준 순서에서 첫 수준(setosa)을 기준으로 두 번째 수준(versicolor)의 확률을 모형화하는 예입니다. 필요하면 levels()와 relevel()로 확인·설정합니다.

📋 교재 출력에서 중요한 숫자

변수	Estimate	Std. Error	z	p
(Intercept)	−27.831	5.434	−5.122	3.02e−07
Sepal.Length	5.140	1.007	5.107	3.28e−07

ln[p/(1−p)] = −27.831 + 5.140X

170.7배e^5.140 ≈ 170.7 (오즈의 배수)

꽃받침 길이가 1단위 증가하면 다른 조건이 같을 때 versicolor 대 setosa의 오즈가 약 170.7배가 됩니다.

13 · R 출력 읽는 법

Null deviance와 Residual deviance

값 자체보다 ‘얼마나 감소했는지’와 자유도 차이에 주목합니다.

399쪽

📉 Iris 모형의 이탈도 감소

Null

138.629

Residual

64.211

ΔD = 138.629 − 64.211 = 74.418

자유도 차이: 99 − 98 = 1

중첩된 절편 모형과 예측변수 추가 모형을 비교하면, χ²(1)≈74.418로 설명변수를 추가했을 때 적합이 유의하게 개선됩니다.

📘 무엇을 뜻하나요?

Null deviance 절편만 있는 모형의 이탈도

Residual deviance 설명변수를 포함한 적합 모형의 이탈도

Deviance 감소 설명변수 추가로 이탈도가 얼마나 줄었는지

⚠️ 교재 설명 보완

Residual deviance 64.211 / df 98을 χ²에 대입한 p≈.997만으로 모형의 적합이 우수하다고 확정할 수는 없습니다.

개별 0/1 베르누이 자료에서는 잔차 이탈도의 χ² 근사·절대적합도 해석에 주의가 필요합니다. 예측력은 분류성능, 보정(calibration), 검증자료 등도 확인해야 합니다.

14 · 기출 데이터 해석

카드 체납(Default) 모형은 어떻게 읽을까?

10,000명 자료: 체납 여부 ~ 학생 여부 + 잔고 + 소득

400쪽 · 25회

📋 회귀계수 결과

설명변수	계수 β	p	해석
(Intercept)	−10.87	<2e−16	기준 상태의 로짓
studentYes	−0.6468	.00619	학생의 체납 오즈 감소
balance	+0.005737	<2e−16	잔고가 늘면 체납 오즈 증가
income	+0.000003033	.71152	5% 기준 유의하지 않음

모형식: logit(p) = −10.87 − 0.6468×studentYes + 0.005737×balance + 0.000003033×income

🎯 반드시 판단할 3가지

studentYes 오즈비e^−0.6468 ≈ 0.524

studentYes 방향오즈 약 47.6% 낮음

income 변수p=.712 → 비유의

선택지 ③
“잔고와 소득이 동일할 때, 학생이 비학생보다 체납확률이 높다.”

틀린 문장입니다. 학생 여부 계수는 음수입니다. 나머지 변수를 고정하면 학생의 체납 오즈와 확률은 더 낮습니다.

15 · 핵심개념 체크

기출 14번 · exp(β)의 의미

39회 기출 · 선택지를 눌러 채점과 해설을 확인하세요.

400쪽 · 문제 14

📝 문제

“다른 독립변수가 주어질 때 Xᵢ가 한 단위 증가하면, e^βᵢ는 성공(Y=1)의 (　)의 변화 배수를 의미한다.”

💡 정답·해설

왼쪽 보기를 선택하면 해설이 표시됩니다.

odds(X+1) / odds(X) = e^β

‘오즈비’도 e^β를 부르는 정확한 용어이지만, 교재의 문장처럼 무엇이 몇 배로 변하는가를 묻는 빈칸에는 ‘오즈’가 들어갑니다.

문제 문구에 따라 “e^β 자체의 이름”을 묻는다면 ‘오즈비’라고도 할 수 있습니다. 이 문항은 교재 정답 ②를 따릅니다.

16 · 핵심개념 체크

기출 15번 · 모형 검정 방법

30회 기출 · 로지스틱 회귀에서 대표적으로 쓰는 모형 검정은?

400쪽 · 문제 15

📝 문제

“로지스틱 회귀모형의 모형 검정 방법으로 알맞은 것은?”

💡 정답·해설

왼쪽 보기를 선택하면 해설이 표시됩니다.

G² = 2[log L(Full) − log L(Null)]

우도비 검정은 중첩된 모형의 로그우도 차이를 사용합니다. 적절한 조건에서 통계량은 근사적으로 χ² 분포를 따릅니다.

‘최대우도추정법’은 계수를 추정하는 방법이고, ‘우도비 카이제곱검정’은 모형을 비교·검정하는 방법입니다.

17 · 핵심개념 체크

기출 16번 · R 출력에서 부적절한 설명

25회 기출 · studentYes = −0.6468, p=.00619가 핵심입니다.

400쪽 · 문제 16

📝 문제 · 가장 부적절한 것은?

💡 정답·해설

왼쪽 보기를 선택하면 해설이 표시됩니다.

studentYes 계수−0.6468

studentYes 유의확률.00619 < .05

odds ratioe^−.6468 ≈ 0.524

R의 anova(model)는 함수로 실행 가능하지만, 기본적으로 순차적 분석표를 출력합니다. 우도비 χ² 검정을 명시하려면 anova(model, test="Chisq")가 더 분명합니다.

18 · 시험 실수 방지

교재에서 반드시 보완해서 기억할 6가지

암기 문장과 실제 통계학적 의미를 함께 확인합니다.

396–400쪽

⚠️ 잘못 외우기 쉬운 말

① “연속형 X는 무조건 더미로 바꾼다.”

② “n이 30 이상이면 로지스틱 가정 충족.”

③ “e^β배만큼 확률이 증가한다.”

④ “오즈비 36이면 확률 36배다.”

⑤ “Residual deviance p가 크면 적합 확정.”

⑥ “anova(model)이 바로 모든 χ² 결과다.”

✅ 정확한 개념

① 연속형 X는 보통 연속값 그대로 사용 가능

② 필요한 표본 규모는 사건 수·복잡도에 따라 다름

③ e^β는 오즈의 변화 배수

④ OR은 오즈의 비; 확률비(RR)와 다름

⑤ Deviance·예측성능·보정 등 종합 평가

⑥ LRT는 test="Chisq" 명시 또는 중첩모형 비교

추가로, 제공된 nodal 예제는 이미 r·stage·xray·acid를 선택한 코드입니다. 제공 코드만으로 age·grade의 단계적 제외 근거를 검증할 수는 없습니다.

19 · 1분 총정리

이 다섯 문장만 정확히 기억하세요

학습을 마친 뒤 기출 14~16번을 다시 풀어보면 이해 여부를 점검할 수 있습니다.

396–400쪽 총정리

📌 이론 공식 5선

예측하는 것p = P(Y=1|X)

오즈p / (1−p)

로짓ln[p/(1−p)]

로지스틱 확률1 / (1+e^−η)

계수의 오즈비e^β

🏆 기출 정답 복습

14② 오즈

15④ χ²

16③ 틀림

0/3나의 퀴즈 정답

β의 부호 → 오즈 방향 → e^β → 유의확률(p) → 모형 검정 순으로 읽으면 됩니다.

자료 범위: 사용자가 제공한 「PART 03 데이터 분석 / 5장 정형 데이터 마이닝」 396~400쪽 텍스트. 원문 취지를 유지하되 통계적으로 부정확한 해석은 정정·보완했습니다.

로지스틱 회귀분석Logistic Regression

딱 이 순서로 이해하면 됩니다

시험 키워드 ①

시험 키워드 ②

시험 키워드 ③

회귀분석인데 왜 분류에 사용할까요?

📘 개념 정의

🏨 관광 분야 적용 예시

확률 → 오즈 → 로그 오즈(로짓)

① 확률 (Probability)

② 오즈 (Odds)

③ 로짓 (Logit)

📌 로지스틱 회귀의 두 가지 동치 표현

β의 부호에 따라 S자 방향이 바뀝니다

🎛 직접 움직여 보는 계수

📈 확률곡선과 선택한 X

β가 아니라 eβ를 오즈의 배수로 읽습니다

성공 오즈 증가

오즈 변화 없음

성공 오즈 감소

✅ 올바른 문장

⚠️ 자주 나오는 오답

로지스틱 회귀의 가정과 주의사항

✅ 핵심 전제

🔧 실무 점검

더미변수화 · 원핫인코딩 · 라벨인코딩

① 이진 더미변수 (Dummy)

② 세 범주 예시: 서울·부산·대구

선형회귀 vs 로지스틱 회귀

📍 선형회귀

📍 로지스틱 회귀

최대우도추정법(MLE)과 카이제곱검정

🧮 최대우도추정법

📊 어떤 유의성 검정을 볼까?

오즈비 36 ≠ 확률이 36배

🎛 사건 발생 확률

📐 계산을 구분해서 읽기

전립선 림프절 양성 여부 예측

📁 변수 구성

💻 교재의 R 코드

stage·xray·acid는 모두 유의합니다

모형 추정식

R 회귀계수 요약

꽃받침 길이로 붓꽃 종류 예측

💻 분석 코드

📋 교재 출력에서 중요한 숫자

Null deviance와 Residual deviance

📉 Iris 모형의 이탈도 감소

📘 무엇을 뜻하나요?

⚠️ 교재 설명 보완

카드 체납(Default) 모형은 어떻게 읽을까?

📋 회귀계수 결과

🎯 반드시 판단할 3가지

기출 14번 · exp(β)의 의미

📝 문제

💡 정답·해설

기출 15번 · 모형 검정 방법

📝 문제

💡 정답·해설

기출 16번 · R 출력에서 부적절한 설명

📝 문제 · 가장 부적절한 것은?

💡 정답·해설

교재에서 반드시 보완해서 기억할 6가지

⚠️ 잘못 외우기 쉬운 말

✅ 정확한 개념

이 다섯 문장만 정확히 기억하세요

📌 이론 공식 5선

🏆 기출 정답 복습

로지스틱 회귀분석
Logistic Regression

β가 아니라 e^β를 오즈의 배수로 읽습니다