ADsP 5장 인공신경망 분석(ANN)

5장 정형 데이터 마이닝 · 핵심 학습자료

인공신경망 분석 ANN

원문 교재 433–445쪽 · 첨부 PDF 56–68쪽

인간의 신경망에서 아이디어를 얻어, 입력 신호를 연결 가중치로 처리하고 오차를 줄이도록 학습하는 예측모형. 구조를 이해하면 퍼셉트론·활성화함수·역전파를 한 번에 정리할 수 있습니다.

#퍼셉트론#은닉층#가중치#ReLU#역전파

①

원리 이해

ANN·뉴런·퍼셉트론의 의미 설명

②

설계 판단

은닉층·노드·입력변수 선택

③

과정 해석

활성화·손실·역전파 구분

④

실습·시험

R 분류예측 및 핵심 문제

전체 목차 · 항목을 누르면 해당 페이지로 이동

쪽수는 첨부 PDF에 인쇄된 교재 쪽수입니다. 왼쪽 목차·상단·하단에서 확인할 수 있습니다. 일부 계산기와 R 실습, 추가 퀴즈는 교재 개념에 따라 별도로 구성했습니다.

학습 순서: 왜 필요한가 → 어떻게 연결되는가 → 왜 비선형을 풀 수 있는가 → 어떻게 가중치를 학습하는가

01 · DEFINITION

인공신경망이란?

Artificial Neural Network: 다수의 뉴런(노드)을 연결해 입력과 출력 사이의 패턴을 학습하는 모형

교재 433–435쪽첨부 PDF 56–58쪽

01 / 개념

🧠

생물학적 영감

뇌의 뉴런·연결이라는 아이디어를 참고합니다. 실제 뇌를 그대로 복제한 모델은 아닙니다.

🔗

수치적 연결

입력값에 가중치(weight)를 곱하고 편향(bias)을 더해 노드에서 계산합니다.

🎯

오차 최소화

예측과 정답의 차이를 손실함수로 평가하고, 학습 과정에서 매개변수를 갱신합니다.

관광 데이터 예시: 예약 취소 여부 예측

입력 변수 X예약일수 · 숙박기간 · 과거취소

→

ANN 학습가중치 × 입력 + 편향
비선형 활성화

→

결과 ŷ취소 확률 0~1
분류 기준으로 최종 판단

분류(Classification)
예약 취소 / 유지, 이탈 / 유지처럼 범주를 예측합니다.

회귀(Regression)
관광객 지출액·방문수요처럼 연속적인 수치를 예측할 수도 있습니다.

시험 핵심: ANN은 지도학습 분류·회귀에 활용되며, 여러 층과 비선형 활성화함수를 통해 복잡한 패턴을 표현합니다.

02 · ARCHITECTURE

입력층 → 은닉층 → 출력층

노드는 정보를 계산하는 단위, 연결선의 가중치는 학습으로 조절하는 수치입니다.

교재 435–437, 441쪽첨부 PDF 58–60, 64쪽

02 / 구조

입력 노드 3개 은닉 노드 4개 출력 노드 2개

입력층 Input Layer

특성값을 받는다

독립변수(설명변수)를 신경망에 전달합니다. 입력층 자체가 항상 복잡한 계산을 하는 것은 아닙니다.

은닉층 Hidden Layer

중간 특징을 학습

가중합과 활성화함수를 통해 데이터의 비선형적 관계를 표현합니다.

출력층 Output Layer

예측값을 만든다

이진분류·다중분류·회귀에 따라 노드 수와 출력 활성화함수가 달라집니다.

암기: 은닉층(Hidden layer)은 중간 계산 단계, 은닉노드(Hidden node)는 은닉층 안의 개별 계산 단위입니다.

03 · NEURON CALCULATOR

뉴런은 어떻게 계산할까?

아래 값을 움직이면, 가중합과 시그모이드 출력이 즉시 바뀝니다.

교재 436, 438쪽첨부 PDF 59, 61쪽

03 / 직접 조작

z = w₁x₁ + w₂x₂ + b → ŷ = σ(z) = 1 / (1 + e^−z)

입력과 가중치 조절

입력 x₁ 1.0

입력 x₂ 0.5

가중치 w₁ 1.2

가중치 w₂ -0.8

편향 b 0.2

계산 결과

z = 1.2×1.0 + (−0.8)×0.5 + 0.2 = 1.00

시그모이드 출력 σ(z)0.731분류 기준 0.5 적용 시: 1

왜 활성화함수를 사용할까?
단순 가중합 뒤에 비선형 변환을 넣어 신경망이 복잡한 관계를 학습하도록 합니다.

Weight · 가중치

각 입력이 계산에 얼마나 크게 기여하는지 결정하는 학습 매개변수

Bias · 편향

입력의 가중합에 더하는 값으로, 활성화가 일어나는 위치를 조절

Activation · 활성화

가중합을 비선형적으로 변환해 다음 층에 전달

시그모이드는 0~1 사이 값을 출력합니다. 이진분류의 출력층에서 사용할 수 있지만, 모든 층에서 반드시 사용하는 것은 아닙니다.

04 · HISTORY

ANN의 발전: 퍼셉트론에서 딥러닝까지

기본 개념과 역사적 기여를 구분해 이해해 봅시다.

교재 434쪽첨부 PDF 57쪽

04 / 발전사

1943McCulloch & Pitts신경세포의 논리적 계산 모형 제안

1949Hebb연결강도의 학습 원리 제시

1958Rosenblatt퍼셉트론 대표 논문 발표

1969Minsky & Papert단층 퍼셉트론의 표현 한계 분석

1982Hopfield연상기억형 재귀 신경망 연구

1986Rumelhart·Hinton·Williams역전파 학습 방법을 널리 알린 대표 논문

단층 퍼셉트론의 한계

단일 선형 경계만으로는 XOR 분리가 어려움

고전적인 단층 퍼셉트론은 선형 분리 가능한 분류에 적합합니다. 비선형 문제가 왜 어려운지 이해하는 대표 사례가 XOR입니다.

다층 퍼셉트론의 발전

은닉층 + 비선형 활성화 + 역전파

신경망 내부에 표현을 학습하는 은닉층을 두고, 손실에 따른 기울기를 역방향으로 계산해 다층 모형을 효율적으로 훈련합니다.

교재 보완 포인트 · Rosenblatt의 대표 퍼셉트론 논문은 1958년이며, Hopfield의 대표적 업적은 역전파보다 연상기억형 신경망에 관련됩니다. 역전파의 1986년 대표 논문 저자는 Rumelhart, Hinton, Williams입니다.

시험 연결: 퍼셉트론 → XOR 한계 → 다층 구조와 역전파 → 심층 신경망의 흐름으로 기억합니다.

05 · NONLINEAR PATTERN

XOR: 왜 은닉층이 필요할까?

XOR(배타적 논리합)는 두 입력이 다를 때 1, 같을 때 0입니다.

교재 434, 437쪽첨부 PDF 57, 60쪽

05 / XOR

XOR 진리표

x₁	x₂	정답 y
0	0	0
0	1	1
1	0	1
1	1	0

한 개의 직선으로 두 클래스(0과 1)를 구분할 수 없습니다.

2차원 좌표로 보면?

다층 퍼셉트론의 해결 아이디어

입력 x₁, x₂두 조건의 상태

→

은닉노드 ①OR 특성 추출

은닉노드 ②AND 특성 추출

→

출력 XOROR이면서 AND가 아님

위의 논리 결합은 개념 설명용입니다. 실제 학습에서는 이런 내부 표현을 가중치와 활성화함수로 구현합니다.

정확한 표현: 고전적 단층 퍼셉트론은 XOR를 해결하지 못하지만, 비선형 활성화함수를 가진 다층 퍼셉트론은 해결할 수 있습니다.

06 · ACTIVATION FUNCTIONS

시그모이드 · Tanh · ReLU 비교

함수를 선택해 모양과 출력 범위를 비교해 보세요.

교재 438–439쪽첨부 PDF 61–62쪽

06 / 인터랙티브

입력 z 1.0

SIGMOID

시그모이드 함수

σ(z) = 1 / (1 + e⁻ᶻ)

출력값이 0~1입니다. 이진분류의 출력층에서 많이 사용되지만, 입력의 절댓값이 크면 기울기가 작아질 수 있습니다.

선택한 z에서의 출력0.731

개념: 활성화함수의 비선형성이 다층 신경망의 표현력을 높입니다.

함수	출력 범위	대표적 용도 / 특징
Sigmoid	(0, 1)	이진분류 출력층, 큰 양·음 입력에서는 포화 가능
Tanh	(−1, 1)	0을 중심으로 대칭인 변환, 포화 문제 가능
ReLU	[0, ∞)	은닉층에서 널리 사용, 음수 입력은 0으로 처리

ReLU(z) = max(0, z). 단, ReLU도 항상 최선은 아니며 출력층 함수는 분석 목적에 맞게 선택해야 합니다. (다중분류: Softmax를 자주 사용)

07 · LEARNING PROCESS

역전파: 오차를 이용해 가중치를 학습

순전파는 예측을 만들고, 역전파는 오차를 줄이기 위한 기울기를 계산합니다.

교재 435–437, 440–441쪽첨부 PDF 58–60, 63–64쪽

07 / 학습

초기화

연결 가중치·편향을 적절히 초기화합니다.

Initialize

순전파

입력값에서 시작해 예측값 ŷ를 계산합니다.

Forward Pass

손실 계산

실제 y와 예측 ŷ를 손실함수로 비교합니다.

Loss

역전파·갱신

기울기를 계산하고 최적화기로 가중치를 갱신합니다.

Backprop + Update

학습 과정을 한 줄로

실제값 y정답 데이터

↘

예측 ŷ순전파 결과

→

손실 L(y,ŷ)예측 오차 평가

→

∂L/∂w역전파 기울기 계산

w_new = w_old − η × (∂L/∂w) [η: 학습률 Learning Rate]

예: 실제값 1, 예측값 0.7
예측 오차를 평가한 뒤 손실을 줄이는 방향으로 가중치를 조정합니다.

주의
역전파 자체는 기울기를 계산하는 절차이고, 경사하강법·Adam 등의 최적화기가 가중치를 갱신합니다.

핵심 공식보다 중요한 흐름: 예측 → 오차 평가 → 오차의 원인(기울기) 계산 → 가중치 수정 → 반복

08 · MODEL DESIGN

ANN 모형 구축 시 고려사항

과대적합을 줄이고 일반화 성능을 높이기 위해 구조·데이터·학습 설정을 함께 점검합니다.

교재 440–441쪽첨부 PDF 63–64쪽

08 / 설계

데이터 입력

수치화와 스케일링

연속형은 원칙적으로 그대로 사용할 수 있으며, 필요하면 표준화합니다. 범주형은 원-핫 인코딩 등의 수치화가 필요합니다.

가중치 초기화

적절한 무작위 초기화

모든 연결을 동일한 0으로 두는 방식은 대칭성 문제를 초래할 수 있습니다. Xavier·He 초기화 등이 대표적입니다.

모형 복잡도

은닉층 수와 노드 수

너무 단순하면 과소적합, 너무 복잡하면 과대적합 가능성이 있습니다. 검증 성능으로 결정합니다.

과소적합 Underfitting

훈련 성능 낮음검증 성능 낮음

복잡한 관계를 충분히 학습하지 못한 상태. 모형 표현력·특성·학습량을 살펴봅니다.

과대적합 Overfitting

훈련 성능 높음검증 성능 상대적 저하

훈련 자료에 지나치게 적응한 상태. 정규화·조기종료·데이터 확보·구조 조절 등을 고려합니다.

교재의 설명과 현대적 실무 권장 비교

교재 표현	정확한 이해
입력변수를 구간화하여 범주형으로 이산화	항상 필요한 절차가 아닙니다. 연속형 입력은 스케일링해 사용하는 것이 일반적이며, 범주형은 수치 인코딩합니다.
가중치를 0에 가까운 값에서 시작해 높임	초기화와 학습 갱신은 별개입니다. 가중치는 양·음 방향 모두 조정되며, 모두 같은 0으로 초기화하는 것은 일반적으로 피합니다.
은닉층은 하나, 노드는 많이 시작해 감소	절대 규칙은 아닙니다. 하나의 은닉층도 충분할 수 있지만, 데이터·목적·모형 크기에 맞추어 검증으로 결정합니다.

실무 점검: 훈련/검증/시험 데이터 분리 · 데이터 누수 방지 · 스케일링 · 검증에 따른 하이퍼파라미터 선택

09 · R PRACTICE

R에서 ANN으로 붓꽃 품종 분류

기본 탑재 데이터 iris와 nnet 패키지로 다중분류를 연습합니다.

교재 433쪽 학습목표 · 추가 실습첨부 PDF 56쪽

09 / 복사 가능

R · nnet · 실행 예제

# install.packages("nnet")  # 최초 1회만 필요하면 실행
library(nnet)
set.seed(123)

# 1. 종별로 훈련 70% / 시험 30% 분할
idx_by_class <- split(seq_len(nrow(iris)), iris$Species)
train_idx <- unlist(lapply(idx_by_class, function(i) {
  sample(i, size = floor(0.7 * length(i)))
}))
train <- iris[train_idx, ]
test  <- iris[-train_idx, ]

# 2. 훈련 데이터 기준으로 표준화 (데이터 누수 방지)
cols <- names(iris)[1:4]
mu <- sapply(train[cols], mean)
sd_v <- sapply(train[cols], sd)
train[cols] <- scale(train[cols], center = mu, scale = sd_v)
test[cols]  <- scale(test[cols], center = mu, scale = sd_v)

# 3. 은닉노드 5개인 단일 은닉층 신경망
fit <- nnet(Species ~ ., data = train,
            size = 5, decay = 0.01,
            maxit = 500, trace = FALSE)

# 4. 시험자료로 예측·평가
pred <- predict(fit, newdata = test, type = "class")
table(실제 = test$Species, 예측 = pred)
mean(pred == test$Species)

입력 X

꽃받침·꽃잎 특성 4개

Sepal.Length · Sepal.Width · Petal.Length · Petal.Width

출력 Y

붓꽃 품종 3개

setosa / versicolor / virginica

주요 옵션

size은닉노드 수decay가중치 감쇠(정규화)maxit최대 반복 횟수type='class'예측 클래스

주의
정확도는 분할·초기값·옵션에 따라 달라집니다. 특정 정확도를 보장하지 않습니다.

실습 순서: 훈련/시험 분리 → 훈련 자료로만 전처리 기준 산출 → 신경망 학습 → 시험 자료 예측 → 혼동행렬·정확도

10 · KEY TAKEAWAYS

한 장으로 끝내는 ANN 핵심 정리

서로 헷갈리기 쉬운 용어를 비교하면서 마무리합니다.

교재 433–441쪽첨부 PDF 56–64쪽

10 / 요약

구조

입력 → 은닉 → 출력

가중치가 연결을 결정

비선형성

활성화함수

Sigmoid · Tanh · ReLU

학습

역전파

손실의 기울기 계산

한계

과대·과소적합

검증 데이터로 모형 평가

시험 암기용 비교표

구분	핵심 정의	헷갈리기 쉬운 점
퍼셉트론	입력의 가중합을 계산해 결과 생성	고전적 단층 퍼셉트론은 XOR를 해결하지 못함
은닉층 / 은닉노드	중간 계산 단계 / 그 안의 개별 계산 단위	층의 수와 노드의 수는 다른 개념
활성화함수	가중합에 비선형 변환 적용	시그모이드가 모든 층의 유일한 선택은 아님
역전파	오차 기울기의 효율적인 역방향 계산	가중치 갱신 자체와는 구별
하이퍼파라미터	학습률·층 수·노드 수·정규화 강도 등	학습으로 추정되는 가중치와는 구별

보완 및 확인 출처 · 교재 내용을 바탕으로 현대적 용법과 역사 부분을 교차 확인

Google · Neural Networks (기본 구조·학습)
Google · Activation Functions (Sigmoid·ReLU)
Google · Backpropagation (학습 과정)

최종 암기 문장: ANN은 은닉층과 활성화함수를 통해 복잡한 패턴을 표현하고, 역전파로 구한 기울기를 이용해 가중치를 조정하는 학습 모형이다.

11 · CHECK YOUR KNOWLEDGE

기출문제와 핵심개념 체크

정답을 고르면 바로 해설이 나타납니다. 31번은 교재 435쪽의 기출문항을 요약한 것이며, 아래 Q32~Q34는 이 HTML용 추가 연습문제입니다.

교재 435쪽 기출 31번 · 추가 연습첨부 PDF 58쪽

11 / 문제풀이

Q31. 다음 설명에 맞는 기법은? 30회 기출
데이터의 패턴을 발견하고 모형의 매개변수를 자동 학습하며 경험에 따라 성능이 향상된다.

Q32. 고전적 단층 퍼셉트론으로 해결하기 어려운 문제는?

Q33. 신경망의 비선형성을 부여하는 대표 요소는?

Q34. 역전파(Backpropagation)의 핵심 역할은?

풀이 진행: 0 / 4문항 · 정답 0문항

정답 요약: 31번 ③ · 32번 ② · 33번 ④ · 34번 ①. 강의·자격시험 대비 핵심을 확인한 뒤, 앞 페이지에서 구조와 학습 흐름을 다시 보세요.