인공신경망 모형 구축 시 고려사항

01 · 전체 학습지도 | 교재 440–442쪽 · PDF 63–65페이지

교재 440–442쪽PDF 63–65페이지

5장 · 정형 데이터 마이닝 / 인공신경망

좋은 신경망은
설계와 학습 설정에서 시작된다

입력자료 선정부터 가중치 초기화, 학습 방식, 은닉 구조, 과대적합 제어까지
모형의 예측력을 좌우하는 다섯 가지 의사결정

#입력변수#역전파#은닉층#과대적합#43회기출

🧩

01 · INPUT

입력 변수

인코딩·크기 조정·분포 점검

🎯

02 · INITIALIZATION

가중치 초기값

대칭성·경사 소실·수렴 안정성

🔄

03 · LEARNING

학습 모드

온라인·확률적·배치

🕸️

04 · ARCHITECTURE

은닉 구조

표현력과 모형 복잡도의 균형

🛡️

05 · GENERALIZATION

과대적합

조기종료와 가중치 감소

입력 품질 → 학습의 출발점 → 가중치 갱신 → 구조의 복잡도 → 새로운 데이터에서의 예측력

학습 핵심: 훈련데이터에서 점수가 높다는 사실만으로 좋은 모형이 되지는 않습니다. 검증데이터에서 안정적으로 작동하는가가 중요합니다.

02 · 입력 변수의 선택 | 교재 440쪽 · PDF 63페이지

01 / 입력 변수 · INPUT VARIABLES

신경망의 첫 단추는 입력 변수

변수의 유형, 규모, 분포를 확인하고 신경망이 처리하기 좋은 형태로 변환합니다.

교재 440쪽PDF 63페이지

교재 핵심

범주형 · CATEGORICAL

원칙: 수치 인코딩 + 범주별 빈도 확인

권장 확인각 범주의 관측치가 충분한가? 범주별 불균형이 심하지 않은가?

입력 형식이진변수는 0/1, 다범주는 원-핫 인코딩(One-hot Encoding)이 일반적

예시: 여행 유형

자연도시휴양→[1,0,0][0,1,0][0,0,1]

연속형 · CONTINUOUS

원칙: 스케일과 이상치·왜도 점검

권장 확인변수마다 수치 범위가 크게 다른가? 극단값이 학습을 지배하지 않는가?

대표 방법표준화(Standardization), 최소–최대 정규화(Min–Max Scaling), 필요시 로그변환

예시: 연령과 연소득

연령: 20~80소득: 2천만~10억→변수별 스케일 조정

① 변수 유형 확인

›

② 결측·희소범주·극단값 확인

›

③ 인코딩·변환·스케일링

›

④ 훈련자료 기준으로 전처리 학습

중요한 보완: 연속형 변수가 반드시 평균을 중심으로 대칭이어야 하는 것은 아닙니다. 심한 왜도나 극단값이 학습에 영향을 줄 때 변환을 검토하며, 범주형 변수도 모든 범주의 빈도가 동일해야 하는 것은 아닙니다.

03 · 전처리 실무 예시 | 교재 440쪽 · PDF 63페이지

01 / 입력 변수 · PREPROCESSING

소득은 로그변환, 범주는 인코딩

관광객 예측 모형에 투입할 입력자료를 준비한다고 가정해 봅시다.

교재 440쪽PDF 63페이지

적용 예시

① 오른쪽으로 긴 분포: 소득

원자료: 2천만~10억→log(소득) 또는 log1p(소득)

큰 값을 압축하는 데 도움이 됩니다. 실제 적용은 0·음수 유무와 해석 목적을 확인해야 합니다.

② 범주형 변수를 숫자 벡터로

관광 유형	자연형	도시형	휴양형
자연	1	0	0
도시	0	1	0
휴양	0	0	1

원-핫 인코딩: 순서가 없는 범주에 1, 2, 3을 부여하면 존재하지 않는 대소 관계를 암시할 수 있습니다.

이진 범주는 0/1 또는 맥락에 따라 −1/+1로도 표현할 수 있지만, 다른 입력과의 스케일 일관성을 함께 고려해야 합니다.

스케일 조정

Standardization

평균 0, 표준편차 1 기준으로 조정. 학습용 데이터의 통계량을 검증·시험자료에 동일 적용.

범주화

Binning

연속값을 구간으로 변환하는 선택지. 단, 정보가 소실될 수 있어 반드시 필요하지는 않음.

데이터 누수 방지

Train-only fit

변환·스케일 기준은 훈련자료로만 추정하고 나머지 자료에는 적용.

04 · 가중치 초기화 | 교재 440쪽 · PDF 63페이지

02 / 가중치 초기값 · INITIALIZATION

왜 모든 가중치를 0으로 시작하면 안 될까?

초기값은 뉴런의 대칭성, 활성화 함수의 민감도, 학습 안정성에 영향을 줍니다.

교재 440쪽PDF 63페이지

직접 조작

시그모이드의 모양을 바꿔 보세요

개념식: σ(wx) = 1 / (1 + e^−wx) · 입력 x ∈ [−4,4]

현재 가중치

1.0

x=0에서의 기울기 (w/4)

0.250

시험에서 구분할 세 가지

모든 가중치 0같은 층의 뉴런들이 대칭적으로 학습될 수 있어 문제. 시그모이드 함수 자체가 선형함수로 변하는 것은 아님.

적절한 초기화작은 랜덤값이나 Xavier/Glorot·He 초기화처럼 활성화 함수·층 규모를 반영한 방법을 사용.

너무 큰 초기값시그모이드가 포화영역에 들어가 기울기가 작아질 수 있고, 학습이 불안정해질 수 있음.

주의 · 국소 최솟값 / 안장점

손실함수는 비볼록일 수 있어 초기값이 다른 학습 경로·결과를 낳습니다. 현대 심층신경망에는 안장점 등도 중요합니다.

기억하기: “0으로 동일하게 시작”보다 “적절한 분산으로 대칭성을 깨기”가 핵심입니다.

05 · 학습 모드 비교 | 교재 440–441쪽 · PDF 63–64페이지

03 / 학습 모드 · UPDATE MODES

가중치를 언제, 얼마나 자주 바꾸는가?

교재의 온라인·확률적·배치를 비교하고, 오늘날 널리 쓰이는 미니배치까지 연결합니다.

교재 440–441쪽PDF 63–64페이지

비교표

모형에 관측치 4개를 넣는 상황

온라인 · Online / 순차적 갱신

1›갱신2›갱신3›갱신4

확률적 · Stochastic / 순서 무작위

3›갱신1›갱신4›2

전체 배치 · Full Batch / 한 번에 갱신

1234›일괄 갱신 1회

학습 방식 비교표

방식	한 번 갱신에 사용하는 양	특징
온라인	한 관측치	순차적으로 갱신, 순서의 영향
확률적(SGD)	한 관측치	순서 섞기, 갱신 변동성 존재
전체 배치	전체 데이터	업데이트 빈도 낮음, 비교적 안정된 경사
미니배치	일부 묶음	계산 효율성과 갱신 빈도의 절충

현대 실무: 미니배치 학습이 많이 사용됩니다. 딥러닝에서는 SGD라는 명칭이 미니배치 방식까지 포괄해 쓰이기도 합니다.

원문 이해의 범위: 온라인 방식이 항상 더 빠르거나 국소 최솟값에서 반드시 탈출하는 것은 아닙니다. 비정상성(Nonstationarity)에도 온라인 갱신이 적응에 도움이 될 수 있지만 별도 학습률·망각·드리프트 관리가 필요합니다.

06 · 은닉층·은닉노드 | 교재 441쪽 · PDF 64페이지

04 / 은닉 구조 · NETWORK CAPACITY

은닉층·은닉노드의 수 = 표현력과 복잡도

노드 개수를 조절하면 설명용 네트워크가 바뀝니다. 실제 최적 개수는 검증으로 결정합니다.

교재 441쪽PDF 64페이지

직접 조작

노드 수를 늘리거나 줄여 보세요

입력층(Input) → 은닉층(Hidden) → 출력층(Output)

은닉노드 수5

적음 · 과소적합 가능많음 · 과대적합 가능

대표 판단 기준

너무 적을 때표현력이 부족해 학습데이터의 구조도 충분히 학습하지 못할 수 있습니다(과소적합).

너무 많을 때매개변수가 많아져 과대적합 또는 학습 부담이 커질 수 있습니다.

은닉층 1개충분한 폭과 적절한 활성화 함수 등 조건 아래 넓은 함수군을 근사할 수 있습니다(범용 근사 정리).

실제 구조 선택문제의 난이도와 데이터 양, 계산 여건, 검증성능을 근거로 층·노드 수를 선택합니다.

Weight Decay: 노드를 넉넉히 두더라도 가중치 크기에 벌점을 주어 복잡도를 조절할 수 있습니다. 단, 최적 구조를 검증할 필요는 여전히 있습니다.

07 · 과대적합 해결 | 교재 441쪽 · PDF 64페이지

05 / 일반화 성능 · OVERFITTING

학습오차는 내려가는데 검증오차는 올라간다?

조기종료(Early Stopping)와 가중치 감소(Weight Decay)의 차이를 확인하세요.

교재 441쪽PDF 64페이지

직접 조작

학습 횟수를 움직이며 오차를 비교하세요

훈련오차검증오차

Epoch11

검증오차 최소 지점: 이 예시에서는 11회 전후가 조기종료 후보입니다.

두 가지 대표 대응책

방법 A

조기종료 · Early Stopping

훈련이 진행되며 검증오차가 개선되지 않으면 중단하고, 보통 최적 검증시점의 가중치를 사용합니다.

방법 B

가중치 감소 · Weight Decay

손실함수에 가중치 크기 관련 벌점을 주는 방식. 전통적인 L2 규제는 능형회귀(Ridge Regression)와 유사합니다.

핵심 구분: 조기종료는 언제 멈출지, 가중치 감소는 큰 가중치를 얼마나 억제할지에 관한 방법입니다.

※ 그래프의 곡선은 개념 학습용 가상 수치이며 실제 분석 결과가 아닙니다. 실무에서는 검증오차의 잡음을 고려하여 patience 등으로 조기종료를 구현합니다.

08 · 딥러닝·학습 팁 | 교재 441쪽 · PDF 64페이지

참고 / DEEP LEARNING · TRAINING TIPS

학습률과 포화를 함께 이해하기

원문 참고사항에 현대적 해석을 더한 보충 학습노트입니다.

교재 441쪽PDF 64페이지

보충 개념

📉

학습률 · Learning Rate

한 번의 가중치 갱신 폭을 조절하는 값입니다.

너무 큼 → 발산·진동 우려너무 작음 → 느린 학습

처음에 비교적 크게 시작해 점차 줄이는 스케줄을 쓰기도 하지만, 항상 0으로 수렴시켜야 하는 것은 아닙니다.

〰️

포화 · Saturation

시그모이드·tanh에서 입력의 절댓값이 커져 출력이 평평한 영역에 놓이면 기울기가 매우 작아질 수 있습니다.

큰 |가중합|작은 도함수경사 소실

적절한 초기화·스케일링, 활성화 함수 선택 등으로 완화합니다.

🧠

딥러닝 · Deep Learning

대체로 여러 표현 계층을 학습하는 머신러닝 접근으로, 심층신경망이 대표적입니다.

음성·영상자연어의료

교재에는 TensorFlow, Caffe, Theano, MXNet이 등장합니다. 현재 실습 예로는 TensorFlow/Keras와 PyTorch를 함께 알아두면 좋습니다.

학습률 조정의 직관

빠르게 이동→최적값 근처에서 세밀하게 조정→검증으로 종료 판단

포화의 직관

입력의 가중합 |z| 매우 큼→Sigmoid ≈ 0 또는 1→기울기 ≈ 0

09 · 원문 보완 정리 | 교재 440–441쪽 · PDF 63–64페이지

개념 정확도 / TEXTBOOK NOTES

암기 전 점검해야 할 5가지 표현

교재의 핵심 취지는 유지하면서 기술적으로 오해될 수 있는 문장을 명확히 합니다.

교재 440–441쪽PDF 63–64페이지

정확성 점검

① “연속형은 대칭 분포여야 한다”

바른 이해: 대칭 분포는 필수조건이 아닙니다. 극단값·왜도가 학습에 영향을 주는지 보고 변환 여부를 결정합니다.

② “가중치가 0이면 시그모이드가 선형이 된다”

바른 이해: 시그모이드 자체가 선형으로 바뀌지는 않습니다. 모든 가중치가 0이면 대칭성 때문에 학습이 제한될 수 있으며, 작은 가중합 주변에서만 국소 선형 근사가 가능합니다.

③ “은닉층은 가능하면 1개로 선택”

바른 이해: 단일 은닉층의 범용 근사 정리는 특정 조건의 표현 가능성을 뜻할 뿐, 항상 최선의 구조임을 뜻하지 않습니다.

④ “학습률은 0에 수렴시켜야 한다”

바른 이해: 학습률 감소는 유용한 전략 중 하나이며, 고정학습률·적응형 최적화 등 여러 선택지가 있습니다.

⑤ “작은 가중치가 포화를 일으킨다”

바른 이해: 전형적인 시그모이드 포화는 큰 절댓값의 가중합 때문에 나타납니다. 단순히 작은 가중치 자체가 포화의 원인은 아닙니다.

시험 준비: 기출의 핵심어는 우선 정확히 숙지하되, 실제 모형 구축·연구방법을 서술할 때는 위의 조건과 한계를 함께 설명하면 더 엄밀합니다.

10 · 43회 기출문제 | 교재 442쪽 · PDF 65페이지

핵심개념 체크 / 43회 기출 · 문항 35

인공신경망에서 가중치의 역할은?

정답이라고 생각하는 보기를 눌러 해설을 확인하세요.

교재 442쪽PDF 65페이지

1문항 · 4지선다

QUESTION 35

인공신경망 모형에서 가중치의 역할로 가장 적절한 것은?

WHY?

가중치는 각 입력의 영향을 조절합니다

입력 신호 x₁, x₂, …

→

가중합 ∑wᵢxᵢ+b

→

활성화 함수

힌트: 동일한 입력값이라도 연결 가중치의 크기와 부호에 따라 다음 뉴런에 주는 영향이 달라집니다.

출처: 제공된 교재 발췌, 43회 기출 문항 35. 교재 정답 ②.

11 · 최종 체크리스트 | 교재 440–442쪽 · PDF 63–65페이지

FINISH / 실전 설계 점검

신경망 모형 구축 최종 체크리스트

학습한 내용을 적용할 때 항목을 체크해 보세요. 체크 상태는 브라우저 새로고침 시 초기화됩니다.

교재 440–442쪽PDF 63–65페이지

마무리 복습

분석 전에 확인할 8가지

입력 변수
범주형 인코딩을 확인했다.규모·분포
스케일·결측·이상치를 점검했다.데이터 누수
훈련자료를 기준으로 전처리했다.가중치 초기화
0으로 동일하게 시작하지 않는다.학습 모드
배치 크기와 갱신 방식을 결정했다.은닉 구조
은닉층·노드 수를 검증으로 조절한다.일반화
검증오차·조기종료를 확인한다.규제
Weight Decay 등 적합성을 점검한다.

완료 상태0 / 8

최종 핵심 요약표

핵심 항목	한 줄 기억법
입력	유형에 맞게 인코딩하고 스케일을 맞춘다.
초기화	대칭성을 깨고 활성화에 맞춰 가중치를 시작한다.
학습 모드	한 개씩 / 묶어서 / 전체를 기준으로 갱신한다.
은닉 구조	너무 작으면 과소, 너무 크면 과대적합 우려.
과대적합	조기종료 + 규제 + 검증 데이터로 관리.
가중치 역할	입력 신호의 영향·강도를 조절한다.

최종 암기: “좋은 신경망 = 좋은 입력 + 적절한 초기화 + 알맞은 갱신 + 적절한 구조 + 일반화 검증”

정리 기준: 사용자가 제공한 『5장 정형 데이터 마이닝』 440–442쪽 발췌문. 정확한 학습을 위해 일부 문장을 현대 신경망 이론에 맞춰 보완했으며, 도식과 수치 그래프는 교육용 예시입니다.