01 · DATA
입력변수
스케일 · 왜도 · 범주형 인코딩
교재 p.44019 DAY · 정형 데이터 마이닝
인공신경망 모형 구축 시
고려사항 5가지
Artificial Neural Network · 시험 핵심개념, 비교표, 시각화, 학습모드 체험, 과대적합 이해, 기출문제를 한 페이지로 정리했습니다.
입력 전처리가중치 초기화학습 방식은닉층 설계일반화 성능
원교재 440–442쪽첨부 PDF 63–65페이지 · 교재 인쇄 쪽수 기준
✓
전체 구조 5 KEY DECISIONS
교재 p.440–44202 · WEIGHTS
초기 가중치
대칭성 · 기울기 · 안정적 시작
교재 p.44003 · TRAINING
학습모드
온라인 · 무작위 · 배치
교재 p.440–44104 · CAPACITY
은닉구조
은닉층 · 은닉노드 · 복잡도
교재 p.44105 · GENERALIZATION
과대적합 방지
조기종료 · 가중치 감소
교재 p.44101
입력변수 INPUT VARIABLES
교재 p.440입력변수의 종류와 분포, 크기는 학습 안정성과 예측 성능에 영향을 줍니다.
📊
연속형 변수 · Continuous
✓스케일 조정: 변수 간 값의 범위가 크게 다르면 표준화(Z-score) 또는 정규화(Min–Max)를 검토합니다.
✓왜도 완화: 소득처럼 오른쪽 꼬리가 긴 분포는 로그변환을 고려합니다.
✓범주화: 경우에 따라 구간으로 나눌 수 있지만 정보 손실 위험이 있습니다.
고객 소득
100, 200, 10,000→로그변환
극단적 차이 완화
100, 200, 10,000→로그변환
극단적 차이 완화
로그변환은 양수 자료에 적합하며, 0이 포함될 때는 자료 특성에 따라 log(1+x) 등을 검토합니다.
🏷️
범주형 변수 · Categorical
✓인코딩: 이진 범주는 0/1 등으로, 다범주형은 원-핫 인코딩으로 표현할 수 있습니다.
✓희소 범주: 관측치가 지나치게 적은 범주는 학습이 불안정할 수 있어 점검합니다.
✓빈도 균형: 범주 빈도가 같아야 하는 필수조건은 아닙니다.
방문 유형
휴양 · 문화 · 레저→원-핫 벡터
(1,0,0) 등
휴양 · 문화 · 레저→원-핫 벡터
(1,0,0) 등
숫자 1·2·3을 단순 부여하면 범주 사이의 크기·순서를 잘못 암시할 수 있습니다.
실무 적용 포인트
표준화 기준(평균·표준편차), 범주형 인코딩 규칙은 훈련 데이터에서 학습하고 검증·테스트 데이터에 동일하게 적용하여 데이터 누수를 방지합니다.
02
가중치 초기값과 다중 최소값 문제 WEIGHT INITIALIZATION
교재 p.440왜 초기값이 중요한가?
✓신경망의 손실함수는 일반적으로 비볼록(Non-convex)이므로 초기값에 따라 학습 경로와 최종 성능이 달라질 수 있습니다.
✓모든 가중치를 동일한 0으로 두면 같은 층의 뉴런이 동일하게 학습되는 대칭성 문제가 생길 수 있습니다.
✓초기값이 지나치게 크면 시그모이드 포화 및 기울기 소실 등의 문제가 생길 수 있습니다.
작은 무작위 초기값적절한 분산다중 최소값 · 안장점
초기화 방법 비교
| 방법 | 권장 맥락 |
|---|---|
| Xavier / Glorot | tanh, sigmoid 계열에서 자주 사용되는 초기화 |
| He / Kaiming | ReLU 계열에서 널리 사용 |
| 전부 0 | 대부분의 다층 은닉층 가중치 초기화로 부적절 |
| 지나치게 큰 값 | 포화·불안정한 학습 위험 |
교재 표현 보완 · 시험에서 혼동 주의
“가중치가 0이면 시그모이드 함수가 선형이 된다”는 설명은 수학적으로 정확하지 않습니다. 시그모이드 함수 자체는 여전히 비선형이며, 입력의 가중합이 0이면 시그모이드 출력은 0.5입니다(편향도 0인 경우). 핵심은 0으로 동일 초기화할 때 발생할 수 있는 대칭성 문제입니다.
03
학습모드 비교 LEARNING MODES
교재 p.440–441| 방식 | 관측값 투입 | 가중치 갱신 | 핵심 특징 |
|---|---|---|---|
| 온라인 학습 Online / sequential SGD p.440 | 원래 순서대로 1개씩 | 매 관측값마다 | 즉각적인 갱신, 관측 순서에 민감할 수 있음 |
| 확률적 학습 Shuffled SGD p.441 | 무작위 순서로 1개씩 | 매 관측값마다 | 순서 편향 완화에 유리 |
| 배치 학습 Full-batch GD p.441 | 전체 훈련자료 한꺼번에 | 전체 자료 처리 후 | 전체 평균 기울기 사용, 큰 데이터에서는 메모리 부담 |
| 미니배치 학습 Mini-batch SGD 보충 설명 | 일정 크기의 작은 묶음 | 묶음마다 | 현대 딥러닝에서 일반적인 절충 방식 |
명칭 주의
제공 교재의 ‘온라인’과 ‘확률적’은 데이터 투입 순서로 구분한 설명입니다. 현대 문헌에서는 온라인 학습과 확률적 경사하강법(SGD)이 겹쳐 쓰이기도 하며, 용어가 항상 배타적인 것은 아닙니다.
🎮 학습모드 작동 방식 체험
동일한 6개 자료 A~F를 각 방식으로 처리한다고 가정한 단순 도식입니다. 학습 속도의 실제 차이를 측정한 실험 결과는 아닙니다.
ABCDEF
온라인 학습 · A → B → C → D → E → F 순서대로 처리하고, 관측값마다 가중치를 1회 갱신합니다. (이 예에서는 6회 갱신)
05
과대적합 문제와 방지 OVERFITTING & REGULARIZATION
교재 p.441과대적합이란?
모형이 훈련 데이터에 지나치게 맞추어져 새로운 데이터에서 일반화 성능이 떨어지는 현상입니다. 훈련 손실은 계속 감소해도 검증 손실이 다시 증가할 수 있습니다.
① 조기종료 · Early Stopping
검증 손실이 일정 기간 개선되지 않을 때 학습을 멈추고, 검증 성능이 가장 좋았던 시점의 가중치를 복원합니다.
② 가중치 감소 · Weight Decay
큰 가중치에 벌점을 부여하는 규제 방법입니다. L2 벌점은 능형회귀(Ridge Regression)와 유사하며, 옵티마이저에 따라 구현 방식이 다를 수 있습니다.
학습 반복에 따른 손실 변화 · 개념도
훈련 손실검증 손실최적 지점
훈련 손실 —검증 손실 —
그래프와 수치는 학습 원리 설명용 가상 예시로, 실제 모델의 학습 결과가 아닙니다.
+
보충 학습 팁 DEEP LEARNING · RATE · SATURATION
교재 p.441🧠
딥러닝 · Deep Learning
여러 층의 표현을 학습하는 심층 신경망 기반 기계학습 접근법입니다. 이미지·음성·자연어 등 다양한 분야에 활용됩니다.
소프트웨어: PyTorch, TensorFlow/Keras 등. Caffe, Theano, MXNet은 교재에 소개된 역사적 기술 사례로 구분하여 학습합니다.
🎚️
학습률 · Learning Rate
가중치 업데이트의 한 번에 이동하는 정도를 결정합니다. 너무 크면 진동·발산, 너무 작으면 학습 지연이 나타날 수 있습니다.
학습률 감소(Decay)는 흔한 전략이지만, 반드시 0으로 수렴시켜야 하는 보편적 규칙은 아닙니다.
⚠️
포화 · Saturation
시그모이드·tanh에서 입력 절댓값이 매우 크면 활성화함수의 기울기가 작아져 기울기 소실로 학습이 느려질 수 있습니다.
입력 스케일 조정, 적절한 초기화, ReLU 계열 활성화함수 등이 도움이 될 수 있습니다.
?
핵심개념 체크 PAST EXAM · PRACTICE QUIZ
교재 p.442첫 번째 문항은 원교재 442쪽의 ‘43회 기출’입니다. Q2–Q5는 이해를 돕기 위해 별도 작성한 응용문항이며, 원교재의 442쪽 문제는 아닙니다.
시험 직전 5문장 암기
입력변수스케일·왜도·인코딩
초기화랜덤·Xavier·He
학습모드갱신 시점과 순서
은닉구조용량·일반화의 균형
과대적합Early Stop·Weight Decay