인공신경망의 특징과
활성화 함수
입력 신호 → 가중합 → 활성화 → 출력이라는 하나의 원리로 퍼셉트론 · 시그모이드 · ReLU · Softmax를 연결해 이해합니다.
인공신경망의 구조 교재 436쪽
신경망은 여러 뉴런이 연결되어 입력을 출력으로 변환합니다.
📥 신호의 흐름 교재 436쪽
특성값 전달
패턴 변환
최종 예측
- 입력 신호는 원자료의 특성값이나 다른 뉴런의 출력입니다.
- 연결 가중치(weight)는 입력 신호의 영향력을 조절합니다.
- 출력 신호는 최종 예측값이 되거나 다음 뉴런의 입력이 됩니다.
🔍 뉴런 한 개를 확대하면? 교재 436쪽
신경망의 뉴런(neuron)은 입력들을 가중합한 뒤 활성화 함수를 적용하는 계산 단위입니다.
뉴런의 계산 교재 436쪽
입력값과 가중치가 같아도 편향과 활성화 함수에 따라 최종 출력이 달라집니다.
계산식: 가중합과 활성화 교재 436쪽
🎚️ 실습: 뉴런 하나 직접 조절하기 436쪽 · 응용 실습
슬라이더를 조작하면 동일한 가중합에 대한 활성화 함수별 출력을 실시간 계산합니다.
단층 퍼셉트론과 XOR의 한계 교재 437쪽
퍼셉트론은 선형 결정 경계를 학습하지만 XOR은 단일 직선으로 분리할 수 없습니다.
📐 단층 퍼셉트론(Single-layer Perceptron) 교재 437쪽
- 선형 결합기(Linear Combiner): 입력을 가중합합니다.
- 하드 리미터(Hard Limiter): 임계값을 기준으로 0/1 또는 −1/+1을 출력합니다.
- 초평면(Hyperplane): n차원 공간을 둘로 나누는 (n−1)차원 결정 경계입니다.
학습데이터의 특징을 받음
가중합·임계값으로 분류
오분류를 줄이도록 가중치 조정
🧩 AND · OR · XOR의 차이 교재 437쪽
| x₁ | x₂ | 출력 y |
|---|
AND: 두 입력이 모두 1일 때만 1을 출력합니다.
🔓 XOR 문제를 어떻게 해결할까? 437쪽 · 보충 설명
단층 퍼셉트론의 결정 경계는 직선(2차원) 하나입니다. XOR에서는 양성(1) 점이 대각선에 놓여 음성(0) 점과 직선 하나로 분리되지 않습니다.
다층 퍼셉트론(MLP)은 은닉층과 비선형 활성화 함수를 활용해 여러 결정 경계를 조합합니다.
h₁ = ReLU(x₁ − x₂)
h₂ = ReLU(x₂ − x₁)
y = h₁ + h₂
x₁, x₂가 각각 0 또는 1일 때 정확히 XOR 출력을 만듭니다.
활성화 함수(Activation Function) 교재 438–439쪽
입력 가중합을 출력값으로 변환하여, 은닉층에 비선형 표현력을 제공합니다.
계단 함수 Step 교재 438쪽
임계값을 기준으로 출력을 갑자기 0 또는 1로 전환합니다. 일반적인 경사하강법 학습에 적합하지 않습니다.
부호 함수 Sign 교재 438쪽
출력을 +1 또는 −1로 구분합니다. 교재의 임계값 비교 예시와 연결됩니다.
시그모이드 Sigmoid 교재 438쪽
0~1 사이로 변환하므로 이진 분류의 확률형 출력에 활용합니다. 큰 |z|에서 기울기가 작아집니다.
ReLU Rectified Linear Unit 교재 439쪽
음수 입력은 0, 양수 입력은 그대로 출력합니다. 양수 영역에서 기울기가 1이라 학습에 유리합니다.
소프트맥스 Softmax 교재 439쪽
여러 클래스의 점수를 비교 가능한 확률형 값으로 변환하며 출력값의 합은 1입니다.
선형 함수 Linear 439쪽 · 기출 보기
입력 점수를 그대로 전달합니다. 연속형 값 예측의 출력층에서 흔히 사용합니다.
📊 상황별 활성화 함수 선택 438–439쪽 · 응용
| 사용 목적 | 주요 함수 | 출력 범위 / 성질 | 관광 데이터 사례 |
|---|---|---|---|
| 은닉층 | ReLU (대표적) | 0 이상, 비선형 특징 학습 | 관광객의 행동 패턴 학습 |
| 이진 분류 | Sigmoid | 0~1 사이 | 방문 여부 / 이탈 여부 |
| 상호배타적 다중 분류 | Softmax | 각 0~1, 전체 합 1 | 여행상품 유형 A/B/C 중 하나 |
| 다중 레이블 분류 | 각 출력에 Sigmoid | 레이블별 독립 점수 | 미식·자연·문화 선호 동시 예측 |
| 회귀 | Linear | 모든 실수 가능 | 여행 지출액 예측 |
분류 출력은 흔히 확률로 해석하지만, 예측확률이 실제 발생 비율과 잘 맞는지는 별도의 확률 보정(calibration) 검토가 필요할 수 있습니다.
Softmax 직접 계산해 보기 교재 439쪽 · 응용 실습
점수(logit)를 조절하면 클래스별 출력 비율이 달라지지만 항상 합계는 1입니다.
🎚️ 관광상품 추천 모델 예시 439쪽 · 응용 실습
모델이 세 여행상품 유형에 부여한 점수 z를 조절해 보세요. 숫자는 가상의 학습 예시입니다.
교재의 '사후확률 제공' 표현은 분류 모델 출력의 일반적 해석입니다. Softmax 자체가 확률 보정까지 보장하지는 않습니다.
📉 계산 결과 439쪽 · 응용 실습
시험에서 혼동하기 쉬운 개념 교재 437·439쪽
신경망이 커지거나 층이 깊어질 때 생기는 학습상의 문제를 정리합니다.
⚙️ 하이퍼파라미터와 모델 학습 교재 437쪽
은닉층이나 뉴런 수가 기본적으로 자동 결정되는 것은 아닙니다. 다만 AutoML 및 신경망 구조 탐색을 사용하면 자동으로 탐색할 수 있습니다.
↩️ 역전파와 기울기 소실 교재 437·439쪽
역전파(Backpropagation)는 출력층의 손실에 대한 미분 정보를 연쇄법칙으로 앞쪽 층까지 전달해 가중치 갱신에 필요한 기울기를 계산합니다.
기울기 소실(Vanishing Gradient)은 역전파 중 기울기가 작아져 앞쪽 층의 학습이 어려워지는 현상입니다.
핵심개념 체크 · 기출 3문제 교재 437·439쪽
교재의 문항을 풀고 정답과 해설을 즉시 확인하세요.
다음 중 신경망 모형에 대한 설명으로 가장 부적절한 것은?
출력값을 0과 1 사이로 변환하여 확률형 출력으로 해석할 수 있고 로지스틱 회귀와 유사한 활성화 함수는?
출력값이 여러 개이고 목표치가 상호배타적 다범주인 분류 문제에 사용하는 대표적 출력층 활성화 함수는?
원문의 깨진 수식·오탈자는 표준 표기법에 맞추어 정리했으며, 학습 편의를 위한 예시와 보충 설명을 추가했습니다.