서포트 벡터 머신
Support Vector Machine
직선을 아무렇게나 긋지 않습니다.
두 집단 사이의 여유 공간(마진)을 가장 크게 만드는 경계를 찾습니다.
SVM은 ‘분류선’을 어떻게 선택할까?
같은 두 집단을 나누는 선은 여러 개입니다. SVM은 여유 폭이 넓은 경계를 선택합니다.
❌ 단지 두 집단만 구분하는 경계
집단을 구분할 수는 있지만 일부 점에 너무 가까워 새 데이터의 작은 변화에도 취약할 수 있습니다.
✅ 여유 공간을 최대로 확보한 경계
두 집단에서 경계에 가장 가까운 점을 기준으로 안전한 폭을 넓힙니다.
경계선의 각도를 바꾸면 마진은?
조절 막대를 움직여 보세요. 분리 가능할 때 양쪽 데이터 사이의 최소 여유 폭이 어떻게 달라질까요?
🔧 직접 조절
※ 점과 선을 이용한 교육용 기하 실습입니다. 실제 SVM 학습은 데이터 및 제약조건을 함께 최적화합니다.
3가지 용어만 구분하면 SVM이 보인다
분류 경계, 경계를 결정하는 점, 그리고 경계의 여유 폭
결정 초평면
두 집단을 나누는 분류 경계입니다. 2차원에서는 선, 3차원에서는 면으로 생각하면 쉽습니다.
서포트 벡터
결정 경계에 가장 가까운 데이터 점입니다. 경계의 위치와 방향을 결정하는 핵심 사례입니다.
마진
결정 경계와 가까운 데이터 사이의 여유 거리입니다. 두 마진 경계 사이의 전체 폭도 마진 폭이라고 부릅니다.
정확한 개념: 서로 선형 분리 가능한 하드 마진 SVM의 이상적 설명입니다. 실제 데이터가 겹치면 일부 오류를 허용하는 소프트 마진 SVM을 사용합니다. 이해 보충
새 고객은 어느 집단일까?
분류 경계를 학습한 뒤 새로 들어온 관측치를 어느 쪽에 위치하는지에 따라 예측합니다.
새 데이터(보라색 별)를 그래프 안에서 클릭하여 옮길 수도 있습니다.
📍 예측 결과
관광상품 구매 여부를 분류할 때, 여행 선호도와 과거 예약 행동을 입력 변수로 사용하고 신규 고객이 어느 집단에 가까운지 예측할 수 있습니다. (실제 연구 자료가 아닌 설명용 사례)
※ 단순 2차원 시연입니다. 실제 SVM은 여러 특성을 동시에 고려하며, 거리의 의미는 입력 변수의 스케일에 영향을 받습니다.
둥근 경계는 어떻게 만들까? 커널 함수
선형 경계로 구분하기 어려운 데이터도, 비선형 커널을 통해 분리할 수 있습니다.
📌 같은 데이터를 다른 방식으로 분리
직선 하나로는 가운데 집단과 그 주변을 에워싼 집단을 완전히 구분하기 어렵습니다.
🔁 원래 공간 → 새로운 특징 공간
원래 특징
특징 변환
선형 분리
특징을 고차원으로 실제 계산하여 모두 저장하지 않고도, 그 공간에서의 내적을 커널 함수로 계산해 비선형 경계를 학습합니다.
시험 핵심: 커널 함수의 역할은 단순한 차원 축소나 잡음 제거가 아닙니다. 비선형 패턴을 구분하도록 돕습니다.
SVM과 커널 함수의 장점·단점
교재에서 제시한 비교를 구조화했습니다. 성능은 데이터·설정·평가 방법에 따라 달라집니다.
✓ SVM의 장점
- 분류와 예측(회귀)에 활용 가능
- 저차원과 고차원 데이터에 적용 가능
- 좋은 분리 경계를 찾으면 예측력이 높을 수 있음
- 커널 트릭으로 비선형 데이터도 학습 가능
- 교재는 신경망 대비 과적합 위험이 낮은 편이라고 소개
! SVM의 단점
- 데이터 전처리와 설정값에 성능이 민감할 수 있음
- 왜 그 예측이 나왔는지 직관적 해석이 어려움
- 대규모 데이터에서는 학습 시간과 메모리 부담
- 커널 선택에 따라 계산량과 결과가 달라질 수 있음
✓ 커널 함수의 장점
- 직선으로 구분하기 힘든 패턴 학습
- 고차원 특징을 명시적으로 전부 생성하지 않고 계산 가능
! 커널 함수의 단점
- 적절한 커널과 하이퍼파라미터 선택 필요
- 복잡한 커널은 계산 비용과 튜닝 부담이 증가
C와 γ(감마)는 무엇을 조절하나?
교재 405쪽에 언급된 하이퍼파라미터를 이해하기 위한 보충 설명입니다.
오분류를 얼마나 강하게 벌점 줄까?
C가 크면 훈련오류에 엄격해지고, 작으면 오분류를 상대적으로 더 허용하여 넓은 마진을 선호합니다. 다른 조건이 같을 때의 일반적 경향입니다.
한 데이터 점이 주변에 얼마나 영향을 줄까?
γ가 크면 각 점의 영향 범위가 좁아져 경계가 복잡해질 수 있고, 작으면 영향이 넓어져 경계가 부드러워질 수 있습니다. 주로 RBF 커널에 해당합니다.
※ 이 화면의 막대는 설명 문장을 바꾸는 조절기입니다. 실제 SVM 모형을 학습하거나 정확도를 추정하지 않습니다.
교재 기출문제 18번·19번
정답을 먼저 선택하면 해설이 나타납니다. 실제 교재 내용과 정답을 반영했습니다.
SVM에 대한 설명 중 틀린 것은?
SVM의 커널 함수는 어떤 역할을 할까?
10초 복습 — 빈칸을 떠올려 보세요.
시험 직전, SVM 전체 구조 한눈에 보기
교재 404–405쪽의 원리·용어·장단점·커널·기출을 하나의 흐름으로 정리했습니다.
핵심 공식보다 중요한 4가지 구분
| 용어 | 기억할 내용 |
|---|---|
| Hyperplane | 분류 경계 |
| Support Vector | 경계에 가장 가까운 학습점 |
| Margin | 경계 주변의 여유 폭 |
| Kernel | 비선형 관계를 다룰 수 있게 하는 함수 |
교재의 마지막 점검
SVM은 저차원과 고차원에 적용 가능하고, 분류와 회귀에 쓰이지만 대규모 데이터에서는 느릴 수 있습니다.
직선으로 분리할 수 없는 데이터에 커널이 도움을 줍니다. C·γ 등 매개변수와 전처리가 중요합니다.