데이터 분석 방법론을
흐름·표·사례로 이해하기
분석 방법론의 공통 원리부터 폭포수·프로토타입·나선형 모델, KDD 5단계, CRISP-DM 6단계까지 원문의 개념과 수행업무를 빠짐없이 연결했습니다.
개발·적용 모델
폭포수(Waterfall) · 프로토타입(Prototype) · 나선형(Spiral)
KDD 분석 절차
선택 → 전처리 → 변환 → 마이닝 → 해석·평가
CRISP-DM 프로세스
업무 이해부터 전개까지, 피드백을 허용하는 순환 구조
- 데이터 분석 방법론이 필요한 이유와 구성요소를 설명한다.
- 데이터 기반 의사결정의 장애요인과 프레이밍 효과를 구분한다.
- 세 가지 개발 모델의 진행 방식·위험·피드백 구조를 비교한다.
- 단계·활동·작업, WBS와 산출물의 관계를 설명한다.
- KDD 5단계, CRISP-DM 6단계의 주요 수행업무를 설명한다.
- 두 방법론의 단계적 대응관계와 실무 적용 사례를 제시한다.
왜 분석에 ‘방법론’이 필요한가?
개인의 능력이나 우연한 성공에 의존하지 않고, 일정 품질의 산출물과 프로젝트 성공 가능성을 확보하기 위해서입니다.
절차
어떤 순서로 해야 하는가?
방법
각 단계에서 무엇을 어떻게 할 것인가?
도구·기법
수행에 사용할 소프트웨어와 분석 기술은?
템플릿·산출물
무엇을 작성하고 남길 것인가?
“저는 그냥 이렇게 해요.”
“순서와 방법을 정해요.”
“같은 기준으로 분석해요.”
“품질을 확인할 수 있어요.”
경험과 감에서 데이터 기반 판단으로
합리적인 선택을 방해하는 대표 요소는 고정 관념(Stereotype), 편향(Bias), 프레이밍 효과(Framing Effect)입니다.
고정 관념
특정 사람·대상·상황은 늘 같다고 단정하는 사고.
편향된 생각
판단이 특정 방향으로 치우쳐 데이터를 균형 있게 보지 못함.
프레이밍 효과
동일한 정보를 어떻게 표현하느냐에 따라 판단·선택이 달라짐.
✅ 성공 프레임
“10명 중 9명이 성공합니다.”
⚠ 실패 프레임
“10명 중 1명이 실패합니다.”
로직 오류: 논리나 계산의 문제로 의도하지 않은 결과가 나타남. 프로세스 오류: 작업 절차나 실행 흐름에 문제가 생김. 둘은 원인과 점검 지점이 다를 수 있습니다.
“감으로 알아요.”
“왜 잘 되는지 분석해요.”
“누구나 실행할 수 있어요.”
“노하우가 지식이 됐어요.”
폭포수 · 프로토타입 · 나선형 모델
같은 프로젝트라도 요구사항이 얼마나 분명한가, 피드백이 얼마나 필요한가, 위험을 어떻게 관리하는가에 따라 진행 방식이 달라집니다.
① 폭포수 모델
핵심 선행 단계가 완료된 뒤 다음 단계로 진행하는 순차 방식.
특징: 단계·산출물 관리가 명확하나 늦은 변경은 부담이 큼.
② 프로토타입 모델
핵심 일부를 먼저 만들어 보여주고 사용자 요구와 피드백을 반영.
특징: 요구가 불확실할 때 효과적인 점진적 개선.
③ 나선형 모델
핵심 위험 분석을 포함한 반복을 통해 점차 완성도를 높임.
특징: 새로운·불확실한 프로젝트에 적합할 수 있으나 관리 복잡성 증가.
세 모델을 비교하는 핵심 기준
| 구분 | 폭포수 모델 Waterfall | 프로토타입 모델 Prototype | 나선형 모델 Spiral |
|---|---|---|---|
| 진행 원리 | 계획한 단계를 순차적으로 수행하며 선행 단계의 완료를 중요시 | 부분적으로 구현한 시제품을 사용자에게 제공한 뒤 반복적으로 개선 | 위험 분석과 개발·평가를 여러 차례 반복하며 점진적으로 확장 |
| 문제 해결 상황 | 요구가 비교적 명확하고 변경 가능성이 낮은 경우 | 고객 요구를 완전히 이해하지 못했거나 요구 분석이 어려운 경우 | 불확실성이 높거나 처음 시도하는 프로젝트의 위험 관리가 중요한 경우 |
| 피드백 | 문제 발견 시 피드백·수정 수행 가능, 변경 비용 주의 | 시험 사용 → 요구 검토·성능 평가 → 수정·개선의 반복 | 각 반복마다 위험을 분석하고 성과를 평가하여 후속 반복에 반영 |
| 장점 | 단계·일정·산출물 관리가 비교적 분명 | 사용자 참여와 요구 변화 대응에 유리 | 위험을 지속 점검하며 정교화 가능 |
| 주의점 | 초기 요구가 잘못되면 뒤 단계에 영향 | 반복 범위·완료 조건을 명확히 정해야 함 | 관리체계가 부실하면 복잡도가 증가 |
| 교재 암기 문장 | ‘폭포처럼 위에서 아래로’ | ‘시제품을 먼저, 고객과 함께 개선’ | ‘나선형 계단을 돌며 위험 점검’ |
“설계대로 진행해요.”
“먼저 체험판을 써 볼까요?”
“매번 위험을 점검해요.”
“하나가 모든 상황에 최고는 아니에요.”
세 모델의 진행을 4컷으로 따라가기
요구사항과 일정이 정해졌어요.
먼저 설계도를 확정해요.
순서에 따라 개발·검증해요.
초기 설계 변경에 비용이 들어요.
“설명만으로는 잘 모르겠어요.”
핵심 기능만 먼저 만들어요.
“이 버튼을 바꿔 주세요.”
시험 결과를 반영해 발전시켜요.
작은 목표부터 설정해요.
실패 가능성을 점검해요.
작게 만들고 확인해요.
배운 것을 바탕으로 확장해요.
방법론의 3계층과 WBS
‘프로젝트 전체’에서 ‘실제로 수행할 일’까지 큰 단위를 작은 단위로 나누면 품질과 담당 업무를 관리하기 쉬워집니다.
입력자료→Process & Tools
처리·도구→Output
출력자료
WBS (Work Breakdown Structure)
프로젝트의 전체 과정을 실행·관리 가능한 작은 업무 단위로 나누고 각 업무의 담당자, 수행 기간, 산출물 등을 체계화하는 작업분류체계입니다.
교재에서는 수십~수천 개의 작은 업무로 세분화할 수 있다고 설명합니다.
작업 예시: 고객 데이터 정제
(Input)→결측치 점검·수정
(Process/Tool)→정제 데이터
(Output)
단계: 데이터 준비 → 활동: 데이터 정제 → 작업: 결측치 처리
“고객 분석을 하자!”
준비·분석·평가를 구분해요.
누가 언제 무엇을 할지 정해요.
무엇을 완료했는지 확인해요.
KDD: 데이터에서 지식을 발견하는 5단계
KDD (Knowledge Discovery in Databases)는 Fayyad 등이 1996년에 체계화한 지식 발견 프로세스로, 데이터 마이닝·기계학습·패턴 인식·데이터 시각화 등에 활용됩니다.
Evaluation해석·평가Knowledge
출발점
분석 대상 비즈니스 도메인 이해와 프로젝트 목표 설정이 우선입니다.
중심 활동
원시 데이터를 정제·변환하여 의미 있는 패턴(Patterns)을 발견합니다.
궁극적 목표
발견한 패턴을 해석·평가하고, 실제 업무에서 활용할 지식(Knowledge)으로 만듭니다.
KDD 앞의 3단계: 데이터 준비가 핵심
| 단계 | 원문의 주요 활동 | 구체적 예시 |
|---|---|---|
| ① 데이터셋 선택 Selection |
| 온라인 쇼핑몰 전체 DB에서 고객·주문·상품 데이터를 선택 |
| ② 데이터 전처리 Preprocessing |
| 중복 구매기록 수정, 구매금액 오류 점검, 누락값 처리 |
| ③ 데이터 변환 Transformation |
| 구매 빈도·총구매액 변수 생성, PCA 적용, 학습·시험 데이터 구분 |
차원 축소 이전
많은 변수가 비슷한 정보를 담거나 잡음을 포함할 수 있습니다.
차원 축소 이후
중요 정보를 가능한 한 유지하면서 변수 수를 줄입니다. 대표적 기법: PCA(주성분분석).
“구매 기록을 가져오자.”
“값이 비어 있네. 점검해요.”
“고객별 구매 횟수를 만들자.”
“이제 패턴을 찾아요.”
KDD 뒤의 2단계: 패턴을 ‘지식’으로 바꾸기
데이터 마이닝
- 분석 목적에 맞는 데이터 마이닝 기법 선택
- 학습용 데이터에 적절한 알고리즘 적용
- 필요시 데이터 전처리·변환 단계 추가 수행
- 더 적합한 결과가 나올 때까지 분석 조정
해석·평가
- 분석 결과의 의미와 성과를 해석·평가
- 결과가 본래 분석 목적과 일치하는지 확인
- 발견한 지식을 실제 업무에 활용할 방안 마련
- 필요시 선택 단계부터 다시 수행 가능
“함께 사는 상품이 있네요!”
“우연이거나 데이터 오류는 아닐까?”
“실제 추천에 도움이 될까요?”
“효과가 있으면 운영에 반영해요.”
CRISP-DM: 6단계 프로세스 · 4레벨 구조
CRISP-DM (Cross Industry Standard Process for Data Mining)은 1996년 유럽 ESPRIT 관련 프로젝트에서 시작된 산업 간 공통 데이터마이닝 표준 프로세스입니다.
정제 작업을 예로 들면
실제 업무 예: “이번 고객 데이터에서 누락된 연속형 구매액을 검토한다.”
4레벨을 구분하는 질문
단계: 무엇을 크게 수행하는가?
일반화 태스크: 그 단계에서 필요한 일반 업무는?
세분화 태스크: 어떻게 세부적으로 실행하는가?
프로세스 실행: 실제 프로젝트에서 무엇을 했는가?
CRISP-DM 6단계, 필요할 때 되돌아간다
선형 순서로 학습하면 쉽지만, 실제 프로세스는 앞뒤 단계 사이의 피드백을 통해 완성도를 높이는 반복적(Iterative) 구조입니다.
교재의 핵심 원리
각 단계는 단방향으로만 구성되지 않으며, 피드백을 반영해 이전 단계로 돌아가 다시 작업할 수 있습니다.
나선형 모델과 닮은 점
반복하고 개선한다는 점이 비슷합니다. 다만 CRISP-DM은 데이터 분석을 위한 구체적인 6단계 업무 체계입니다.
업무 이해 → 데이터 이해 → 데이터 준비
이 표는 제공된 교재의 단계별 ‘내용’과 ‘수행업무’를 각각 살려 만든 표입니다.
| 단계 | 내용 | 수행업무 |
|---|---|---|
| ① 업무 이해 Business Understanding |
|
|
| ② 데이터 이해 Data Understanding |
|
|
| ③ 데이터 준비 Data Preparation |
|
|
업무 이해
왜 분석하나요? 무엇이 성공인가요?
데이터 이해
어떤 데이터가 있나요? 품질은 어떤가요?
데이터 준비
분석할 수 있도록 어떻게 가공하나요?
“대출 사기를 줄이고 싶어요.”
“어떤 기록이 있죠?”
“누락값과 형식을 맞춰요.”
“모형에 넣을 수 있어요.”
모델링 → 평가 → 전개
기술적으로 모델이 잘 작동하는지 확인하는 것과, 비즈니스 목적에 맞는지 평가하는 것은 별개의 질문입니다.
| 단계 | 내용 | 수행업무 |
|---|---|---|
| ④ 모델링 Modeling |
|
|
| ⑤ 평가 Evaluation |
|
|
| ⑥ 전개 Deployment |
|
|
④ 모델링
“정확도는 충분한가?”
“다른 데이터에도 잘 작동하는가?”
⑤ 평가
“이 모델이 진짜로 사기를 줄일 수 있는가?”
“도입해도 되는가?”
⑥ 전개
“현업에는 어떻게 적용하는가?”
“성능이 떨어지면 누가 관리하는가?”
알고리즘을 학습·조정해요.
새 데이터에서도 잘 맞는지 봐요.
“실제 문제 해결에 도움이 되나요?”
모니터링하며 유지보수해요.
되돌아가는 과정이 오히려 ‘정상’입니다
CRISP-DM에서는 모델링 중 데이터 문제가 발견되면 데이터 준비로 되돌아가며, 평가에서 업무 목적과 어긋나면 초기 목표도 다시 확인할 수 있습니다.
과적합(Overfitting)의 시각적 이해
직관적 개념도: 학습 점을 과도하게 따라가면 새 데이터 성능은 나빠질 수 있습니다. 실제 성능은 별도 검증이 필요합니다.
전개가 끝이 아닌 이유
교재에서 생명주기 차이를 만드는 요인: 업무 도메인 특성, 입력 데이터 품질, 운영 모델 평가기준.
KDD vs CRISP-DM: 원문 비교표 확대
두 방법론 모두 데이터를 분석하지만, CRISP-DM은 업무 이해 및 전개(실무 적용) 단계가 명시적으로 두드러집니다. 아래 대응은 기능상 비교이며 엄밀한 일대일 매칭은 아닙니다.
| KDD | CRISP-DM | 기능상 공통점·차이점 |
|---|---|---|
| 분석 대상 비즈니스 이해 5단계 전의 목표·도메인 이해 | ① 업무 이해 Business Understanding | 문제와 목표 설정. CRISP-DM은 정식 단계로 강조 |
| ① 데이터셋 선택 Data Selection | ② 데이터 이해 Data Understanding ③ 데이터 준비 Data Preparation | 데이터 수집·선택 및 특징 파악 |
| ② 데이터 전처리 Preprocessing | 결측치·이상치·잡음 확인, 데이터 정제 | |
| ③ 데이터 변환 Transformation | 변수 생성·선택·차원 축소·통합·포맷팅 등 | |
| ④ 데이터 마이닝 Data Mining | ④ 모델링 Modeling | 기법 선택, 모형 구축·패턴 탐색 |
| ⑤ 데이터 마이닝 결과 평가 Interpretation/Evaluation | ⑤ 평가 Evaluation | 목표 부합·결과 타당성과 사용 가능성 평가 |
| 데이터 마이닝 활용 평가 후 실제 사용 방안 | ⑥ 전개 Deployment | CRISP-DM은 현장 적용·모니터링·유지보수·종료를 정식 단계로 구성 |
KDD의 기억 포인트
‘데이터를 골라서 → 정리하고 → 변환하고 → 알고리즘으로 패턴을 찾고 → 지식인지 평가’
CRISP-DM의 기억 포인트
‘업무 문제가 무엇인지부터 → 데이터를 알고 준비 → 모델링과 평가 → 현업에 적용’
온라인 추천과 대출 사기 탐지를 비교하면?
교재 사례: KDD = 온라인 쇼핑몰의 함께 구매한 상품 추천, CRISP-DM = 은행 대출 사기 가능성 예측 모델.
🛒 쇼핑몰 연관 상품 추천
발견한 패턴: “상품 A를 구매한 고객이 상품 B도 함께 구매하는 경향.”
🏦 대출 사기 가능성 예측
실무 결과: 예측 결과가 업무 절차에 적절히 활용되는지와 사후 유지관리를 검토합니다.
“고객은 무엇을 함께 샀죠?”
“A와 B를 같이 구매하네요.”
“이 신청은 위험할까요?”
“성과를 보고 계속 개선해요.”
출제포인트와 헷갈리는 개념 한 장에
| 핵심 개념 | 구분 기준 | 자주 묻는 질문 |
|---|---|---|
| 폭포수 모델 | 선행 단계 완료 후 순차 진행 | 단계가 정해져 있을 때 사용? → 순차성 |
| 프로토타입 모델 | 시제품을 시험하고 고객 피드백에 따라 개선 | 고객의 요구가 불명확한 경우? → 시제품 |
| 나선형 모델 | 반복적 개발, 위험 분석, 관리 복잡성 주의 | 위험을 주기적으로 분석하는가? → 나선형 |
| 프레이밍 효과 | 같은 사실도 표현 방식에 따라 선택 달라짐 | 성공 90% / 실패 10%의 차이? → 프레임 |
| KDD | 선택·전처리·변환·마이닝·해석평가 | 차원 축소는 어느 단계? → 데이터 변환 |
| CRISP-DM | 업무 이해·데이터 이해·준비·모델링·평가·전개 | 현업 적용·유지보수는? → 전개 |
| 방법론 구성 | 단계 → 활동 → 작업 | Input/Process/Output과 WBS 워크 패키지? → 작업 |
| CRISP-DM 4레벨 | Phases → Generic → Specialized → Instances | 일반화 태스크를 구체화하는 수준? → 세분화 태스크 |
KDD 5단계
선택 → 전처리 → 변환 → 마이닝 → 평가
CRISP-DM 6단계
업무 이해 → 데이터 이해 → 준비 → 모델링 → 평가 → 전개
정답을 골라 보세요: 문제별 상세 해설
아래 6문제는 제공된 이론으로 만든 학습용 예상문제로, 원문에 실제 기출문제 지문은 제공되지 않았습니다. 선택지를 누르면 맞고 틀린 이유를 확인할 수 있습니다.
문제 1. 고객 요구가 아직 명확하지 않아 시제품을 먼저 제공하고 시험 사용 결과를 반영한다. 해당 모델은?
문제 2. KDD에서 변수를 새로 만들고 PCA를 이용해 차원을 줄이는 단계는?
문제 3. CRISP-DM에서 모형을 실제 업무에 적용하고 모니터링·유지보수 계획을 수립하는 단계는?
문제 4. 동일한 사업성과를 ‘성공률 90%’와 ‘실패율 10%’로 다르게 설명했을 때 판단이 달라진다. 이는?
문제 5. CRISP-DM의 4레벨 구조에서 ‘데이터 정제’라는 일반화 태스크를 범주형 정제·연속형 정제로 나누는 수준은?
문제 6. KDD와 CRISP-DM의 비교 설명으로 가장 적절한 것은?
분석 방법론 전체 구조, 마지막으로 연결하기
① KDD · 5단계
선택 → 전처리 → 변환 → 데이터 마이닝 → 해석·평가
② CRISP-DM · 6단계
업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개
| 원어 | 한국어 | 한 줄 뜻 |
|---|---|---|
| Methodology | 방법론 | 프로젝트 수행을 위한 절차·방법·도구·산출물의 체계 |
| Framing Effect | 프레이밍 효과 | 같은 사실도 표현 방법에 따라 판단이 달라짐 |
| Implicit / Explicit Knowledge | 암묵지 / 형식지 | 개인의 경험적 지식 / 문서화해 공유할 수 있는 지식 |
| WBS / Work Package | 작업분류체계 / 작업 패키지 | 프로젝트를 수행·관리 가능한 단위 업무로 나눔 |
| Preprocessing / Transformation | 전처리 / 변환 | 데이터 정제 / 분석에 적합한 변수 및 형태로 변경 |
| Overfitting | 과적합 | 학습 데이터에 지나치게 맞추어 일반화 성능이 나쁠 수 있음 |
| Deployment | 전개 | 모형을 현업에 적용하고 운영·관리·종료하는 단계 |