빅데이터 정의·출현배경·클라우드·올빼미버스·본질적 변화 통합 복습노트
이 채팅창에서 제공된 설명과 시각화를 한 번에 볼 수 있도록 손실 없이 통합한 HTML입니다.
빅데이터 정의의 범주 및 효과
중요한 부분 ★ 별표 강조판
★ 핵심: 빅데이터의 출현 배경과 변화, 그리고 클라우드 컴퓨팅의 역할을 중심으로 보세요.
1. 클라우드 컴퓨팅(Cloud Computing) 사례
가장 쉬운 사례는 “컴퓨터를 사는 대신 인터넷으로 빌려 쓰는 것”입니다.
예를 들어 어떤 여행기업이 고객 검색·예약 데이터 10TB를 분석해야 한다고 해보겠습니다.
기존 방식이라면 회사가 직접 고성능 서버를 구입하고, 저장장치를 설치하고, 서버실도 운영해야 합니다. 그런데 클라우드 컴퓨팅을 이용하면 AWS, Microsoft Azure, Google Cloud, NAVER Cloud 같은 서비스에서 필요한 저장공간과 컴퓨팅 성능을 필요한 기간만 빌려서 사용할 수 있습니다.
서버 구입 → 필요 없음
→
데이터 저장 → 클라우드에 저장
→
분석할 때 → 고성능 컴퓨터를 잠시 빌려 사용
→
분석 종료 → 사용한 만큼만 비용 지불
그래서 빅데이터와 클라우드는 잘 연결됩니다.
★ 시험용 핵심
클라우드 컴퓨팅은 대규모 데이터를 저장·처리할 수 있는 유연한 환경을 제공하고, 초기 인프라 구축 비용을 줄여 빅데이터 활용을 확대시켰다.
클라우드 컴퓨팅은 대규모 데이터를 저장·처리할 수 있는 유연한 환경을 제공하고, 초기 인프라 구축 비용을 줄여 빅데이터 활용을 확대시켰다.
2. “빅데이터는 새로운 것이 나타난 게 아니라 ‘변화’다”의 사례
이 문장은 서울 올빼미버스 사례로 설명하면 아주 좋습니다.
예전에도 서울시에는 이미 여러 데이터가 있었습니다.
버스 이용 데이터 교통카드 데이터 심야 이동 데이터 통신 데이터
즉, 데이터 자체가 어느 날 갑자기 새로 생긴 것은 아닙니다.
그런데 기존에는 각각 따로 존재하던 데이터를 대량으로 결합하고 분석할 수 있는 기술과 인력, 조직적 의사결정 방식이 생기면서 활용 방법이 달라진 것입니다.
| 과거 | 빅데이터 환경 |
|---|---|
| 데이터는 이미 존재 | 데이터는 여전히 존재 |
| 일부 데이터만 활용 | 여러 데이터를 결합 |
| 사람이 경험으로 노선 결정 | 데이터 분석으로 이동 패턴 파악 |
| 분석 담당자가 제한적 | Data Scientist 등 전문인력 참여 |
| 부서별 데이터 관리 | 데이터 중심 의사결정 |
★ 따라서 빅데이터의 핵심은 “새로운 데이터의 등장”보다는 “데이터를 다루는 방식의 변화”입니다.
학생들에게 이렇게 말하면 가장 쉽습니다
“빅데이터는 갑자기 세상에 없던 데이터가 생긴 것이 아닙니다.”
우리가 이미 가지고 있던 고객정보, 결제기록, 위치정보, 검색기록 등이 훨씬 많이 쌓이고, 이를 새로운 기술로 빠르게 분석하고, 전문인력이 활용하며, 조직이 그 결과를 의사결정에 사용하는 방식으로 바뀐 것입니다.
우리가 이미 가지고 있던 고객정보, 결제기록, 위치정보, 검색기록 등이 훨씬 많이 쌓이고, 이를 새로운 기술로 빠르게 분석하고, 전문인력이 활용하며, 조직이 그 결과를 의사결정에 사용하는 방식으로 바뀐 것입니다.
교재의 문장을 한 줄로 줄이면
⭐ 빅데이터 = 데이터가 커진 것 + 처리기술의 변화 + 사람의 변화 + 조직의 변화
클라우드까지 붙이면
데이터 증가(3V)
→
클라우드·분석기술 발전
→
Data Scientist 등장
→
데이터 중심 조직
→
새로운 통찰과 의사결정
이 구조로 가르치면 교재의 ‘데이터 변화 → 기술 변화 → 인재·조직 변화 → 효과’가 한 번에 연결됩니다.
3. 빅데이터가 만들어 내는 본질적인 변화
과거의 데이터 처리 방식과 현재의 빅데이터 환경을 네 가지 축으로 비교한 시각화입니다.
★ ① 사전처리 → 사후처리
과거에는 필요한 정보만 미리 골라 수집하고 나머지는 버리는 방식이 중심이었습니다. 현재는 가능한 한 많은 데이터를 먼저 모은 뒤, 다양한 방식으로 조합·분석하여 숨어 있는 정보를 찾아냅니다.
과거에는 필요한 정보만 미리 골라 수집하고 나머지는 버리는 방식이 중심이었습니다. 현재는 가능한 한 많은 데이터를 먼저 모은 뒤, 다양한 방식으로 조합·분석하여 숨어 있는 정보를 찾아냅니다.
★ ② 표본조사 → 전수조사
데이터 수집비용과 처리비용이 낮아지고 클라우드 컴퓨팅 기술이 발전하면서, 일부 표본만 보는 방식에서 전체 데이터를 분석하여 표본이 놓칠 수 있는 패턴까지 찾는 방향으로 변화했습니다.
데이터 수집비용과 처리비용이 낮아지고 클라우드 컴퓨팅 기술이 발전하면서, 일부 표본만 보는 방식에서 전체 데이터를 분석하여 표본이 놓칠 수 있는 패턴까지 찾는 방향으로 변화했습니다.
★ ③ 질 → 양
완벽하게 정제된 소량 데이터만 고집하기보다, 데이터가 지속적으로 많이 추가될 경우 전체적으로 유용한 신호가 오류보다 많아져 대규모 데이터의 양 자체가 분석력을 높일 수 있다는 관점입니다.
완벽하게 정제된 소량 데이터만 고집하기보다, 데이터가 지속적으로 많이 추가될 경우 전체적으로 유용한 신호가 오류보다 많아져 대규모 데이터의 양 자체가 분석력을 높일 수 있다는 관점입니다.
★ ④ 인과관계 → 상관관계
반드시 “왜 그런가?”를 먼저 밝히지 않더라도, 무엇이 함께 나타나는가?를 분석하여 특정 현상의 발생 가능성을 예측하고 의사결정에 활용할 수 있습니다.
반드시 “왜 그런가?”를 먼저 밝히지 않더라도, 무엇이 함께 나타나는가?를 분석하여 특정 현상의 발생 가능성을 예측하고 의사결정에 활용할 수 있습니다.
⭐ 시험 핵심: 사전처리 → 사후처리 / 표본조사 → 전수조사 / 질 → 양 / 인과관계 → 상관관계
