먼저 잡을 핵심
- CRISP-DM은 업무 이해, 데이터 이해, 데이터 준비, 모델링, 평가, 전개로 구분합니다.
- 데이터 이해는 상태와 의미를 파악하고 데이터 준비는 분석용 자료를 구성합니다.
- 전체 과정은 반복할 수 있으며 되돌아가는 이유와 수정한 내용을 남깁니다.
단계 이름을 외워도 사례가 헷갈리는 이유
데이터 분석 과정을 외울 때 데이터 이해와 데이터 준비가 비슷하게 느껴질 수 있습니다. 모델링에서 성능을 확인하는데 왜 평가 단계가 또 있는지도 궁금해집니다. 이름만 순서대로 외우기보다 각 단계가 끝났을 때 무엇을 알아야 하고 무엇을 남겨야 하는지 비교하면 차이가 드러납니다.
CRISP-DM은 Cross-Industry Standard Process for Data Mining의 약자입니다. IBM의 공식 CRISP-DM 안내서는 분석 생애주기를 여섯 단계로 설명하며, 진행 중에 필요한 이전 단계로 돌아갈 수 있다고 안내합니다. 정해진 순서를 한 번만 통과하는 절차로 이해하지 않는 것이 핵심입니다.
여기서는 공유 작업실의 다음 날 방문자 수를 예측하는 가상 프로젝트를 사용합니다. 모든 상황과 수치는 학습을 위해 만들었으며 실제 운영 성과를 소개하지 않습니다.
여섯 단계에서 남기는 결과
| 단계 | 중심 질문 | 가상 프로젝트의 산출물 |
|---|---|---|
| 업무 이해 | 무엇을 바꾸려고 분석하는가? | 다음 날 책상 배치를 위한 방문 예측 목표 |
| 데이터 이해 | 어떤 자료가 있고 상태는 어떠한가? | 방문 기록의 열 설명, 분포, 누락 점검 |
| 데이터 준비 | 분석에 쓸 자료를 어떻게 구성하는가? | 날짜별 방문 수와 사용할 입력 열 |
| 모델링 | 어떤 방법으로 관계를 학습하는가? | 비교할 모델과 학습 결과 |
| 평가 | 결과가 목표와 사용 조건을 만족하는가? | 기준 성능 비교와 사용 적합성 판단 |
| 전개 | 결과를 어떻게 전달하고 운영하는가? | 예측표, 담당자, 점검 및 대응 절차 |
전개는 문맥에 따라 배포나 적용으로 번역됩니다. 결과를 업무에 쓰는 단계라는 의미를 이해하면 됩니다. 모든 프로젝트가 복잡한 예측 API를 만드는 것은 아닙니다. 필요한 보고서를 전달하고 정기적으로 갱신하는 방식도 목적에 맞는 전개가 될 수 있습니다.
표의 산출물은 이해를 돕는 예시이며 공식 필수 서류 목록이 아닙니다. 업무의 규모와 자료에 맞게 구성하되 각 단계에서 어떤 판단을 했는지 추적할 수 있어야 합니다.
데이터 이해와 준비를 구분하는 경계
방문 로그를 확인하니 같은 방문자가 하루에 여러 번 기록되었습니다. 출입할 때마다 한 행을 남기는 시스템이라는 사실을 확인하고, 일부 날짜에 로그가 비어 있는 것도 발견했습니다. 자료의 구조와 품질을 파악하는 이 작업은 데이터 이해에 해당합니다.
이후 하루 방문자 수를 고유 방문자 기준으로 집계하고, 로그가 누락된 날짜를 별도 표시하며, 날짜별 표에 요일과 행사 여부를 결합합니다. 목적에 맞는 분석 자료를 만드는 작업은 데이터 준비로 볼 수 있습니다. IBM의 데이터 이해와 준비 문서에서도 자료 파악과 정리 작업을 구분합니다.
둘의 경계는 실제 작업에서 오갈 수 있습니다. 집계 과정에서 오전 로그만 누락된 사실을 발견했다면 다시 원자료를 탐색해야 합니다. 준비 단계에 들어갔다는 이유로 새로 발견한 문제를 무시하면 안 됩니다. 단계 구분은 사고를 정리하는 틀이지 돌아가는 일을 금지하는 규칙이 아닙니다.
원본 자료와 가공 규칙을 함께 남겨야 이 왕복이 가능합니다. 원본을 덮어쓰면 왜 특정 날짜가 제외됐는지 다시 확인하기 어려워집니다. 가공한 표에는 사용한 자료 범위와 처리 규칙을 같이 기록합니다.
모델링 점수와 평가 판단은 범위가 다릅니다
모델링에서는 분석 방법을 선택하고 학습시키며 설정을 조정합니다. 성능 지표도 확인하지만 학습에 사용한 자료를 잘 맞힌다는 사실만으로 끝내지는 않습니다. 새로운 자료에서도 사용할 수 있는지 점검할 자료 분리 계획이 필요합니다.
평가에서는 모델 결과가 처음의 목표를 충족하는지 더 넓게 봅니다. 전체 평균 오차는 작아도 행사일에 방문자를 계속 적게 예측하면 책상 배치에 불편을 줄 수 있습니다. 예측표가 준비되는 시간이 늦어 배치 담당자가 이미 결정을 끝냈다면 성능과 별개로 사용할 수 없습니다.
예를 들어 두 날의 실제 방문자가 20명, 40명이고 예측이 25명, 35명이라면 절대 오차는 각각 5명입니다. 평균절대오차는 5명입니다. 이 수치만으로 업무에 충분하다고 말할 수는 없습니다. 방문자를 5명 적게 예측한 경우와 5명 많게 예측한 경우가 운영에 주는 영향이 같은지 검토해야 합니다. 하루 총방문자 수만으로 부족한 책상 수를 바로 계산할 수는 없습니다. 실제 책상 수를 정하려면 체류 시간과 시간대별 동시 이용 인원도 확인해야 합니다. 허용 기준은 실제 운영 조건에 맞춰 합의하는 항목입니다.
되돌아가는 단계도 이유에 따라 다릅니다
새 자료를 구할 수 없어 예측에 필요한 입력이 없다는 사실을 알았다면 데이터 수집 가능성을 다시 확인하거나 업무 목표의 범위를 줄일 수 있습니다. 잘못 집계한 중복 방문 때문에 결과가 틀렸다면 데이터 준비로 돌아갑니다. 목표를 만족하는 모델이 없고 설정을 더 비교할 여지가 있다면 모델링을 다시 수행합니다.
모델이 운영된 뒤에도 점검은 이어집니다. 예약 방식이 달라져 방문 기록의 정의가 바뀌면 이전과 같은 입력인지 확인해야 합니다. 예측을 사용할 수 없는 날에는 누가 어떤 기준으로 판단할지도 정해 둡니다. 전개를 파일 전달 한 번으로 끝내면 운영 중의 변화가 분석에 반영되지 않을 수 있습니다.
단계 이름을 답할 때는 행동의 동사를 보세요. 목적을 합의하는지, 자료를 파악하는지, 자료를 바꾸는지, 방법을 학습하는지, 목표 충족을 판단하는지, 결과를 사용하는지 구분하면 사례형 질문을 읽기가 쉬워집니다. 순서를 적은 다음 각 단계의 결과를 한 줄씩 덧붙여 확인해 보세요.
놓치기 쉬운 지점
- 평가를 모델의 숫자 점수만 계산하는 작업으로 좁히면 업무 목표와 운영 조건을 놓칩니다.
- 앞 단계를 마쳤다는 이유로 새로 발견한 데이터 문제를 그대로 두지 마세요.
스스로 확인하기
- 각 단계의 중심 질문과 산출물을 한 줄씩 적는다.
- 데이터 이해와 준비의 사례를 각각 하나 만든다.
- 운영 중 변화가 생겼을 때 다시 확인할 대상을 정한다.
아래 질문은 개념 확인을 위해 작성한 학습용 문항입니다. 공식 기출문제가 아닙니다.
Q1. 자료에 중복 방문 로그가 있다는 사실을 파악한 일과 중복을 정한 규칙대로 집계한 일을 각각 어느 단계로 설명할 수 있나요?
생각한 뒤 해설 보기
상태와 의미를 파악한 일은 데이터 이해, 목적에 맞게 집계한 일은 데이터 준비로 볼 수 있습니다.
Q2. 실제 방문자가 20명, 40명이고 예측이 25명, 35명입니다. 평균절대오차를 구하고 이 값만으로 운영 적합성을 판단할 수 있는지 답하세요.
생각한 뒤 해설 보기
절대 오차는 각각 5명이므로 평균절대오차는 5명입니다. 운영에서 허용할 오차와 과대 또는 과소 예측의 영향, 결과 제공 시점 등을 더 확인해야 합니다.
Q3. CRISP-DM의 여섯 단계를 순서대로 써 보세요.
생각한 뒤 해설 보기
업무 이해, 데이터 이해, 데이터 준비, 모델링, 평가, 전개입니다. 실제 프로젝트에서는 필요에 따라 이전 단계로 돌아갈 수 있습니다.
더 궁금한 점
CRISP-DM을 쓰면 모든 프로젝트에서 같은 모델을 사용하나요?
아닙니다. 분석 과정을 정리하는 방법이며 특정 알고리즘을 강제하지 않습니다. 목표와 자료에 맞는 분석 방법을 고릅니다.
전개는 서비스를 개발하는 일만 뜻하나요?
목적에 따라 보고서 전달이나 정기 예측표 제공으로 결과를 사용할 수도 있습니다. 전달 이후 누가 확인하고 어떻게 갱신할지도 포함해 생각하세요.
참고한 자료와 확인 범위
- IBM CRISP-DM 공식 안내서 ↗
여섯 단계와 반복 진행 구조를 확인했습니다. 원문의 산업 사례와 수치를 복제하지 않았습니다.
- IBM 데이터 이해와 준비 ↗
데이터 이해와 분석 자료 준비의 구분을 확인했습니다. 공유 작업실 사례와 오차 계산은 자체 제작입니다.
예제 수치와 질문은 학습 목적으로 구성했습니다. 시험 운영 정보는 공식 공지를 우선합니다.
이 글은 입문자 기준으로 정리했습니다. 계산이나 설명의 오류를 발견하면 이 글의 오류 제보를 보내주세요. 내용을 보완할 때 수정일도 함께 갱신합니다.