먼저 잡을 핵심
- 업무 목표는 개선하려는 결과이며, 이를 위해 어떤 결정을 바꿀지 정합니다. 분석 목표는 자료로 답할 구체적인 질문입니다.
- 분석 단위, 예측 시점, 결과 변수의 집계 규칙을 먼저 정의합니다.
- 모델 오차의 개선과 업무 결과의 개선은 연결되지만 같은 지표는 아닙니다.
좋은 모델을 만들자는 말에서 빠진 것
전시관을 더 효율적으로 운영하고 싶다는 요청을 받았다고 가정해 보겠습니다. 이 문장만으로는 무엇을 계산해야 할지 알 수 없습니다. 안내 인력의 배치를 바꾸려는지, 관람 동선을 개선하려는지, 다음 전시의 운영 시간을 정하려는지에 따라 필요한 자료가 다릅니다.
분석을 시작하기 전에 결과를 사용할 사람과 그 사람이 바꿀 결정을 확인합니다. IBM의 CRISP-DM 안내도 업무 이해 단계에서 목표와 요구사항을 파악하도록 설명합니다. 모델 이름은 그다음입니다. 목적이 불분명한 상태에서 기법부터 정하면 결과가 나와도 어디에 사용할지 다시 논의하게 됩니다.
이 글의 전시관은 학습용으로 만든 가상 사례입니다. 방문자 수, 운영 성과 또는 실제 기관의 개선 사례를 주장하지 않습니다.
어떤 종류의 질문인지 구분합니다
과거를 설명하는 질문과 미래를 예측하는 질문은 필요한 결과가 다릅니다. 같은 자료로 출발해도 질문을 구분해야 답의 범위를 정할 수 있습니다.
| 질문 | 필요한 결과 | 더 확인할 점 |
|---|---|---|
| 지난달 어느 요일이 붐볐나? | 요일별 방문 기록의 요약 | 휴관일과 특별 행사 포함 여부 |
| 특정 날에 방문이 늘어난 이유는 무엇인가? | 원인 후보와 이를 확인할 근거 | 단순한 동시 발생을 원인으로 오해하지 않는가 |
| 내일 몇 명이 방문할까? | 아직 관측하지 않은 수의 예측 | 예측할 때 실제로 사용할 수 있는 정보 |
| 내일 안내 인력을 어떻게 배치할까? | 제약을 고려한 실행안 | 근무 가능 인원, 시간대, 운영 기준 |
예측이 잘된다고 원인이 밝혀지는 것은 아닙니다. 행사일에 방문자가 많다는 패턴을 예측에 쓸 수 있어도 행사만이 방문 증가의 원인이라고 단정할 수는 없습니다. 방문자 수 예측과 인력 배치도 같은 문제가 아닙니다. 예측값을 얻은 뒤 실행 가능한 선택지를 만드는 단계가 추가됩니다.
질문을 나눌 때는 복잡한 분석이 더 좋은 답이라는 생각을 잠시 내려놓으세요. 지난달의 혼잡 요일을 묻는다면 집계와 시각화만으로 충분한 답을 줄 수도 있습니다.
단위, 시점, 결과를 한 문장에 씁니다
다음과 같이 질문을 구체화해 보겠습니다. 운영일마다 전날 오후 6시까지 확보한 예약 정보와 운영 일정으로 다음 날 총방문자 수를 예측한다. 이 문장에는 분석 단위가 하루, 예측 시점이 전날 오후 6시, 결과 변수가 다음 날 총방문자 수라는 정보가 들어 있습니다.
이제 총방문자 수의 집계 규칙을 정합니다. 같은 사람이 재입장하면 한 명인지 두 방문인지, 무료 입장과 단체 입장을 포함하는지, 직원 출입을 제외하는지 적습니다. 정의가 바뀌면 모델이 맞혀야 하는 대상도 달라지기 때문입니다.
분석 단위를 시간대로 바꾸면 질문도 달라집니다. 하루 총방문자가 같아도 오전에 몰리는 날과 오후에 몰리는 날은 인력 배치에 다른 결과를 줍니다. 처음부터 모든 단위를 예측하기보다 실제 결정에 필요한 최소 단위를 선택하세요.
질문을 직접 쓰려면 다음 문장을 채워 보면 됩니다. 어떤 대상을, 언제 가진 정보로, 어느 기간의 무엇을 추정하며, 결과를 누가 어떤 결정에 사용하는가. 한 문장에 넣기 어렵다면 아직 정하지 않은 부분을 따로 표시하고 확인할 담당자를 적습니다.
나중에 알게 된 정보를 미리 쓰지 않습니다
내일의 방문자를 예측하면서 내일 매표가 끝난 뒤의 총판매 건수를 입력에 넣으면 결과가 좋아 보일 수 있습니다. 하지만 전날 오후 6시에는 알 수 없는 값입니다. 이런 정보가 모델에 들어가면 실제 사용 상황보다 유리한 조건에서 평가하게 됩니다. scikit-learn의 데이터 누출 설명도 예측할 때 사용할 수 없는 정보가 모델에 섞이는 문제를 다룹니다.
날씨를 쓰는 경우도 관측이 끝난 실제 날씨와 예측 당시의 일기예보를 구분해야 합니다. 과거 기록을 모을 때는 정답 시점의 완성된 자료가 이미 존재하므로 이런 차이를 놓치기 쉽습니다. 각 입력 열에 해당 값이 실제로 확정되는 시점을 적어 보면 점검에 도움이 됩니다.
결과를 정의하는 기간도 분명해야 합니다. 다음 날 방문을 예측하는 모델의 정답에 그다음 날 방문이 섞이면 목적과 평가 대상이 어긋납니다. 질문을 정확히 쓰는 일은 문장 다듬기가 아니라 학습 자료를 구성하는 규칙을 만드는 일입니다.
분석의 성공과 업무의 성공을 나눠 확인합니다
방문자 예측 오차가 줄었는지는 분석 성능에 관한 질문입니다. 안내 대기 시간이 줄었는지는 업무 결과에 관한 질문입니다. 둘 사이에는 인력 배치 결정과 실제 운영이라는 단계가 있습니다. 예측을 개선했는데도 활용하지 않았거나 필요한 인력을 배치할 수 없었다면 업무 결과가 달라지지 않을 수 있습니다.
평가를 계획할 때는 비교 기준을 먼저 정합니다. 전주 같은 요일의 방문자 수를 그대로 사용하는 단순한 기준과 새 모델을 같은 기간에서 비교할 수 있습니다. 어떤 오차 지표를 쓸지, 휴관일을 어떻게 처리할지, 특정 행사일의 오류를 따로 볼지도 결과를 보기 전에 정해 두는 편이 낫습니다.
한 문장의 질문이 완성되면 데이터, 기법, 평가의 연결을 다시 읽어 보세요. 질문에 없는 목표가 평가표에 추가되어 있거나 실제 결정에 필요한 결과가 빠졌다면 그 지점을 먼저 고칩니다. 분석 기획의 첫 산출물은 멋진 기법 목록보다 누구나 같은 문제로 이해할 수 있는 질문입니다.
놓치기 쉬운 지점
- 기법 이름을 정한 뒤 그 기법에 맞는 문제를 억지로 만들지 마세요.
- 예측 시점 이후 확정되는 값을 입력에 넣으면 실제 운영보다 성능이 좋아 보일 수 있습니다.
스스로 확인하기
- 결과를 사용할 사람과 바꿀 결정을 적는다.
- 대상, 입력 확정 시점, 결과 기간을 한 문장으로 쓴다.
- 단순 기준과 평가 방법을 결과 확인 전에 정한다.
아래 질문은 개념 확인을 위해 작성한 학습용 문항입니다. 공식 기출문제가 아닙니다.
Q1. 내일 방문자 수를 오늘 오후 6시에 예측합니다. 내일 폐관 후 확정되는 입장권 검표 수를 입력으로 쓰면 왜 문제가 되나요?
생각한 뒤 해설 보기
예측 시점에는 없는 미래 정보이기 때문입니다. 평가에서 좋은 성능이 나와도 실제 예측 상황에 사용할 수 없습니다.
Q2. 모델 예측 오차 감소와 안내 대기 시간 감소는 같은 성공 기준인가요?
생각한 뒤 해설 보기
아닙니다. 앞은 분석 성능이고 뒤는 업무 결과입니다. 예측을 어떤 운영 결정에 반영했는지와 실제 실행 조건을 함께 확인해야 합니다.
더 궁금한 점
분석 목표에 알고리즘 이름이 꼭 들어가야 하나요?
필요하지 않습니다. 어떤 대상을 어떤 정보로 추정하고 어떻게 평가할지 먼저 정하면 됩니다. 기법은 자료와 목적에 맞춰 비교할 수 있습니다.
참고한 자료와 확인 범위
- IBM CRISP-DM 관점 ↗
업무 요구사항과 분석 작업을 연결하는 업무 이해 단계의 설명을 참고했습니다.
- scikit-learn 흔한 오류와 데이터 누출 ↗
예측 시점에 사용할 수 없는 정보의 유입과 평가 자료 분리 원칙을 확인했습니다. 전시관 사례는 자체 제작입니다.
예제 수치와 질문은 학습 목적으로 구성했습니다. 시험 운영 정보는 공식 공지를 우선합니다.
이 글은 입문자 기준으로 정리했습니다. 계산이나 설명의 오류를 발견하면 이 글의 오류 제보를 보내주세요. 내용을 보완할 때 수정일도 함께 갱신합니다.