결측치와 중복값을 지우기 전에 확인할 데이터 품질

빈칸 하나에도 서로 다른 이유가 있습니다

반납일이 비어 있는 대여 기록을 발견했습니다. 입력을 빠뜨린 오류일까요, 아직 반납하지 않은 정상 상태일까요? 둘을 구분하지 않고 행을 삭제하면 현재 대여 중인 자료가 사라질 수 있습니다. 데이터 품질을 점검할 때는 이상해 보이는 값을 지우기 전에 왜 그런 값이 생겼는지 확인합니다.

이 글의 도서 대여 자료는 학습용으로 만들었으며 실제 도서관의 데이터나 품질 수준을 나타내지 않습니다. 품질을 판단할 때는 분석 목적에 맞게 쓸 수 있는 자료인지 봅니다. 같은 기록도 현재 대여 현황을 볼 때와 완료된 대여 기간을 계산할 때 필요한 조건이 다릅니다.

오류를 여섯 관점으로 나누어 봅니다

IBM의 데이터 품질 설명에서 다루는 대표 관점을 아래처럼 적용해 볼 수 있습니다. 품질 분류는 자료와 기관에 따라 달라지므로 이 표를 모든 시험이나 조직에 공통인 유일한 목록으로 외우지는 마세요.

유효성과 정확성은 혼동하기 쉽습니다. 대여일이 실제로 10월 12일인데 10월 13일로 저장되었다면 날짜 형식은 올바르지만 사실과 다릅니다. 형식 검사만 통과했다고 정확한 자료는 아닙니다. 반대로 원본 사실을 확인할 수 없으면 정확하다고 단정하지 말고 확인 불가 상태를 남깁니다.

작은 표를 검사하는 순서

다음 자료에서 대여 번호는 대여 사건 하나를 구분하도록 설계했다고 가정합니다. 빈 반납일은 미반납을 나타내며, 날짜는 모두 같은 기준으로 기록합니다.

L01의 두 행은 중복 후보입니다. 정말 같은 사건을 두 번 가져온 것인지, 이력 저장 규칙에 따라 필요한 두 행인지 원본과 적재 과정을 확인합니다. 이 예시에서는 사건 단위라고 정했기 때문에 중복을 의심할 수 있습니다. 데이터의 한 행이 무엇을 뜻하는지 정하지 않았다면 같은 번호가 반복된다는 사실만으로 삭제할 수 없습니다.

L02는 설정한 규칙대로라면 정상입니다. 완료된 대여 기간의 평균을 구할 때는 제외할 수 있지만 미반납 현황에서는 포함해야 합니다. L03은 반납일이 대여일보다 빠릅니다. 날짜 순서 규칙을 위반한 이유가 입력 오류인지, 원자료 해석 오류인지 확인하고 수정 근거를 남깁니다. 두 날짜를 임의로 바꾸어 맞추지 않습니다.

원본을 남기고 처리 규칙을 기록합니다

점검용 사본을 만들고 원본은 그대로 보관하세요. 어떤 행을 왜 수정하거나 제외했는지 기록해야 결과가 달라졌을 때 원인을 추적할 수 있습니다. 사람이 직접 고친 값도 근거가 없다면 새 오류가 될 수 있습니다.

결측을 0으로 채우기 전에는 0이 실제 관측값과 구분되는지 확인합니다. 공부 시간 빈칸을 0으로 바꾸면 응답하지 않은 사람을 전혀 공부하지 않은 사람으로 바꾸는 셈입니다. 평균 대치도 분포와 관계를 바꿀 수 있으므로 편리하다는 이유만으로 적용하지 않습니다. 결측이 발생한 이유, 분석 목적, 사용하는 방법의 전제를 먼저 검토해야 합니다.

이상치도 자동 삭제 대상은 아닙니다. 대여 기간이 매우 긴 기록이 입력 실수일 수도 있지만 실제 장기 대여일 수도 있습니다. 원자료를 확인하고, 포함한 결과와 제외한 결과가 얼마나 달라지는지 비교하면 판단 근거를 남길 수 있습니다. 정상적인 드문 사례를 삭제하면 설명하려던 현상을 없앨 수 있습니다.

품질 지표에는 분모를 붙입니다

필수 항목 100개 중 8개가 비어 있다면 해당 항목의 관측률은 92%입니다. 이것은 예시에서 정한 필수 항목의 완전성을 요약한 수치이며 데이터 전체가 92% 정확하다는 뜻은 아닙니다. 행 기준인지 셀 기준인지, 어떤 열을 필수로 보았는지도 같이 적어야 같은 결과를 재현할 수 있습니다.

여러 품질 문제를 한 점수로 합칠 때는 중요한 오류가 평균 속에 숨지 않는지 확인합니다. 대여 번호가 빠진 한 행은 다른 열이 모두 채워져 있어도 원본 사건을 확인하기 어려울 수 있습니다. 분석에 꼭 필요한 조건을 먼저 정하고 조건별로 결과를 나누어 보면 점검을 시작하기 쉽습니다.

분석 노트에는 점검일, 자료 범위, 적용 규칙, 발견한 문제, 처리 또는 보류 사유를 남깁니다. 문제 수가 0이라는 보고보다 어떤 기준으로 확인했는지 알 수 있는 기록이 더 유용합니다. 다음에 같은 자료가 들어왔을 때 동일한 점검을 다시 수행할 수 있기 때문입니다.

검사 질문을 보고 품질 항목을 떠올립니다

품질 이름을 가린 뒤 사실, 빈칸, 형식, 모순, 중복, 시점을 차례로 보고 정확성, 완전성, 유효성, 일관성, 유일성, 적시성을 떠올려 보세요. 사실과 맞는지, 필요한 값이 있는지, 정한 규칙을 지키는지, 자료끼리 맞는지, 한 번만 있어야 할 기록이 겹치는지, 제때 준비됐는지를 묻는 단서입니다. 이 순서가 처리 순서나 중요도 순위는 아닙니다.

예를 들어 날짜가 형식상 올바르지만 하루 늦게 저장됐다면 유효성 검사와 사실 대조의 답이 다릅니다. ‘칸이 채워졌다 → 사실도 맞다’는 결론은 나오지 않습니다. 여러 문제가 한 기록에서 함께 발견될 수도 있습니다.

수치를 볼 때는 단서 뒤에 분모를 붙이세요. 필요한 값 200개 중 10개가 비었다면 존재하는 값의 비율은 95%입니다. 이 결과를 데이터 전체의 정확성 95%로 읽지 않는지도 확인해 보세요.

이 글은 입문자 기준으로 정리했습니다. 계산이나 설명의 오류를 발견하면 이 글의 오류 제보를 보내주세요. 내용을 보완할 때 수정일도 함께 갱신합니다.