숫자를 읽을 때, 크기보다 먼저 확인할 세 가지

정답 숫자 뒤에도 읽을 내용이 남습니다

문제에서 비율을 계산해 20%를 얻었다면 계산은 끝났을 수 있습니다. 하지만 실제 결과를 설명하려면 무엇의 20%인지 말해야 합니다. 방문자 중 20%인지, 방문 횟수 중 20%인지, 설문에 응답한 사람 중 20%인지에 따라 문장이 달라집니다. 숫자는 같아도 대상을 빠뜨린 설명은 다른 의미로 읽힐 수 있습니다.

이 칼럼에서 제안하는 점검은 세 가지입니다. 무엇을 센 숫자인지, 어떤 단위와 기준을 썼는지, 어디까지 확실하게 말할 수 있는지입니다. 통계 용어를 많이 아는지와 별개로 적용할 수 있습니다. ADsP의 개념을 배울 때도 정의 옆에 이 질문을 붙이면 계산과 해석을 연결하기 쉽습니다.

여기서 사용하는 웹사이트 수치와 점수는 설명용 가상 값입니다. ADsP NOTE의 방문 기록이나 이용자 조사 결과가 아닙니다. 실제 관측값과 학습용 숫자를 구분하는 것도 숫자를 읽는 데 필요한 첫 조건입니다.

첫째, 분모와 관측 단위를 적습니다

한 사람이 사이트에 다섯 번 방문하고 다른 사람이 한 번 방문했다고 합시다. 방문자는 두 명이지만 방문은 여섯 번입니다. 첫 번째 사람이 처음 방문했을 때만 자료를 내려받았다면, 내려받은 사람의 비율은 1/2로 50%이고 다운로드가 일어난 방문의 비율은 1/6로 약 16.7%입니다. 둘 중 하나가 틀린 계산은 아닙니다. 셈의 단위가 다릅니다.

한 사람의 여러 행동을 별개 사람의 행동처럼 해석하면 결론이 달라집니다. 문제에 이용자, 세션, 페이지 조회, 응답 건수 같은 표현이 나오면 각각 무엇을 세는지 표시해 보세요. 표의 행이 한 사람인지 한 거래인지 확인하는 습관은 결측값이나 중복 데이터를 다룰 때도 이어집니다.

대표값에서도 같은 점검이 필요합니다. 날짜별 평균을 평균 낸 값은 모든 방문을 합쳐 계산한 평균과 다를 수 있습니다. 날짜마다 방문 수가 다르기 때문입니다. 평균을 하나로 합칠 때는 원래 표본 수가 함께 있는지 확인해야 원래 질문에 맞는 계산을 할 수 있습니다.

둘째, 비교 기준과 단위를 맞춥니다

어떤 비율이 10%에서 12%로 바뀌었다면 차이는 2%포인트입니다. 원래 비율 10%를 기준으로 한 상대 증가율은 (12−10)/10 = 20%입니다. 2% 증가와 2%포인트 증가는 같은 표현이 아닙니다. 변화량이 작거나 커 보이게 만드는 말을 고르기보다, 무엇을 기준으로 계산했는지 문장에 넣는 편이 정확합니다.

처리 시간이 200밀리초에서 150밀리초로 줄었다면 감소한 시간은 50밀리초이고 기존 시간 대비 감소율은 25%입니다. 이를 처리 속도가 25% 증가했다고 바로 바꿔 말하면 주의가 필요합니다. 속도를 시간의 역수로 정의한다면 변화율은 다른 계산이 됩니다. 이름이 비슷한 지표라도 분자와 분모를 확인해야 합니다.

비교할 기간도 맞춥니다. 7일 동안 누적된 건수와 30일 누적 건수를 그대로 놓고 어느 쪽이 더 활발한지 판단하지 않습니다. 하루 평균으로 바꾸더라도 평일과 주말 구성, 일시적인 사건이 다를 수 있습니다. 단위를 맞췄다는 사실은 비교 가능성의 출발점이지 모든 차이를 제거했다는 뜻이 아닙니다.

셋째, 관측 결과와 일반화를 구분합니다

연습용 설문에서 응답자 10명 중 8명이 자료가 이해하기 쉽다고 답했다고 가정해 봅니다. 그 응답자 집단의 긍정 응답률이 80%라는 계산은 맞습니다. 그러나 모든 수험생의 80%가 같은 생각이라고 결론 내리려면 조사 대상과 표본추출 방법을 더 확인해야 합니다. 모집한 경로가 편향돼 있다면 단순히 응답자를 늘리는 것으로 문제가 해결되지는 않습니다.

p값도 확실성을 한 번에 표시하는 점수가 아닙니다. 통계적으로 유의한 결과인지와 실제로 차이가 큰지는 다른 질문입니다. 결과를 읽을 때 추정한 차이의 크기와 신뢰구간, 수집 조건을 함께 보면 숫자 하나의 의미를 과장하지 않을 수 있습니다. 알려진 조건을 모두 썼다고 해서 설명이 약해지는 것은 아닙니다.

학습 답안에서는 자료가 허용하는 문장까지만 적는 연습이 좋습니다. 이 표본에서 관측한 평균은 얼마다, 이 모형에서 두 변수는 음의 선형 관계를 보인다처럼 대상과 방법을 포함합니다. 언제나 그렇다거나 원인이 밝혀졌다는 표현은 별도의 근거가 필요합니다.

한 줄 메모로 남기는 숫자 읽기

결과를 기록할 때 지표 이름, 값, 분모 또는 단위, 자료 범위를 한 줄로 적어 보세요. 예를 들어 가상 자료의 여섯 방문 중 다운로드가 일어난 방문은 한 번, 비율은 약 16.7%라고 쓰면 무엇을 계산했는지 다시 확인할 수 있습니다. 소수점 자릿수를 늘리는 것보다 대상과 단위를 빠뜨리지 않는 편이 먼저입니다.

ADsP 공부에서도 답을 맞힌 뒤 단 한 번만 이 문장을 덧붙여 볼 만합니다. 이 숫자는 무엇의 얼마인가. 답이 막힌다면 계산식을 더 외우기 전에 표의 제목이나 문제 조건으로 돌아가면 됩니다. 숫자의 정확성과 문장의 정확성은 함께 확인할 수 있습니다.

숫자를 바꾸기 전에 문장의 대상을 바꿔 봅니다

같은 표에서 ‘사람 중 몇 명’과 ‘방문 중 몇 번’을 따로 계산한 뒤 두 문장을 써보세요. 앞 문장에는 사람 수, 뒤 문장에는 방문 수가 분모로 들어갑니다. 계산한 비율만 외우면 두 질문의 답을 바꾸어 붙이기 쉽습니다. 지표의 이름을 가린 상태에서도 무엇을 센 결과인지 설명해 보는 연습입니다.

평균을 합칠 때도 같은 기준을 적용합니다. 가상의 첫날 방문 열 번에서 평균 체류 시간이 3분이고, 둘째 날 방문 서른 번에서 7분이었다면 전체 방문의 평균은 (10×3+30×7)/40=6분입니다. 두 날짜의 평균을 같은 비중으로 평균 내면 5분이지만 그것은 날짜를 같은 단위로 본 다른 요약입니다. 질문이 전체 방문의 평균이라면 방문 수를 반영해야 합니다.

결과를 확인한 뒤에는 분모나 비교 기준을 하나 바꿔 다시 적어 봅니다. 값이 달라졌다면 어느 숫자가 틀렸다고 바로 판단하지 말고 두 계산이 같은 질문에 답하는지부터 확인합니다. 아래 두 문제도 정답 숫자 뒤에 대상이나 기준을 한 문장 붙여 풀어 보세요.

이 글은 입문자 기준으로 정리했습니다. 계산이나 설명의 오류를 발견하면 이 글의 오류 제보를 보내주세요. 내용을 보완할 때 수정일도 함께 갱신합니다.