신뢰구간과 p값, 결론을 쓸 때 구분할 것

같은 95%라도 무엇의 비율인지가 중요합니다

신뢰구간은 표본의 변동을 고려해 모수를 구간으로 추정합니다. 표본평균이 102여도 다른 표본을 뽑으면 달라질 수 있으므로 모집단 평균을 정확히 102라고 단정하지 않습니다.

빈도주의의 95% 신뢰구간을 해석할 때는 구간을 만드는 절차를 봅니다. 조건을 충족하는 같은 방식으로 표본추출과 구간 계산을 여러 번 반복할 때, 만들어진 구간 중 약 95%가 고정된 참 모수를 포함하도록 설계한 절차입니다. 이미 계산한 한 구간에 모수가 있을 확률이 95%라고 말하는 것과는 다릅니다. 모집단의 관측값 95%가 그 안에 있다는 뜻도 아닙니다.

가령 평균 파일 처리 시간을 추정하는 구간이라면 추정 대상은 전체 처리 시간의 평균입니다. 개별 파일 하나의 처리 시간이 들어갈 범위를 원하면 예측구간이라는 별도 문제가 됩니다. 평균의 불확실성과 개별 관측값의 변동을 섞으면 좁은 신뢰구간을 보고 모든 처리 시간이 비슷하다고 오해할 수 있습니다.

계산 예제의 가정을 먼저 적습니다

계산 연습을 위해 정규모집단에서 서로 독립이고 같은 분포를 따르는 관측값 100개를 뽑았다고 가정합니다. 표본평균은 102이고 모집단 표준편차는 10으로 알려져 있습니다. 이 조건에서는 표본평균도 정규분포를 따르므로 정규분포 임계값 약 1.96을 사용합니다. 표본이 100개라는 사실만으로 어떤 자료에서나 정규근사가 적절하다는 뜻은 아닙니다. 현실에서 모집단 표준편차를 정확히 아는 경우는 제한적입니다.

평균의 표준오차는 10 ÷ √100 = 1입니다. 표준오차는 개별 값의 퍼짐이 아니라 표본평균이라는 추정량의 표본 간 변동을 설명합니다. 95% 신뢰구간은 102 ± 1.96 × 1이므로 100.04부터 103.96입니다. 가운데 값은 102, 양쪽 여유인 오차한계는 1.96입니다.

모집단 표준편차를 모르면 표본표준편차를 사용합니다. 정규모집단에서 독립적으로 같은 분포를 따라 뽑은 표본이라면, 표준화한 평균 검정통계량은 자유도 n−1의 t분포를 따릅니다. 정규성이 없는 자료에 근사적으로 적용할 때는 분포의 치우침, 극단값, 관측값의 의존성을 함께 살펴야 합니다. 표본 수 하나나 임계값 1.96만 외우면 이런 전제를 놓칩니다. 같은 방법과 신뢰수준에서 표본 수가 커지면 표준오차는 줄어드는 경향이 있지만, 편향된 표본을 크게 모았다고 대표성이 자동으로 생기지는 않습니다.

가설검정은 주장과 판단 기준을 분리합니다

같은 예제로 모집단 평균이 100인지 검토해 보겠습니다. 귀무가설은 평균이 100이라는 주장이고, 양측 대립가설은 평균이 100과 다르다는 주장입니다. 유의수준 α를 0.05로 정한 뒤 자료를 보고 판단합니다. 유의수준은 귀무가설이 참인데 이를 기각하는 제1종 오류의 확률을 통제하려는 기준입니다.

검정통계량 z는 (102 − 100) ÷ 1 = 2입니다. 표준정규분포에서 양쪽 꼬리를 합한 p값은 약 0.0455입니다. 0.05보다 작으므로 이 검정에서는 귀무가설을 기각합니다. 같은 양측 절차로 계산한 95% 신뢰구간에 100이 들어 있지 않은 것과 판단이 일치합니다. 이 연결은 같은 모형과 서로 대응하는 검정과 구간을 사용했을 때 성립합니다.

p값은 귀무가설과 검정의 가정이 맞는 상황에서 현재 관측한 검정통계량만큼 또는 더 극단적인 결과를 얻을 확률입니다. 귀무가설이 참일 확률도, 결론이 틀릴 확률도 아닙니다. 이 조건을 빼고 p가 작으니 가설이 틀릴 확률이 작다는 식으로 말하면 방향까지 혼동하게 됩니다.

기각하지 못했다는 말은 같다는 증명이 아닙니다

p값이 유의수준보다 크면 귀무가설을 기각할 근거가 충분하지 않다고 적습니다. 두 집단이 같음을 증명했다고 적지 않습니다. 표본이 적거나 변동이 크면 실제 차이가 있어도 검정이 이를 찾아내지 못할 수 있습니다. 실질적으로 의미 있는 차이가 없는지를 검토하려면, 허용할 차이의 범위를 사전에 정한 동등성 검정 등 목적에 맞는 설계가 필요합니다. 이 역시 두 값이 정확히 같음을 증명하는 검정은 아닙니다.

오류를 구분할 때는 실제 상태와 결정을 두 축으로 생각합니다. 실제로 귀무가설이 참인데 기각하면 제1종 오류입니다. 귀무가설이 거짓인데 기각하지 못하면 제2종 오류입니다. 제2종 오류 확률을 β라고 할 때 검정력은 1−β입니다. α를 낮추는 일이 다른 조건에서 제2종 오류에도 영향을 줄 수 있으므로 두 오류를 서로 무관한 숫자로 외우지 않습니다.

유의수준도 결과를 본 뒤 편한 값으로 바꾸는 기준이 아닙니다. 여러 가설을 반복해서 검정하거나 유리한 결과만 골라 보고하면 우연한 차이를 발견할 가능성이 달라집니다. 입문 단계에서는 어떤 가설을 몇 번 검정했는지 기록하고 처음 정한 분석 계획과 실제 분석이 같았는지부터 확인하면 됩니다.

계산 결과를 문장으로 옮기는 마지막 점검

통계적으로 유의하다는 말이 효과가 크다는 뜻은 아닙니다. 표본이 매우 크면 작고 실무적으로 의미 없는 차이도 작은 p값을 낼 수 있습니다. 반대로 눈여겨볼 차이가 있어도 표본이 작아 불확실성이 클 수 있습니다. 평균 차이 등 효과의 크기와 신뢰구간, 자료를 얻은 방법을 함께 적습니다.

앞의 가상 예제를 문장으로 쓴다면 가정을 충족한다는 전제에서 표본평균은 102, 평균의 95% 신뢰구간은 100.04부터 103.96이며, 평균 100을 검정한 양측 p값은 약 0.0455라고 적을 수 있습니다. 여기서 차이 2가 실제 목적에 중요한지는 별도 기준이 필요합니다. 가상 숫자로 특정 서비스의 성능을 주장해서는 안 됩니다.

계산을 시작할 때 추정 대상, 귀무가설, 유의수준을 한 줄씩 적으면 숫자와 결론이 어긋나는지 확인하기 쉽습니다. 표준편차와 단위가 헷갈린다면 분산과 표준편차 계산을 참고하세요.