제1종 오류와 제2종 오류, 검정력까지 판정표로 구분하기

오류 이름을 고르기 전에 실제 상태부터 적습니다

귀무가설이 참인데 기각하면 제1종 오류, 귀무가설이 거짓인데 기각하지 못하면 제2종 오류입니다. 두 정의가 자꾸 섞인다면 기각이라는 행동부터 외우지 말고 실제 상태를 먼저 정하세요. 귀무가설을 기각했더라도 실제로 참이면 오류이고 거짓이면 올바른 판단입니다.

가상의 파일 처리 시간이 기준보다 늘었는지 검사한다고 합시다. 귀무가설은 모집단 평균 처리 시간이 10초 이하라는 것이고 대립가설은 10초보다 길다는 것입니다. 실제 평균은 우리가 직접 알 수 없는 상태이고 표본으로 내리는 결정은 귀무가설을 기각하거나 기각하지 못하는 두 가지입니다.

이 예제에서 제1종 오류는 없는 증가를 있다고 판단한 경우이고 제2종 오류는 실제 증가를 놓친 경우입니다. 다른 문제를 풀 때는 증가라는 단어를 그대로 옮기지 말고 그 문제의 귀무가설을 먼저 적습니다. 귀무가설이 무엇이냐에 따라 일상 언어로 표현한 오류의 내용도 바뀝니다.

α와 β는 서로 다른 실제 상태를 조건으로 합니다

유의수준 α는 귀무가설이 참일 때 잘못 기각할 확률을 통제하는 기준입니다. 제2종 오류 확률 β는 특정한 대립가설의 실제 상태에서 귀무가설을 기각하지 못할 확률입니다. 검정력은 같은 대립가설의 상태에서 기각할 확률인 1−β입니다. α+β=1이라는 식은 성립하지 않습니다. 계산을 시작하는 실제 상태가 다르기 때문입니다.

서로 다른 조건의 가상 실험 두 묶음으로 구분해 보겠습니다. 평균이 실제로 기준값 10초인 조건에서 같은 검정을 반복한 묶음이 있습니다. 또 다른 묶음에서는 평균이 실제로 12초라고 정해 놓습니다. 첫 묶음의 잘못된 기각 비율은 제1종 오류를, 두 번째 묶음에서 증가를 놓친 비율은 제2종 오류를 나타냅니다. 두 묶음의 건수를 섞어 분모로 쓰지 않습니다.

검정력이 80%라는 말도 실제 차이, 표본 수, 변동, 검정 방법을 정한 조건에서 읽어야 합니다. 그 조건의 검정을 반복하면 실제 차이를 찾아낼 확률이 80%라는 뜻입니다. 검정에서 유의한 결과를 얻었을 때 그 결론이 맞을 확률이 80%라는 의미는 아닙니다. 검정력은 한 번 나온 결과가 정답일 확률과 다릅니다.

기억할 기준은 참인 귀무가설을 잘못 버리면 1종, 거짓인 귀무가설을 못 버리면 2종입니다. β에서 검정력으로 갈 때만 같은 행의 두 확률을 더하면 1이 됩니다. 판정표의 행을 먼저 고르면 이 계산의 분모도 함께 떠올릴 수 있습니다.

같은 차이를 더 엄격한 기준으로 찾으면 놓치기 쉬워집니다

처리 시간이 독립인 정규표본이고 모집단 표준편차가 4초로 알려져 있다고 가정하겠습니다. 표본 수 n=16이면 표본평균의 표준오차는 4/√16=1초입니다. 평균이 10초보다 긴지 보는 단측 z검정에서 유의수준을 0.05로 미리 정하면 오른쪽 임계값은 약 1.645입니다.

귀무가설을 기각하는 기준은 표본평균이 10+1.645×1=11.645초를 넘는 것입니다. 실제 평균이 12초라고 가정한 경우에는 표본평균이 11.645초를 넘을 확률이 검정력입니다. 이 분포의 중심은 귀무가설 경계인 10초가 아니라 실제로 가정한 12초입니다. 표준화하면 (11.645−12)/1=−0.355이며 그보다 클 확률은 약 0.639입니다. 이 조건의 β는 약 0.361입니다.

같은 n, 표준편차, 실제 평균을 두고 α만 0.01로 낮춰 보겠습니다. 임계값이 약 2.326이 되어 표본평균이 12.326초를 넘어야 기각합니다. 실제 평균 12초 아래에서 이 확률은 약 0.372로 낮아지고 β는 약 0.628로 커집니다. 제1종 오류를 더 엄격하게 막는 대신 실제 증가를 놓칠 가능성이 커진 경우입니다.

표는 실제 평균을 12초로 고정하고 반올림 전 임계값으로 계산한 결과입니다. α만 낮춘 둘째 행은 놓칠 확률이 커지고, α를 유지하며 표본 수를 늘린 셋째 행은 놓칠 확률이 작아졌습니다.

마지막 행에서는 표본 수를 64로 늘려 표준오차가 4/√64=0.5초로 줄었습니다. α는 첫 행과 같지만 표본평균이 실제 평균 주변에서 덜 흔들려 12초라는 증가를 찾기 쉬워집니다. 모든 숫자는 가정한 정규모형으로 계산한 학습 예제이며 실제 서비스의 측정 결과가 아닙니다.

검정력을 말할 때는 찾으려는 차이도 적습니다

같은 64개 표본이라도 실제 평균이 12초인지 10.2초인지에 따라 검정력은 달라집니다. 작은 차이는 귀무가설의 상태와 구분하기 어렵습니다. 그래서 표본 크기를 설계할 때는 유의수준과 목표 검정력뿐 아니라 찾아낼 필요가 있는 차이, 예상 표준편차, 단측 또는 양측 검정 여부도 정합니다.

표본 수를 늘리면 검정력이 높아지는 방향이 일반적이지만 표본의 독립성과 수집 방법이 유지된다는 전제가 필요합니다. 같은 파일의 반복 기록을 서로 다른 독립 표본처럼 세면 표본 수만 부풀릴 수 있습니다. 큰 표본은 잘못된 측정이나 한쪽 대상만 고른 편향을 고쳐 주지 않습니다.

결과가 유의하지 않았다는 이유로 사전에 정한 α를 올리거나 단측 검정으로 바꿔서는 안 됩니다. 다른 기준을 썼을 때의 결과를 탐색하려면 처음 계획과 구분해 설명해야 합니다. 검정력은 자료를 얼마나, 어떤 방식으로 모을지 판단할 때 씁니다. 원하는 결론을 얻으려고 분석 뒤에 기준을 조정하는 근거로 삼지 않습니다.

문제에서 숫자와 결론을 나누어 읽습니다

β=0.15라는 정보만 있으면 검정력은 0.85라고 계산할 수 있습니다. 하지만 α가 0.15라고 해서 검정력을 0.85로 바꿀 수는 없습니다. α는 귀무가설이 참인 행, 검정력은 거짓인 행의 확률입니다. 오류 번호를 맞혔다면 마지막으로 실제 상태가 어느 행인지 말로 설명해 보세요.

실제 분석에서는 한 번 관측한 결과만 보고 귀무가설이 정말 참인지 알 수 없으므로 그 결정이 어느 오류였다고 확정하기 어렵습니다. 학습 문제에서는 실제 상태를 따로 제시하므로 오류를 분류할 수 있습니다.