t검정과 ANOVA 차이, 집단 수보다 먼저 확인할 조건

두 집단인지 세 집단인지 세기 전에 짝을 확인합니다

서로 다른 두 집단의 평균을 비교하면 독립표본 t검정, 같은 대상을 두 번 측정했거나 의미 있는 짝이 있으면 대응표본 t검정을 검토합니다. 서로 독립인 세 집단 이상의 평균을 한꺼번에 비교할 때는 일원분산분석을 사용할 수 있습니다. 다만 집단 수만으로 검정이 결정되지는 않습니다. 결과가 수치형인지, 관측값이 독립인지, 분포와 분산에 어떤 조건을 둘 수 있는지도 확인해야 합니다.

가상의 학습 시간 자료를 생각해 보겠습니다. A반 학생과 B반 학생이 서로 다르면 두 독립 집단입니다. 같은 학생의 연습 전후 시간을 비교한다면 한 사람의 두 기록은 연결되어 있습니다. 두 자료의 개수가 같다는 이유만으로 대응표본이 되는 것은 아닙니다. 누구의 값과 누구의 값을 짝지을 근거가 있어야 합니다.

같은 학생을 세 시점에 측정한 자료는 이 표의 마지막 행에 바로 넣으면 안 됩니다. 한 사람 안의 반복 측정이 연결되어 있으므로 반복측정 분산분석처럼 그 구조를 반영하는 방법이 필요합니다. 집단 수를 세기 전에 자료를 어떻게 얻었는지 확인하는 이유입니다.

대응표본은 사람별 차이 하나로 계산합니다

네 사람의 연습 전 시간에서 연습 후 시간을 뺀 차이가 2, 4, 6, 8초라고 합시다. 평균 차이는 5초입니다. 대응표본 t검정은 이 차이들의 모집단 평균이 0인지 검토합니다. 전후 자료 각각의 표준편차를 따로 합치는 대신 차이값의 표준편차를 계산합니다.

차이값의 평균에서 뺀 편차는 −3, −1, 1, 3이고 편차 제곱합은 20입니다. 표본분산은 20/3, 표본표준편차는 약 2.582초입니다. 평균 차이의 표준오차는 2.582/√4 ≈ 1.291초이며 t값은 5/1.291 ≈ 3.873입니다. 자유도는 짝의 수에서 1을 뺀 3입니다. 전후 기록이 총 여덟 개라고 자유도를 7로 계산하지 않습니다.

이 작은 예제에서 t분포를 이용한 정확한 검정을 하려면 사람별 차이가 독립인 정규표본이라는 가정을 둡니다. 실제 자료에서는 네 명만으로 그 분포를 판단하기 어렵습니다. 전후를 빼는 순서를 바꾸면 평균 차이와 t값의 부호가 반대가 되지만 같은 양측 검정의 p값은 달라지지 않습니다.

독립표본 t검정에서도 등분산을 무조건 가정하지 않습니다

독립인 두 집단의 평균 차이는 각 집단의 변동과 표본 수에 영향을 받습니다. 두 모집단의 분산이 같다고 가정하는 합동분산 t검정과 그 가정을 요구하지 않는 Welch t검정을 구분하세요. R의 t.test 함수는 독립표본에서 기본값 var.equal = FALSE를 사용해 Welch 방식으로 계산합니다. var.equal = TRUE로 설정하면 합동분산을 사용합니다.

Welch 검정도 아무 조건 없이 적용할 수 있는 방법은 아닙니다. 독립성 문제를 해결해 주지 않으며 작은 표본의 심한 비대칭이나 극단값도 살펴야 합니다. 같은 사람의 전후 자료인데 등분산이 아니니 Welch를 쓰겠다고 판단하면, 짝지어진 자료라는 사실을 놓치게 됩니다.

대응 여부는 관측값의 짝, 등분산 여부는 분포의 가정입니다. 한 조건으로 다른 조건을 대신 판단하지 않습니다.

ANOVA는 평균 차이를 집단 안의 변동과 비교합니다

서로 독립인 세 집단의 가상 값이 A는 2, 3, 4, B는 4, 5, 6, C는 6, 7, 8이라고 합시다. 집단 평균은 각각 3, 5, 7이고 전체 평균은 5입니다. 일원분산분석의 귀무가설은 세 모집단 평균이 모두 같다는 것입니다. 대립가설은 적어도 한 평균이 다르다는 것으로, 모든 평균이 서로 다르다는 뜻은 아닙니다.

집단 간 제곱합은 3×(3−5)² + 3×(5−5)² + 3×(7−5)² = 24입니다. 집단 내 제곱합은 각 값과 자기 집단 평균의 차이를 제곱해 더한 값입니다. 각 집단에서 1+0+1=2이므로 합계는 6입니다. 집단 수 k=3, 전체 관측 수 N=9를 사용하면 아래 표가 나옵니다.

F값은 집단 간 평균제곱을 집단 내 평균제곱으로 나눈 12/1 = 12입니다. 제곱합끼리 나눈 24/6 = 4가 아닙니다. 독립성, 정규 오차, 등분산 가정 아래 자유도 2와 6인 F분포에서 오른쪽 꼬리 확률은 0.008입니다. 사전에 정한 유의수준이 0.05이면 모든 평균이 같다는 귀무가설을 기각합니다.

집단 평균 3, 5, 7이 그대로여도 각 집단 안의 값이 더 퍼지면 집단 내 평균제곱이 커질 수 있습니다. 그러면 F값은 작아집니다. 평균 차이의 숫자만으로 유의성을 판단할 수 없는 이유입니다.

유의한 ANOVA 다음에는 어떤 쌍이 다른지 묻습니다

앞의 F검정은 세 집단 전체에 관한 결론입니다. A와 B, A와 C, B와 C 중 어디에서 차이를 확인할 수 있는지는 별도 비교가 필요합니다. 여러 쌍을 각각 5% t검정으로 반복하면 전체 비교에서 잘못 차이가 있다고 판단할 가능성이 커집니다. Tukey 방식 같은 다중비교 절차는 이런 문제를 다룹니다.

전통적인 ANOVA 뒤에 쓰는 Tukey 사후검정과, 등분산을 가정하지 않는 분석의 후속 비교는 구분해야 합니다. 먼저 어떤 모형으로 전체 검정을 했는지 확인하세요. 결과에는 전체 검정의 판단, 각 쌍의 차이 추정값과 보정된 p값 또는 신뢰구간을 나누어 적습니다.

시험에서 분산분석표가 나오면 자유도, 평균제곱, F의 분모를 차례로 확인해 보세요. 결론은 적어도 한 평균이 다르다는 수준에서 멈추고 사후검정 결과가 주어졌을 때만 특정 쌍까지 판단합니다.