상관계수와 회귀분석, 관계 설명과 예측을 구분하기

함께 움직이는지와 얼마를 예측하는지는 다른 질문입니다

학습 시간과 연습문제 점수가 함께 높아지는 자료를 발견했다고 합시다. 함께 움직이는 방향과 선형 관계의 강도를 요약하려면 상관계수를 볼 수 있습니다. 학습 시간이 3시간인 사람의 점수를 얼마로 예측할지 묻는다면 회귀모형이 필요합니다. 두 방법은 연결되지만 답하는 질문이 다릅니다.

여기서는 피어슨 상관계수 r을 다룹니다. r은 −1부터 1 사이의 값이며 부호는 선형 관계의 방향, 절댓값은 선형 관계의 강도를 나타냅니다. 공분산을 두 변수의 표준편차로 나눠 단위를 제거한 값이므로 시간의 단위를 시간에서 분으로 바꿔도 양의 단위 변환이라면 r은 달라지지 않습니다. 어느 변수의 표준편차가 0이면 피어슨 상관계수는 정의되지 않습니다.

회귀분석은 예측에 사용할 설명변수 x와 설명하거나 예측할 반응변수 y를 정합니다. 단순선형회귀의 예측식은 ŷ = a + bx입니다. 여기서 a는 절편, b는 기울기이고 ŷ는 모형이 예측한 값입니다. 실제 관측값 y와 예측값 ŷ의 차이를 잔차라고 합니다. 잔차에는 설명변수 하나로 담지 못한 요인과 자료의 변동이 남습니다.

세 점으로 회귀식을 직접 만들어 봅니다

다음 숫자는 계산 연습용입니다. 특정 수험생이나 실제 조사 결과를 나타내지 않습니다. x는 학습 시간, y는 연습 점수라고 두겠습니다.

x의 평균은 2, y의 평균은 3입니다. x 편차와 y 편차를 곱해 더한 값은 2이고, x 편차 제곱합도 2입니다. 절편을 포함하는 최소제곱 단순선형회귀에서 기울기는 2 ÷ 2 = 1, 절편은 3 − 1 × 2 = 1입니다. 회귀식은 ŷ = 1 + x가 됩니다. 세 점이 정확히 이 직선 위에 있으므로 이 예제의 r은 1입니다.

기울기 1의 단위는 시간당 점수입니다. x를 분으로 바꾸면 기울기는 1/60로 달라지지만 r은 여전히 1입니다. 상관계수와 기울기를 같은 숫자라고 외우지 않는 이유입니다. 만약 x가 0인 자료가 전혀 없었다면 절편 1을 공부하지 않은 사람의 실제 점수라고 단정해서도 안 됩니다. 절편은 우선 회귀식을 구성하는 계산 값입니다.

최소제곱법은 관측값과 예측값의 차이를 제곱해 더한 값을 작게 하는 계수를 찾습니다. 모든 점을 통과하는 선이 항상 존재하는 것은 아닙니다. 점들이 직선 주변에 퍼지면 잔차가 남고, 잔차 제곱합을 최소화한 선을 택합니다. 직선이 보기 좋게 지나간다는 시각적 판단과 계산 기준을 구분하세요.

r이 0이어도 관계는 남을 수 있습니다

x가 −2, −1, 0, 1, 2이고 y가 각각 4, 1, 0, 1, 4인 자료를 생각합니다. y = x²라는 관계가 정확히 존재합니다. 그런데 왼쪽에서 오른쪽으로 이동할 때 y가 내려갔다 올라가므로, 증가 또는 감소하는 한 직선으로는 관계를 요약하기 어렵습니다. 이 대칭적인 예제의 피어슨 r은 0입니다.

여기서 상관이 0이니 아무 관계가 없다고 결론 내리면 틀립니다. 피어슨 상관계수는 선형 관계를 요약하는 도구입니다. 산점도에서 곡선 모양, 따로 떨어진 집단, 특이한 한 점을 먼저 확인하면 하나의 숫자로 숨겨지는 정보를 볼 수 있습니다. 순위에 기반한 스피어만 상관계수도 있지만, 단조 관계를 요약하는 도구이지 모든 형태의 비선형 관계를 찾아내는 장치는 아닙니다.

상관관계가 원인을 증명하지도 않습니다. 더 오래 공부한 사람의 점수가 높더라도 사전 지식, 학습 자료, 선택 편향이 영향을 줄 수 있습니다. x를 늘리면 y가 얼마만큼 변할 것이라는 인과 주장은 자료를 얻은 설계와 다른 요인을 추가로 검토해야 합니다. 회귀식에 변수를 더 넣었다는 사실만으로 인과성이 보장되지 않습니다.

설명력과 예측력을 같은 말로 쓰지 않습니다

절편을 포함한 보통의 최소제곱 회귀에서 결정계수 R²는 평균만 사용하는 기준과 비교해 반응변수의 변동을 모형이 얼마나 설명했는지 요약합니다. 훈련 자료에서 R²가 높아도 아직 보지 않은 자료의 예측이 좋다고 보장할 수 없습니다. 변수를 늘려 복잡한 모형을 만들면 훈련 자료의 우연한 모양까지 따라갈 수 있습니다.

설명변수 하나와 절편을 가진 최소제곱 단순선형회귀에서는 같은 관측값으로 계산한 R²가 피어슨 r의 제곱과 같습니다. 이 조건을 빼고 모든 모형에서 R² = r²라고 쓰면 안 됩니다. 절편이 없는 모형, 다른 손실을 쓰는 모형, 평가 자료에서 계산한 점수에는 같은 관계를 그대로 적용하지 않습니다.

평가 자료의 R²는 음수가 될 수도 있습니다. 그 자료의 평균을 예측하는 기준보다 모형의 제곱오차가 큰 경우입니다. 분산이 0인 평가 자료처럼 별도 처리가 필요한 조건도 있으므로 숫자의 범위를 외울 때 계산 대상과 구현을 함께 봅니다. 예측 목적이라면 훈련에 쓰지 않은 데이터에서 오차를 확인하고, 비교하는 모형에 같은 평가 기준을 적용합니다.

단위를 바꿔도 남는 정보가 무엇인지 묻습니다

상관은 단위 없이 선형 관계를, 기울기는 단위와 함께 변화량을 읽습니다. 같은 자료에서 시간을 시간 대신 분으로 바꾸는 양의 단위 변환을 생각하세요. 점들의 선형 관계는 그대로여서 피어슨 r은 유지되지만, x 한 단위가 작아지므로 그 한 단위에 대응하는 기울기는 달라집니다.

이 구분으로 r과 기울기를 같은 수로 외우는 실수를 점검할 수 있습니다. 다만 음수를 곱해 축 방향까지 뒤집으면 r의 부호도 바뀌므로 모든 변환에 불변이라는 뜻은 아닙니다. 회귀식이 예측한 변화량은 모형 안의 계산입니다. 단위를 정확히 붙여도 그것만으로 원인과 결과가 입증되지는 않습니다.

회귀 결과를 읽는 순서

모형의 가정을 볼 때 설명변수 자체가 반드시 정규분포여야 한다고 외우지 않습니다. 고전적인 회귀의 계수 검정과 구간 추론에서는 오차의 독립성, 등분산성, 조건부 평균 관계, 필요한 경우 정규성 등 분석 목적에 맞는 조건을 살핍니다. 잔차 그림은 곡선 모양이나 x에 따라 달라지는 퍼짐을 확인하는 단서입니다. 잔차가 작다는 숫자 하나로 가정 점검을 끝내지는 않습니다.

학습 시간 1시간부터 3시간까지의 자료로 30시간의 점수를 예측하는 것은 관측 범위 밖의 외삽입니다. 앞의 직선에 30을 대입해 숫자를 얻는 일은 쉽지만 그 숫자의 신뢰성은 별개입니다. 실제 학습에는 점수 상한과 피로처럼 단순 직선이 표현하지 못하는 조건이 있습니다. 계산할 수 있는 범위와 해석할 수 있는 범위를 구분해야 합니다.

문제를 풀 때는 예측할 대상 y를 먼저 쓰고, 산점도의 모양, 계수의 단위, 잔차와 평가 자료를 순서대로 확인해 보세요. 아래 문제는 이 글의 가상 예제를 바탕으로 만든 학습용 문제입니다.

이 글은 입문자 기준으로 정리했습니다. 계산이나 설명의 오류를 발견하면 이 글의 오류 제보를 보내주세요. 내용을 보완할 때 수정일도 함께 갱신합니다.