배깅과 부스팅은 무엇이 다른가요? 랜덤포레스트까지 비교하기

여러 나무를 쓴다는 설명만으로는 부족합니다

배깅은 여러 표본에서 모델을 각각 학습해 예측을 모으고, 부스팅은 앞 단계의 오류나 손실을 다음 학습에 반영합니다. 랜덤포레스트는 배깅에 더해 각 분할에서 검토할 후보 변수도 무작위로 고릅니다.

배깅의 독립 학습은 모델의 예측값들이 통계적으로 완전히 독립이라는 뜻은 아닙니다. 원자료를 공유하므로 예측이 서로 비슷할 수 있습니다.

표에서는 대표적인 원리만 비교했습니다. 라이브러리 설정에 따라 추출 방식과 결합 규칙이 달라질 수 있으므로, 분류 앙상블이면 언제나 다수결이라고 단정하지는 않습니다.

배깅은 다시 뽑은 표본마다 모델을 만듭니다

배깅은 Bootstrap Aggregating을 줄인 이름입니다. 부트스트랩은 자료에서 관측값을 뽑은 뒤 다시 넣고 뽑는 복원추출입니다. 원자료 번호가 1, 2, 3, 4, 5라면 2, 2, 3, 5, 5와 같은 표본이 나올 수 있습니다. 전체 추출 개수는 같아도 특정 관측값은 여러 번 들어가고 다른 관측값은 빠집니다. 자료를 서로 겹치지 않는 다섯 묶음으로 자르는 것과 다릅니다.

이런 표본을 여러 개 만들어 각각 모델을 학습시킵니다. 회귀나무 세 개가 같은 새 관측값에 8, 11, 11을 예측했다면 단순 평균 예측은 (8+11+11)/3=10입니다. 각 나무의 오차가 서로 다르게 나타날 때 평균이 한 나무의 큰 흔들림을 줄일 수 있습니다. 모든 모델이 같은 방향으로 똑같이 틀리면 평균만으로 오류가 없어지지는 않습니다.

분류에서는 범주 투표를 쓰거나 각 범주의 확률을 평균 내는 방법이 있습니다. scikit-learn의 랜덤포레스트 분류기는 나무의 확률 예측을 평균 냅니다. 나무가 낸 최종 범주를 한 표씩 세는 방식과 확률 평균은 결과가 다를 수 있으므로 문제에 결합 방법이 주어지면 그 방법을 따릅니다.

랜덤포레스트는 나무들이 너무 닮지 않게 합니다

설명력이 강한 변수 하나가 있으면 표본을 다시 뽑아도 여러 나무가 그 변수를 첫 분할에 사용할 수 있습니다. 나무들이 비슷하면 예측 오차도 비슷해져 결합의 이점이 작아집니다. 랜덤포레스트는 각 분할에서 전체 변수 대신 무작위로 고른 일부 변수를 후보로 검토합니다. 표본뿐 아니라 후보 변수도 바꿔 나무들이 덜 닮게 하는 장치입니다.

설명변수가 9개이고 한 분할에서 3개를 후보로 검토한다고 합시다. 어떤 노드에서는 A, D, H를 비교하고 다음 노드에서는 B, E, G를 비교할 수 있습니다. 후보 수 3은 나무가 세 개라는 뜻도, 완성된 나무 전체가 변수 세 개만 쓴다는 뜻도 아닙니다. 분할마다 후보 집합을 새로 고른다는 점에 주목하세요.

후보 변수를 너무 줄이면 개별 나무가 중요한 정보를 놓칠 수 있습니다. 나무 수, 깊이, 잎의 최소 표본 수와 함께 검증 결과를 보며 설정을 선택합니다. 랜덤포레스트라는 이름만으로 과적합이 불가능해지거나 모든 자료에서 단일 나무보다 좋아지는 것은 아닙니다.

부스팅은 앞의 예측에서 남은 문제를 이어받습니다

부스팅 알고리즘마다 예측을 보정하는 방식은 다릅니다. AdaBoost 분류는 잘못 분류한 관측값에 다음 학습에서 더 관심을 두도록 가중치를 조정합니다. 그래디언트 부스팅은 손실이 줄어드는 방향을 나타내는 음의 기울기를 다음 모델이 학습합니다. 제곱오차 회귀에서는 이 대상이 잔차와 연결됩니다.

학습용 예로 실제 값이 10인데 현재 예측이 6이라고 합시다. 잔차는 실제 값에서 예측값을 뺀 4입니다. 다음 회귀나무가 이 관측값에서 보정값 3을 내고 학습률이 0.2라면 예측을 6+0.2×3=6.6으로 갱신합니다. 새 잔차는 10−6.6=3.4입니다. 새 나무의 예측 3을 기존 예측 6과 단순 평균 내는 계산이 아닙니다.

학습률은 새 모델의 기여를 얼마나 반영할지 조절합니다. 작은 학습률은 한 번에 움직이는 폭을 줄이지만 같은 수준까지 학습하는 데 더 많은 단계가 필요할 수 있습니다. 단계 수를 무작정 늘리면 학습 자료의 잡음까지 따라갈 수 있어 검증 점수와 조기 종료 조건을 함께 봅니다. 모든 부스팅을 잔차만 반복해서 학습한다고 외우면 AdaBoost의 표본 가중치 설명과 혼동하게 됩니다.

별도 학습과 순차 보정을 상황에서 구별합니다

배깅은 각자 풀어 모으고 부스팅은 앞에서 남긴 오류를 이어받는다고 정리해 보세요. 배깅은 여러 부트스트랩 표본을 나란히 놓는 장면이고 부스팅은 현재 예측을 고친 뒤 다음 단계로 넘기는 장면입니다. 이 설명은 다음 학습이 앞 단계의 결과를 필요로 하는지 구분한 것입니다. 부스팅을 구현한 프로그램 내부에서 어떤 연산도 병렬 처리할 수 없다는 뜻은 아닙니다.

새 문제에서 복원추출만 보이면 부스팅이라고 고르지 않습니다. 앞 단계의 오차를 다음 단계가 실제로 쓰는지 확인하세요. 랜덤포레스트를 찾는 단서는 여러 나무뿐 아니라 분할 후보 변수의 무작위 선택입니다.

실제 모델은 같은 데이터 분할과 같은 지표로 비교하세요. 그래야 평가 조건의 차이를 학습 방식의 성능 차이로 오해하지 않습니다.