빅데이터 3V와 가치, 데이터가 많으면 답도 좋아질까

3V는 데이터의 특성이고 가치는 활용 결과입니다

같은 클릭 사건을 두 번 저장하면 파일은 커져도 새로운 행동을 관찰한 것은 아닙니다. 빅데이터의 규모와 분석 가치를 구분해야 하는 이유입니다. Volume, Velocity, Variety는 데이터를 저장하고 처리할 때 마주치는 서로 다른 특성을 말합니다.

Volume에서는 건수와 바이트를 구분합니다. 짧은 숫자 1만 건과 긴 영상 1만 개는 개수는 같아도 용량이 다릅니다. Velocity는 CPU 속도 자체가 아니며 초당 유입과 하루 누적도 다른 단위입니다. 같은 파일을 복사해 개수를 늘렸다고 Variety가 커지는 것은 아닙니다.

NIST의 빅데이터 정의는 이런 특성 때문에 효율적인 처리를 위한 확장 가능한 구조가 필요하다는 점을 설명합니다. 모든 조직에 똑같이 적용하는 용량 경계가 있는 것은 아닙니다. NIST는 변동성인 Variability도 다룹니다.

IBM의 빅데이터 설명에는 정확성과 신뢰성에 관한 Veracity, 활용 결과에 관한 Value도 나옵니다. 3V와 5V 중 하나만 맞는다고 보기보다 문서나 문제에서 어떤 특성을 묻는지 확인합니다.

초당 200건이 들어오고 150건을 처리하면

유입과 처리가 10분 동안 일정하고 초기 대기 0건, 손실이 없다고 가정하겠습니다. 매초 처리되지 못한 50건이 남으므로 600초 뒤 대기는 (200−150)×600 = 30,000건입니다.

여기서 주된 문제는 유입률과 처리 능력의 차이입니다. 데이터의 형태가 다양해졌다는 뜻은 아니므로 Variety로 답하지 않습니다. 30,000건은 처리 전 기록 수이며 저장 용량을 구하려면 사건당 바이트와 압축 조건 등이 더 필요합니다.

항상 즉시 처리해야 하는 것도 아닙니다. 다음 날 오전에 쓸 통계라면 밤에 모아 처리하는 방식이 맞을 수 있고, 현재 화면 안내에 쓸 정보라면 긴 지연을 허용하기 어렵습니다. 필요한 결과 시점에 맞춰 처리 방식을 선택합니다.

더 많은 행보다 질문에 필요한 기록을 고릅니다

앱 설명을 보완하려는 상황에서 자료 A는 같은 클릭 1,000건을 세 벌로 저장한 3,000행, 자료 B는 서로 다른 학습 질문 200건이라고 합시다. 어떤 설명이 어려운지 찾는 목적이라면 B가 더 직접적인 단서를 줄 수 있습니다. 트래픽을 재현하는 성능 실험이라면 필요한 자료가 달라집니다. 이 비교는 가상 예이며 실제 개선 성과를 뜻하지 않습니다.

클릭 수만으로는 오래 머문 이유가 관심인지 이해의 어려움인지 알기 어렵습니다. 틀린 문항의 유형과 질문을 살펴 수정할 설명을 정하고, 그 수정 후 무엇을 확인할지도 정해야 합니다. 분석 결과를 사용할 사람이 없거나 수정할 여력이 없다면 패턴을 찾고도 적용하지 못할 수 있습니다.

Value는 파일 수가 아니라 그 결과로 어떤 판단이 나아지는지 묻습니다. 분석 시간, 자료 정리와 유지 작업도 함께 고려합니다. 분석 질문을 대상과 시점으로 구체화하는 방법을 적용하면 무엇을 수집해야 하는지 범위를 좁힐 수 있습니다.

데이터가 많아도 남는 세 가지 문제

같은 사건 1,000건을 세 벌로 보관해도 서로 다른 사건은 1,000건입니다. 이를 독립적인 관측 3,000개로 해석하면 정보량을 부풀립니다. 중복 여부는 행 모양만이 아니라 한 행의 의미와 생성 과정으로 확인합니다.

자발적으로 질문을 남긴 사람만 모았다면 말없이 학습을 중단한 이용자의 어려움은 빠질 수 있습니다. 질문을 수백만 건으로 늘려도 수집 대상이 그대로면 전체 이용자를 자동으로 대표하지 않습니다.

질문을 많이 남긴 이용자의 성적이 높아도 질문 수를 늘리면 같은 효과가 생긴다고 결론 낼 수는 없습니다. 사전 지식과 학습 시간 같은 다른 요인이 관련될 수 있기 때문입니다. 예측에 도움이 되는 패턴과 행동을 바꿨을 때의 원인 효과는 구분합니다.

자료를 합칠 때도 단위, 기록 시점, 이용자 코드의 뜻을 맞춰야 합니다. Variety가 크다는 사실은 여러 출처의 통합을 이미 끝냈다는 뜻이 아닙니다.