정부가 편성한 2027년 예산안은 총지출 820조 9,000억 원 규모이고, 이 가운데 ‘3대 메가프로젝트+AI’에만 21조 3,000억 원이 배정되었습니다. 직전 10조 8,000억 원에서 두 배 가까이 늘어난 금액입니다.
예산이 늘면 현장에서 가장 먼저 커지는 것은 모델이 아니라 데이터 물량입니다. 그리고 물량이 커질 때 가장 먼저 무너지는 공정이 검수입니다. 라벨링 품질 검수 기준을 물량이 커지기 전에 숫자로 정해두지 않으면, 검수는 품질을 보증하는 장치가 아니라 일정을 잡아먹는 병목으로 변합니다.
전수검수는 품질을 보증하지 않습니다
대규모 데이터 라벨링 프로젝트를 수주하면 발주자가 가장 듣고 싶어 하는 말이 있습니다. “전수검수하겠습니다.”
저희도 오래 그렇게 제안했습니다. 검수 범위를 100%로 적으면 제안서가 든든해 보이고, 발주자도 안심합니다. 문제는 그 약속을 실제로 지키려고 할 때 벌어집니다.
십만 장 단위의 이미지를 전수로 본다고 가정해 보시기 바랍니다. 한 사람이 하루에 집중력을 유지하며 판정할 수 있는 분량에는 한계가 있습니다. 그 한계를 넘기면 화면은 넘어가지만 판단은 넘어가지 않습니다. 실제로 저희가 겪은 일은 이렇습니다. 앞쪽 배치에서는 경계 오차 몇 픽셀까지 잡아내던 검수자가, 뒤쪽 배치에서는 클래스가 통째로 뒤바뀐 건을 놓쳤습니다.
전수검수는 “전부 보았다”를 보증할 뿐 “전부 맞다”를 보증하지 않습니다. 라벨링 품질 검수 기준을 검수 범위의 비율로만 적어두면 이 함정을 피할 수 없습니다. 게다가 전수검수는 구조상 자기 점검이 불가능합니다. 표본을 남겨두지 않았으므로 검수가 얼마나 정확했는지 되짚을 방법이 없습니다. 100%를 보았다는 기록만 남고, 그 기록의 신뢰도를 재는 눈금은 없습니다.
검수는 오류를 찾는 일이 아니라 합격 여부를 판정하는 일입니다
관점을 하나 바꾸면 문제의 성격이 달라집니다. 검수의 목적은 오류를 한 건도 남기지 않는 것이 아니라, 오류율이 사전에 합의한 선 아래에 있음을 통계적으로 보이는 것입니다.
제조업은 이 문제를 이미 오래전에 풀었습니다. 부품 100만 개를 전수로 뜯어볼 수 없으니, 로트 단위로 표본을 뽑아 합격 여부를 판정하는 체계를 만들었습니다. 그 체계의 국제표준이 ISO 2859-1:2026이고, 공교롭게도 올해 1월 27년 만에 3판으로 개정되면서 연속 합격 로트의 검사를 건너뛰는 절차까지 새로 들어갔습니다.
AI 데이터에 이 체계를 그대로 옮겨올 수는 없습니다. 볼트의 치수 불량과 라벨의 판정 불일치는 성격이 다릅니다. 그러나 합격 품질 수준을 먼저 합의하고, 표본으로 그 수준을 검증하고, 결과에 따라 검사 강도를 조절한다는 골격은 그대로 쓸 수 있습니다. 저희가 검수 설계를 다시 짠 출발점이 바로 여기였습니다.
라벨링 품질 검수 기준을 세우는 3단계
아래 세 단계는 지금 저희가 프로젝트 착수 전에 반드시 문서로 확정하는 순서입니다. 순서를 바꾸면 뒷단계가 무의미해집니다.
무엇을 오류로 볼지 문장으로 먼저 정합니다
가장 흔한 실패는 표본 크기를 잘못 잡는 것이 아니라, 오류의 정의가 없는 상태에서 검수를 시작하는 것입니다.
경계 상자가 실제 객체보다 2픽셀 넓으면 오류입니까. 절반이 가려진 사람의 가려진 부분까지 추정해 그렸다면 오류입니까. 트럭인지 버스인지 사람마다 갈리는 차량은 어느 쪽이 정답입니까. 이 질문에 문서로 답하지 않은 채 검수를 시작하면, 검수 결과는 데이터의 품질이 아니라 그날 검수자의 성향을 측정하게 됩니다.
저희는 오류를 세 등급으로 나눠 정의합니다.
- 치명 – 클래스 오기입, 객체 누락, 좌표가 다른 프레임에 붙은 경우. 그 한 건으로 학습이 왜곡되는 오류입니다.
- 중대 – 경계 오차가 합의한 허용치를 넘는 경우, 속성값 누락. 모델 성능에 영향을 주지만 방향을 뒤집지는 않습니다.
- 경미 – 허용치 안쪽의 경계 흔들림, 표기 형식 불일치. 일관성 관리 대상입니다.
등급을 나누는 이유는 단순합니다. 등급마다 허용치를 다르게 잡아야 하기 때문입니다. 경미 오류를 치명 오류와 같은 잣대로 막으려 하면 비용이 폭증하고, 반대로 하나의 허용치로 뭉뚱그리면 치명 오류가 그 안에 숨습니다.
로트를 나누고 표본 수와 합격 판정 개수를 숫자로 정합니다
로트는 같은 조건으로 만들어진 묶음입니다. 작업자 그룹, 촬영 조건, 작업 기간이 같은 데이터를 하나의 로트로 묶습니다. 조건이 다른 데이터를 한 로트에 섞으면 불합격이 나와도 원인을 추적할 수 없고, 재작업 범위도 정할 수 없습니다.
로트 크기도 미리 정합니다. 너무 크게 묶으면 불합격 한 번에 재작업 범위가 감당할 수 없게 커지고, 너무 잘게 나누면 표본 총량이 전수검수에 가까워집니다. 저희는 재작업을 하루 안에 되돌릴 수 있는 분량을 상한으로 잡는 편입니다.
표본 수는 “전체의 10%”처럼 비율로 정하지 않습니다. 비율로 정하면 작은 로트는 과도하게 검사하고 큰 로트는 사실상 검사하지 않는 결과가 됩니다. 로트 크기 구간별로 표본 수를 표로 미리 정해두고, 그 표를 계약 문서에 붙입니다.
합격 판정 개수도 착수 전에 확정합니다. 표본에서 치명 오류가 몇 건까지 나오면 그 로트를 합격으로 볼 것인지를 숫자로 적어두는 일입니다. 저희는 치명 등급에는 사실상 여유를 두지 않고, 중대·경미 등급에만 여유를 둡니다.
검수 흐름은 다음 한 줄로 정리됩니다.
로트 확정 → 표본 추출 → 등급별 판정 → 합격 / 로트 단위 재작업 → 검사 강도 전환마지막 단계가 핵심입니다. 연속으로 합격한 작업자 그룹의 로트는 표본을 줄이고, 한 번 불합격한 그룹의 로트는 표본을 늘립니다. 같은 인력으로 위험한 구간에 검수 밀도를 몰아주는 장치입니다.
재작업 단위를 개별 건이 아니라 로트로 두는 것도 의도된 설계입니다. 표본에서 발견된 오류만 고치면 표본 밖의 같은 오류는 그대로 남습니다. 표본은 로트를 판정하는 근거이지, 수정 대상의 목록이 아닙니다.
검수자 간 일치도를 먼저 재고 사람을 투입합니다
앞의 두 단계를 다 갖춰도, 검수자마다 판정이 갈리면 합격 여부는 검수자 배정 운에 따라 결정됩니다.
그래서 저희는 신규 검수자를 실제 로트에 투입하기 전에 골든셋을 먼저 풀게 합니다. 정답이 확정된 50건에서 100건 사이의 표본을 여러 검수자에게 같은 조건으로 주고, 판정이 얼마나 일치하는지를 봅니다. 자사 지식센터에도 골든셋의 역할을 따로 정리해 두었습니다.
여기서 중요한 것은 점수가 아니라 불일치가 난 항목의 목록입니다. 그 목록이 곧 오류 정의서의 구멍입니다. 저희 경험상 불일치의 대부분은 검수자의 실력 문제가 아니라 정의서가 답하지 않은 경계 사례에서 나왔습니다. 그래서 일치도 측정은 사람을 거르는 시험이 아니라 정의서를 고치는 절차로 운영합니다.
한 번 재고 끝내지도 않습니다. 프로젝트가 길어지면 기준이 서서히 흘러갑니다. 중반에 같은 골든셋을 다시 돌려 초기 판정과 비교하면, 기준이 어느 방향으로 얼마나 밀렸는지가 그대로 드러납니다.
이 방식을 쓸 때 오해하기 쉬운 지점
표본검수가 항상 옳다는 뜻은 아닙니다. 저희가 실제로 부딪힌 한계를 그대로 적습니다.
첫 번째로, 희소 클래스에는 표본이 닿지 않습니다. 전체의 1%도 되지 않는 클래스는 표본에 한두 건 들어오거나 아예 들어오지 않습니다. 이런 클래스는 따로 뽑아 전수로 보거나, 층을 나눠 별도 표본을 배정해야 합니다. 희소한 상황일수록 모델이 어려워한다는 점을 생각하면, 여기서 아끼는 것은 손해입니다.
두 번째로, 한 건의 오류가 사람의 안전으로 이어지는 도메인에서는 표본만으로 부족합니다. 산업안전이나 의료 영상처럼 실패 비용이 비대칭인 영역에서는 치명 등급에 한해 전수 확인을 유지하고, 나머지 등급에만 표본을 적용하는 혼합 설계를 씁니다. 영상 데이터 가공처럼 프레임 수가 많은 작업에서는 이 구분이 특히 중요합니다.
세 번째로, 표본검수는 위험을 없애는 장치가 아니라 위험의 크기를 합의하는 장치입니다. 합격 판정을 받은 로트에도 발견되지 않은 오류가 남아 있을 수 있습니다. 이 사실을 착수 전에 발주자와 공유하지 않으면, 납품 후에 오류가 한 건 나왔을 때 검수 자체가 부실했다는 이야기로 번집니다. 저희는 제안 단계에서 합격 기준과 잔존 위험을 같은 문서에 적습니다. 불편한 숫자를 먼저 꺼내는 쪽이 결국 분쟁을 줄입니다.
네 번째로, 자동 검증으로 거를 수 있는 항목까지 사람에게 맡기지 않습니다. 좌표가 이미지 경계를 벗어났는지, 정의되지 않은 클래스 값이 들어갔는지, 파일과 라벨의 짝이 맞는지는 규칙으로 전부 걸러집니다. 이런 항목이 표본검수 결과에 섞여 들어오면 판정이 왜곡됩니다. 규칙으로 걸리는 오류는 규칙이 먼저 잡아내고, 사람은 판단이 필요한 항목에만 붙는 것이 라벨링 품질 검수 기준을 설계할 때의 기본 전제입니다.
결론
검수 설계는 AI 학습 데이터를 다루는 일에서 가장 나중에 논의되고 가장 먼저 무너지는 영역입니다. 전수검수라는 약속은 그 논의를 미루게 만드는 가장 편한 방법이기도 합니다.
라벨링 품질 검수 기준은 검수 인원을 몇 명 붙일 것인가의 문제가 아니라, 무엇을 오류로 볼 것인지, 어느 단위로 판정할 것인지, 판정하는 사람들끼리 기준이 맞는지를 착수 전에 문장과 숫자로 확정하는 문제입니다. 같은 관점을 로봇 데이터에 적용한 기록은 로봇 조작 데이터 어노테이션 기준에 정리해 두었습니다.
검수를 줄이자는 이야기가 아닙니다. 검수가 사라지는 것이 아니라, 오히려 검수에 쓰는 시간이 어디로 가야 하는지가 분명해지는 것입니다.
프롬데이터는 도메인과 물량에 맞는 검수 설계를 제안 단계에서 함께 만듭니다. 가장 효율적인 데이터 구축 방법을 함께 찾겠습니다.