데이터 수집 규모가 다시 커지는 국면입니다. 정부는 2027년도 예산안에서 피지컬 AI 관련 투자를 올해 9천억 원 수준에서 3조 1천억 원 규모로 늘리겠다고 밝혔습니다. 그 안에는 로봇과 센서로 실제 움직임을 기록해 기업이 학습과 검증에 쓰도록 하겠다는 트레이닝 센터 예산도 들어 있습니다. 데이터를 모을 돈과 자리가 함께 생기는 셈입니다.
그래서인지 최근 상담에서 가장 먼저 나오는 질문도 비슷합니다. “몇 건 정도 모으면 됩니까.” 저희는 이 질문에 바로 답하지 않습니다. 건수를 정하기 전에 먼저 확정해야 하는 것이 있기 때문입니다. 그것이 데이터셋 변이 설계 기준입니다.
같은 장면을 더 모으는 일은 어느 지점부터 멈춥니다
현장에서 가장 흔한 실패는 데이터가 부족해서 생기지 않습니다. 같은 조건의 데이터만 많아서 생깁니다. 한 설비 앞에서 같은 동작을 200번 찍은 데이터셋과, 다섯 군데에서 40번씩 찍은 데이터셋은 총량이 같지만 성질이 전혀 다릅니다. 앞의 데이터셋으로 학습한 모델은 그 설비 앞에서만 잘 맞습니다.
로봇 조작 분야에서는 이 현상이 비교적 선명하게 정리되어 있습니다. 로봇 조작 모방학습의 데이터 스케일링 법칙 연구(Lin 외, 2024)는 4만 건이 넘는 시연과 1만 5천 회 이상의 실제 로봇 실행을 분석한 뒤, 일반화 성능을 가르는 것은 시연의 절대 수가 아니라 환경과 대상의 다양성이라고 정리했습니다. 한 환경에서 모은 시연 수는 일정 수준을 넘어서면 추가 효과가 뚜렷하게 줄어든다는 관찰도 함께 제시했습니다.
산업안전 영상이든 로봇 조작이든 구조는 같습니다. 수량은 비용을 결정하고, 변이가 쓸모를 결정합니다. 그런데 견적서와 사양서는 거의 언제나 수량 칸부터 채워집니다. 순서가 뒤집혀 있는 것입니다.
검증 점수가 높은데 현장에서 풀리는 이유
이 문제가 늦게 발견되는 이유도 분명합니다. 검증용 데이터를 같은 더미에서 나누어 쓰기 때문입니다. 한 설비 앞에서 모은 200건을 8 대 2로 가르면 검증 점수는 높게 나옵니다. 학습한 조건과 검증하는 조건이 같으니 당연한 결과입니다. 모델이 현장에 나가 처음 보는 자리를 만나는 순간에야 숫자와 현실이 갈라집니다. 변이 설계는 성능을 높이는 기법이 아니라, 검증 점수를 믿을 수 있게 만드는 전제에 가깝습니다.
데이터셋 변이 설계 기준을 세우는 3가지 축
저희는 산업안전 분야의 고정 카메라 학습 영상을 직접 설계하고 납품하면서 데이터셋 변이 설계 기준을 세 축으로 정리했습니다. 두 축은 의도적으로 넓히는 축이고, 나머지 한 축은 반대로 좁혀서 묶는 축입니다. 세 번째 축을 넓히면 오히려 데이터셋이 망가집니다.
같은 이벤트를 발생 위치로 먼저 쪼갭니다
바닥에 기름이 고이는 상황을 예로 들겠습니다. 라벨 기준으로는 하나의 클래스입니다. 그러나 드럼통 측면에서 새는 경우, 유압 설비 하부에서 배어 나오는 경우, 적재 파렛트 아래에 고이는 경우는 화면에서 전혀 다른 그림이 됩니다. 배경 구조물이 다르고, 바닥 반사가 다르고, 액체가 퍼지는 모양도 다릅니다.
위치를 쪼개지 않고 한 곳에서 편수만 늘리면 모델은 “기름”을 배우지 않고 “그 설비 옆 바닥의 얼룩”을 외웁니다. 운용 환경에서 다른 자리에 기름이 고이는 순간 탐지가 풀립니다. 그래서 저희는 한 클래스를 받으면 가장 먼저 발생 지점 목록을 만듭니다. 몇 편을 만들지는 그다음에 정합니다.
실무에서는 이 목록을 고객과 함께 작성하는 편이 안전합니다. 발주하는 쪽은 자기 현장에서 그 사고가 실제로 어디서 났는지 알고 있고, 만드는 쪽은 그 목록 없이 위치를 상상할 수 없기 때문입니다. 저희가 목록 초안을 먼저 적어 보여 드리면 대부분 두세 군데가 더해지고 한 군데가 빠집니다. 빠지는 자리에는 거의 언제나 이유가 있습니다. 그 공정이 이미 없어졌거나, 그 자리에서는 그 사고가 구조적으로 일어나지 않는 경우입니다.
같은 위치 안에서 진행 방식을 나눕니다
두 번째 축은 시간 축입니다. 같은 장소에서 같은 클래스의 사건이 일어나더라도, 전개 방식이 다르면 모델이 보는 신호가 달라집니다.
인양물 하부 통행을 예로 들면 통로를 가로질러 지나가는 경우, 인양물과 같은 방향으로 따라 걷는 경우, 두 사람이 연이어 통과하는 경우, 반대 방향에서 교차하는 경우, 대각으로 비스듬히 빠져나가는 경우가 모두 같은 위험 상황입니다. 화면 구도는 거의 같지만 프레임 사이의 변화는 서로 다릅니다.
영상 모델은 공간 패턴만 외우지 않습니다. 시간 패턴도 함께 외웁니다. 한 가지 경로만 모으면 “왼쪽에서 오른쪽으로 지나가는 사람”이 클래스의 정의가 되어 버립니다. 구간을 어떤 단위로 끊고 무엇을 하나의 사건으로 셀지는 로봇 조작 데이터 어노테이션, 실무에서 확정한 핵심 4가지 기준에서 따로 정리한 적이 있습니다. 변이 목록은 그 단위 위에서 만들어집니다.
관측 조건은 변이가 아니라 규격으로 묶습니다
세 번째 축은 넓히는 축이 아닙니다. 카메라 화각, 설치 높이, 해상도, 프레임레이트, 압축 방식 같은 관측 조건은 변이로 늘리는 것이 아니라 하나로 고정해야 하는 항목입니다.
이 대목에서 자주 오해가 생깁니다. 다양할수록 좋다는 말을 들은 담당자가 화각과 해상도까지 섞어 달라고 요청하는 경우가 있습니다. 그러나 운용 카메라가 한 종류라면 데이터도 한 종류여야 합니다. 클래스와 무관한 변동이 데이터셋 안에서 커지면, 모델은 그 변동을 설명하는 데 학습 용량을 씁니다. 사건을 구분하는 데 쓰여야 할 용량입니다.
예외는 운용 환경 자체가 여러 규격으로 섞여 있는 경우뿐입니다. 그때도 “다양하게”가 아니라 “현장 A 규격 몇 퍼센트, 현장 B 규격 몇 퍼센트”로 적습니다. 고정해야 할 값과 넓혀야 할 값을 갈라 적는 자리가 데이터셋 명세서입니다. 명세서에 어떤 항목을 남겨야 하는지는 데이터셋 명세서 작성 기준, 1년 뒤에도 쓰이는 데이터의 핵심 3가지에서 다뤘습니다.
실무자가 짚어야 할 지점
여기까지가 설계의 뼈대라면, 실제로 목록을 만들다 보면 어긋나는 지점이 따로 있습니다.
첫 번째는 변이를 균등하게 배분하는 것입니다. 다섯 가지 위치를 뽑았다고 해서 다섯 등분해야 할 이유는 없습니다. 운용 환경에서 자주 발생하는 조건에 더 많은 분량을 두는 편이 맞습니다. 균등 배분은 공평해 보이지만, 실제 분포와 학습 분포를 일부러 어긋나게 만드는 선택입니다.
두 번째는 변이를 늘리다가 클래스 경계를 흐리는 것입니다. 같은 동작의 미세한 변형을 여러 개 만들었는데 사람 눈으로도 구분이 어렵다면, 그것은 변이가 아니라 중복입니다. 반대로 변형의 폭을 너무 넓히면 옆 클래스와 겹칩니다. 변이 목록을 만든 다음에는 “이 둘을 왜 다른 변이로 세는가”를 한 문장으로 적어 보시기를 권합니다. 문장이 써지지 않으면 둘 중 하나는 지우는 편이 낫습니다.
세 번째는 저희가 직접 겪은 순서의 문제입니다. 처음 맡은 산업안전 영상 건에서 저희는 총 편수를 먼저 확정하고 그 안에서 변이를 나누었습니다. 그러면 변이 목록이 편수에 끼워 맞춰집니다. 꼭 필요한 변이가 빠지고, 굳이 없어도 될 변이가 남습니다. 지금은 순서를 뒤집어서 변이 목록을 먼저 만들고, 변이 하나당 최소 분량을 정한 뒤, 그 곱으로 총 편수를 산출해 고객과 조율합니다.
덧붙이자면 변이 하나에 결과물을 한 건만 두는 구성은 피하시는 편이 좋습니다. 한 건만 있으면 그 한 건의 특이한 점이 그 조건 전체를 대표하게 되고, 결함을 보고도 조건의 문제인지 개별 결과물의 문제인지 구분할 수 없게 됩니다. 이 구분이 왜 중요한지는 합성 영상 난이도 산정, 길이보다 먼저 봐야 할 5가지 핵심 조건에서 다룬 바 있습니다.
변이 목록을 만드는 일은 한 번으로 끝나지 않습니다. 납품이 끝나고 모델을 돌려 보면 특정 조건에서만 성능이 주저앉는 구간이 드러납니다. 그 구간이 바로 다음 차수에서 채워야 할 변이입니다. 이렇게 보면 데이터셋 변이 설계 기준은 착수 전에 한 번 쓰고 덮는 문서가 아니라, 차수가 바뀔 때마다 갱신되는 목록에 가깝습니다. 1차에서 다 채우려 하지 않는 편이 현실적입니다.
결론
데이터 구축 예산이 커질수록 수량을 늘리는 선택은 쉬워집니다. 그러나 같은 조건의 데이터를 두 배로 늘리는 일은 비용을 두 배로 늘리고 성능은 그만큼 올리지 못합니다. 발생 위치를 쪼개고, 진행 방식을 나누고, 관측 조건을 하나로 묶는 세 가지 축을 먼저 세워 두면 같은 예산으로 훨씬 멀리 갑니다.
데이터셋 변이 설계 기준은 결국 “무엇을 다르게 할 것인가”와 “무엇을 끝까지 같게 둘 것인가”를 갈라 적는 일입니다. 이 두 목록이 없으면 수량 협의는 근거 없는 흥정이 됩니다. 반대로 두 목록이 있으면 편수와 단가는 계산으로 나옵니다.
정부 지원사업으로 데이터를 구축하시는 경우라면 이 점이 더 중요해집니다. 데이터바우처처럼 사업 기간과 예산이 먼저 정해지는 구조에서는 중간에 변이를 추가하기가 어렵습니다. 착수 전에 목록을 확정해 두는 일이 사업 성패를 가릅니다. 그리고 그 목록은 데이터 라벨링 작업 지침서보다 먼저 나와야 합니다.
AI 학습 데이터의 가치는 결국 처음 보는 조건에서도 버티는가로 판가름 납니다. 데이터 구축을 준비하고 계신다면, 가장 효율적인 데이터 구축 방법을 함께 찾겠습니다.