미국의 한 피지컬 AI 기업으로부터 공구를 다루는 사람의 손 동작을 영상으로 모아 달라는 요청을 받았습니다. 로봇 조작 정책을 학습시키기 위한 사전학습용 데이터였습니다. 본 수집에 들어가기 전 사양을 확정하기 위해 멀티뷰 행동 데이터 수집 파일럿을 먼저 진행했고, 그 과정에서 문서로는 예측하기 어려웠던 문제들을 만났습니다. 이번 글에서는 파일럿 두 세션에서 실제로 걸렸던 지점들을 정리해 드립니다.
촬영은 실제 제조 현장을 대여해 진행했습니다. 작업대와 자재, 주변 설비가 함께 잡히는 환경이어야 학습에 쓸 수 있는 장면이 나오기 때문입니다.
로봇이 사람의 작업을 따라 하려면 사람이 그 작업을 하는 장면이 대량으로 필요합니다. 최근 국내외에서 사람 시점 영상 데이터에 대한 수요가 빠르게 늘고 있는 이유입니다. 다만 수요가 늘었다고 해서 촬영이 쉬워지는 것은 아닙니다. 카메라를 몸에 붙이는 순간, 스튜디오 촬영에서는 겪지 않던 종류의 변수가 한꺼번에 들어옵니다.
고객사의 요구는 “손이 무엇을 하고 있는가”였습니다
처음 받은 요구사항은 단순했습니다. 사람이 톱질하고, 망치질하고, 드라이버로 나사를 체결하는 장면을 1인칭 시점으로 촬영해 달라는 것이었습니다.
그런데 사양을 좁혀 가며 확인해 보니 고객사가 실제로 필요로 한 것은 “작업 장면”이 아니었습니다. 공구를 쥔 손이 언제 대상물에 닿고, 어느 방향으로 힘을 주고, 언제 놓는지였습니다. 같은 망치질이라도 못을 겨누는 구간과 내려치는 구간은 로봇 정책 학습에서 전혀 다른 값을 가집니다.
이 차이를 초반에 정리하지 않으면 촬영은 되었는데 쓸 수 없는 영상이 쌓입니다. 그래서 파일럿의 목표를 “영상을 찍는 것”이 아니라 “손과 대상물의 관계가 프레임 안에 항상 남아 있는 촬영 조건을 찾는 것”으로 바꾸었습니다.
헤드캠 한 대로는 손을 놓칩니다
에고센트릭 수집이라고 하면 보통 머리에 카메라를 다는 방식을 떠올립니다. 저희도 처음에는 헤드캠 한 대로 충분할 것이라고 보았습니다.
실제로 찍어 보니 그렇지 않았습니다. 사람의 시선은 손보다 앞서 움직입니다. 못을 박는 동안에도 시선은 이미 다음 못 자리를 보고 있고, 톱질 중에는 절단선 끝을 봅니다. 그 사이 손은 화면 아래쪽으로 밀려나거나 프레임 밖으로 나갑니다. 정작 학습에 필요한 접촉 순간이 비어 있는 구간이 반복해서 생겼습니다.
여기서 구성을 바꾸었습니다. 헤드캠 1대에 양쪽 손목캠 2대를 더한 3뷰 리그입니다. 시점이 늘어나는 것이 아니라, 놓치는 구간이 서로 메워지는 구조를 만드는 것이 목적이었습니다. 1인칭과 다른 시점을 동시에 확보하는 접근은 Ego-Exo4D 같은 공개 데이터셋에서도 숙련 동작을 다룰 때 채택하고 있는 방식입니다.
멀티뷰 행동 데이터 수집 파일럿은 이렇게 구성했습니다
헤드캠 1대 + 손목캠 2대
머리에 1대, 양 손목에 각각 1대를 장착했습니다. 헤드캠은 작업 맥락과 대상물의 위치를, 손목캠은 파지 형태와 접촉 순간을 담당합니다. 역할을 나누어 두면 나중에 데이터 라벨링 단계에서 어느 시점 영상을 기준으로 접촉 개시를 판정할지 다투지 않아도 됩니다.
손목캠은 장착 각도가 결과를 크게 좌우했습니다. 손등 쪽에 평행하게 달면 공구 자루만 크게 잡히고 대상물이 보이지 않습니다. 손목 바깥쪽에서 약간 안쪽으로 틀어 다는 편이 손과 대상물을 함께 담기에 유리했습니다.
한쪽 손목에만 다는 방안도 검토했습니다만 공구 작업에서는 성립하지 않았습니다. 톱질은 한 손이 톱을 밀고 다른 손이 자재를 누릅니다. 납땜은 한 손이 납을 대고 다른 손이 인두를 움직입니다. 두 손이 하는 일이 아예 다르고, 그 타이밍이 맞물려야 작업 하나가 성립합니다. 주로 쓰는 손만 촬영하면 반대 손의 동작이 통째로 빠지고, 로봇 양팔 제어를 염두에 둔 학습에서는 그 절반이 오히려 중요한 정보가 됩니다.
세션 단위로 끊어서 촬영합니다
한 번에 길게 찍지 않고 작업 단위로 세션을 끊었습니다. 파일럿은 두 세션으로 진행했고, 세션 하나가 끝나면 카메라 3대를 모두 정지시킨 뒤 다음 세션을 시작했습니다.
길게 찍으면 촬영은 편하지만 뒤에 오는 데이터 가공 공정이 무거워집니다. 세션이 끊겨 있으면 문제가 생긴 구간만 재촬영하면 되지만, 한 덩어리로 찍으면 그 안의 한 구간 때문에 전체를 다시 봐야 합니다.
타임코드 동기화를 지원하는 기종으로 묶습니다
멀티뷰 수집에서 가장 먼저 무너지는 것은 시각 정렬입니다. 카메라마다 내부 시계가 미세하게 다르고, 녹화 버튼을 누르는 시점도 사람 손으로는 맞출 수 없습니다. 세 영상을 후처리에서 눈으로 맞추면 세션 하나에 수십 분이 들어가고, 그렇게 맞춘 값은 프레임 단위 라벨링의 기준으로 쓰기 어렵습니다.
그래서 장비를 고를 때 화질보다 동기화 지원 여부를 먼저 보았습니다. 이번 파일럿에는 네이티브 타임코드 동기화를 지원하는 고프로 HERO13 Black 3대를 사용했습니다. 전용 앱에서 생성한 QR 코드를 세 대가 차례로 인식하면 동일한 타임코드가 각 영상의 메타데이터에 기록되고, 후처리에서는 그 값만으로 세 시점을 한 타임라인에 올릴 수 있습니다. 정렬이 편집자의 눈이 아니라 촬영 단계의 사양으로 확보되는 셈입니다.
다만 이 방식에도 한계가 있습니다. 타임코드는 카메라 내부 시계를 따라 흐르기 때문에 촬영이 길어지면 대별로 미세한 드리프트가 쌓입니다. 앞서 세션을 짧게 끊은 이유가 여기에도 걸립니다. 세션마다 다시 동기화하면 드리프트가 누적될 구간 자체가 생기지 않습니다.
여기에 보험을 하나 더 두었습니다. 세션 시작 직후 공구로 작업대를 한 번 타격하는 동작입니다. 타임코드가 의심스러운 세션이 나오면 이 시각·음향 신호로 교차 검증할 수 있습니다.
정리하면 촬영 흐름은 이렇게 됩니다.
타임코드 동기화 → 세션 시작 → 기준 타격 → 작업 수행 → 세션 종료 → 3뷰 파일 회수 → 세션 매칭 → 유효 구간 선별
파일럿에서 실제로 걸린 5가지
카메라별 파일 번호가 서로 맞지 않습니다
같은 세션을 찍었는데도 카메라마다 저장된 파일 번호가 달랐습니다. 헤드캠과 양쪽 손목캠의 파일 번호가 제각각이어서, 파일명만 보고는 어느 영상이 어느 세션의 짝인지 알 수 없었습니다.
카메라별로 이전에 남아 있던 촬영 이력이 다르면 번호는 얼마든지 어긋납니다. 파일명 규칙을 촬영 장비에 맡겨 둔 것이 원인이었습니다. 이후로는 회수 즉시 세션·시점·차수를 담은 이름으로 다시 붙이는 절차를 촬영 당일 작업에 포함시켰습니다.
손목캠은 노출이 튑니다
손목캠은 대상물과의 거리가 20~30cm로 가깝습니다. 손 그림자가 화면의 절반을 덮거나, 공구 금속면의 반사로 순간적으로 화면이 하얗게 뜨는 구간이 나왔습니다. 헤드캠에서는 멀쩡한 장면이 손목캠에서는 못 쓰는 구간이 되는 경우입니다.
노출을 자동으로 두면 이 변화를 카메라가 계속 따라가면서 밝기가 출렁입니다. 파일럿 이후에는 작업 공간의 조명을 먼저 고정하고 노출도 고정값으로 잠근 뒤 촬영하는 쪽으로 바꾸었습니다.
촬영 시간이 곧 유효 시간은 아닙니다
세션 영상에는 자재를 가지러 가는 구간, 공구를 바꾸는 구간, 자세를 고쳐 잡는 구간이 섞여 있습니다. 학습에 쓰이는 것은 실제 공구가 대상물에 작용하는 구간입니다.
파일럿에서 확인한 바로는 이 유효 구간이 촬영 시간 전체의 절반에도 미치지 못했습니다. 견적과 일정을 촬영 시간 기준으로 잡으면 납품 단계에서 수량이 모자랍니다. 유효 구간 기준으로 환산해 목표 시간을 다시 잡아야 합니다.
세 시점의 화질을 같은 급으로 맞출 필요는 없습니다
처음에는 3대를 모두 최고 화질로 설정했습니다. 그 결과 세션 하나에서 나오는 원본이 수 기가바이트 단위로 커졌고, 백업과 전달에 걸리는 시간이 촬영 시간보다 길어졌습니다.
헤드캠은 맥락을 담는 역할이므로 손목캠만큼의 해상도가 필요하지 않습니다. 시점별로 역할을 정하고 그에 맞춰 설정을 달리하는 편이, 모든 시점을 균일하게 높이는 것보다 실무에서 낫습니다.
촬영 환경에 개인정보가 섞여 들어옵니다
작업 공간을 찍다 보면 의도하지 않은 정보가 프레임에 들어옵니다. 벽에 붙은 게시물, 작업자의 얼굴, 화면이 켜진 모니터 등입니다. 해외로 나가는 데이터라면 이 부분은 촬영 단계에서 정리하는 편이 안전합니다.
파일럿의 목적 중 하나가 이 확인이었습니다. 촬영 전에 공간을 한 바퀴 돌며 프레임에 들어올 수 있는 요소를 치우는 것만으로 후처리 부담이 크게 줄었습니다. 손목캠은 시야가 좁아 위험이 낮은 편이지만, 헤드캠은 작업자가 고개를 드는 순간 공간 전체를 담습니다. 시점마다 점검 기준을 달리 두는 편이 현실적입니다.
수집 사양과 라벨 정의서는 같이 확정해야 합니다
파일럿을 돌리며 한 가지를 더 확인했습니다. 촬영 사양과 라벨 정의서를 따로 정하면 반드시 어긋난다는 점입니다.
예를 들어 “접촉 개시” 시점을 라벨에서 어떻게 정의하느냐에 따라 필요한 프레임레이트가 달라집니다. 망치 머리가 못에 닿는 순간을 프레임 단위로 잡아야 한다면 초당 프레임 수를 올려야 하고, 작업 단계 수준으로만 구분한다면 그렇게까지 할 이유가 없습니다. 반대로 촬영을 먼저 끝내 놓고 라벨 기준을 정하면, 이미 찍힌 영상이 그 기준을 만족하지 못하는 경우가 생깁니다.
그래서 멀티뷰 행동 데이터 수집에서는 라벨 정의서 초안을 파일럿 이전에 만들고, 파일럿 결과로 그 초안을 고치는 순서를 권해 드립니다. 순서를 뒤집으면 본 수집이 끝난 뒤에야 문제가 드러납니다.
파일럿을 건너뛰면 본 수집에서 같은 값을 치릅니다
이번 건에서 파일럿이 알려 준 것은 새로운 기술이 아니었습니다. 리그 구성, 파일 명명, 노출 고정, 유효 구간 환산처럼 전부 실무 절차의 문제였습니다. 그러나 이 절차들이 정리되지 않은 채 본 수집에 들어갔다면, 촬영은 끝났는데 쓸 수 없는 영상이 쌓이는 상황을 맞았을 것입니다.
행동 데이터를 다루는 AI 학습 데이터 프로젝트에서 파일럿은 비용이 아니라 사양 확정 절차입니다. 수집 방법론의 일반 기준은 앞서 정리한 에고센트릭 데이터 수집 실무 가이드에서, 수집 이후의 검증 단계는 대규모 자동화 데이터의 신뢰성을 검증하는 3가지 파이프라인에서 함께 보시면 도움이 되실 것입니다.
멀티뷰 행동 데이터 수집을 검토하고 계시다면, 본 수집 전에 두 세션 정도의 파일럿을 반드시 넣으시기를 권해 드립니다. 가장 효율적인 데이터 구축 방법을 함께 찾겠습니다.