로봇에게 “컵을 집어서 선반에 올려”라고 시키는 일은 이제 그렇게 어렵지 않습니다. 문제는 그다음입니다. 컵이 손에서 미끄러지면? 선반이 예상보다 5cm 높으면? 사람은 그 0.3초 사이에 손목 각도와 파지력을 바꿉니다. 로봇은 그 순간을 배운 적이 없으면 그냥 실패합니다. 바로 그 ‘순간’을 데이터로 남기는 가장 현실적인 방법이 에고센트릭 데이터 수집, 즉 작업자의 1인칭 시점 영상과 센서 신호를 구조화해서 모으는 작업입니다.
지난 편에서 정부가 피지컬 AI 데이터에 왜 조 단위 예산을 투입하는지를 다뤘습니다. 이번 편은 그보다 훨씬 실무적인 질문에서 출발합니다. “그래서 그 데이터, 실제로 어떻게 찍고 어떻게 라벨링하는데?” 카메라를 머리에 달고 촬영 버튼을 누르면 끝나는 일이 아닙니다. 스펙을 잘못 잡으면 촬영은 끝났는데 학습에는 못 쓰는 영상 수백 시간이 남습니다.
이 글은 장비 리뷰가 아닙니다. 어떤 안경이 좋은지가 아니라, 계약서와 작업지시서에 숫자로 적어야 하는 항목이 무엇인지를 정리했습니다. 촬영 파라미터, 라벨 정의, 검수 게이트, 개인정보 처리까지 순서대로 보시면 됩니다.
왜 지금 에고센트릭 데이터 수집이 화두가 됐나
숫자로 보면 흐름이 명확합니다. 로봇신문이 정리한 2026년 로봇 데이터 전쟁 특집에 따르면, 2024년 Pi0 모델이 사용한 실물 로봇 데이터는 약 1만 시간 규모였습니다. 2025년 Gen-0 모델은 UMI(범용 조작 인터페이스) 데이터를 27만 시간 썼습니다. 업계는 2026년에 주요 알고리즘 기업의 학습 데이터가 100만 시간을 넘어설 것으로 봅니다. 2년 만에 100배입니다.
이 정도 규모를 로봇 텔레오퍼레이션(원격조작)만으로 채우는 건 산술적으로 불가능합니다. 로봇 1대가 1시간 데이터를 만들려면 로봇 1대와 조작자 1명이 1시간을 써야 합니다. 반면 사람이 헤드셋형 카메라를 쓰고 평소 하던 작업을 하면, 작업 자체가 생산이면서 동시에 데이터 수집이 됩니다. 에고센트릭 데이터 수집이 “수동적으로 확장 가능한(passively scalable) 데이터 소스”라고 불리는 이유가 여기 있습니다.
실제로 애플 연구진이 공개한 EgoDex 데이터셋은 Apple Vision Pro로 수집한 829시간 분량의 1인칭 영상에 양손 관절의 3D 추적값을 함께 담았습니다. 194개 탁상 조작 과제를 다루며, 신발끈 묶기부터 빨래 개기까지 포함합니다. 메타와 15개 대학이 참여한 Ego-Exo4D는 1인칭과 3인칭을 시간 동기화해 함께 찍은 데이터셋으로, v2 기준 약 1,300시간 영상(그중 에고센트릭 221시간), 5,035편으로 구성돼 있습니다. 참가자는 6개국 800명 이상이었습니다.
국내 상황도 다르지 않습니다. 과학기술정보통신부는 2026년부터 2030년까지 경남·전북의 피지컬 AI 기반 AX 연구개발 사업에 1조 4,131억 원을 투입하기로 했고, 로봇 행동데이터와 합성데이터를 생산·가공하는 ‘로봇 훈련소’ 성격의 데이터 트레이닝센터 구축도 논의되고 있습니다. 수집 방법론을 미리 정리해 둔 조직과 그렇지 않은 조직의 격차는 앞으로 1~2년 안에 확실하게 벌어질 겁니다.
로봇 학습 데이터 규모는 2024년 1만 시간에서 2026년 100만 시간 전망까지 2년 만에 100배 수준으로 확대됐습니다.
텔레오퍼레이션과 에고센트릭 데이터 수집, 어떻게 나눠 쓸까
현장에서 가장 자주 받는 질문이 이겁니다. “로봇으로 직접 시연 데이터를 만드는 게 정확하지 않나요?” 맞습니다. 텔레오퍼레이션 데이터는 로봇의 관절 각도와 토크가 그대로 기록되기 때문에 학습에 바로 들어갑니다. 다만 로봇 대수, 조작자 수, 셋업 시간이 그대로 병목이 됩니다.
반대로 에고센트릭 데이터 수집은 사람 손과 로봇 그리퍼의 구조 차이라는 근본적인 격차(embodiment gap)를 안고 갑니다. 사람이 다섯 손가락으로 하는 동작을 2지 그리퍼가 그대로 따라 할 수는 없습니다. 그래서 실무에서는 둘 중 하나를 고르는 게 아니라 역할을 나눕니다.
- 에고센트릭: 작업 순서, 물체 인식, 상황 판단, 실패 복구 패턴 등 넓고 다양한 사전학습용 데이터
- 텔레오퍼레이션: 특정 로봇·특정 작업의 정밀 제어를 맞추는 좁고 정확한 파인튜닝용 데이터
- 합성데이터: 조명·배치·물체 변형 등 변형 조합을 늘리는 증강용 데이터
비율은 프로젝트마다 다르지만, 사전학습 물량을 사람 시연으로 채우고 마지막 정밀 구간만 로봇으로 채우는 구성이 비용 대비 효율이 좋다는 게 최근 사례들의 공통점입니다. 이 배분을 어떻게 잡느냐가 사실상 예산의 절반을 결정합니다.
에고센트릭 데이터 수집이 만들어내는 3개의 레이어
발주서를 받아보면 “1인칭 영상 500시간”이라고만 적혀 있는 경우가 많습니다. 그런데 같은 500시간이라도 무엇이 함께 붙어 있느냐에 따라 단가도, 활용 범위도 완전히 달라집니다. 에고센트릭 데이터 수집 결과물은 보통 세 개 층으로 나눠서 봐야 정리가 됩니다.
1층 — 원본 센서 레이어. RGB 영상, 그레이스케일 SLAM 카메라, IMU, 시선(eye gaze), 오디오, 헤드 포즈, 환경 포인트 클라우드가 여기 들어갑니다. 참고로 메타의 연구용 안경 Aria Gen 2는 SLAM 카메라 4대, RGB 1대, 시선추적 카메라 2대에 IMU·기압계·자력계를 갖추고 있고 연속 사용 시간은 6~8시간입니다. 어떤 장비를 쓰든, 이 레이어에서 무엇을 남길지 정하는 게 첫 번째 결정입니다.
2층 — 기하·포즈 레이어. 손 관절 좌표, 물체 6DoF 포즈, 카메라 궤적이 들어갑니다. EgoDex가 양손 관절의 SE(3) 포즈를 프레임마다 제공하는 게 대표적입니다. 이 레이어가 없으면 영상은 “사람이 뭘 하는지 보이는 비디오”에 머물고, 로봇 정책 학습용으로는 가치가 크게 떨어집니다.
3층 — 의미·언어 레이어. 작업 단계 구분, 행동 서술, 실패·재시도 구간 표시, 전문가 코멘터리가 여기 해당합니다. Ego-Exo4D는 촬영자 본인의 1인칭 내레이션, 제3자의 행동 서술, 전문가 52명이 붙인 비평 코멘터리를 모두 타임스탬프와 함께 제공합니다. 어노테이션에만 20만 시간 이상의 작업이 들어갔다고 밝히고 있습니다.
정리하면 이렇습니다. 1층만 있으면 원본 영상, 2층까지 있으면 학습 가능한 데이터셋, 3층까지 있으면 평가·분석까지 되는 자산입니다. 견적을 비교할 때 “시간당 얼마”만 보면 안 되는 이유입니다. 이 구조화 작업이 결국 AI 데이터 라벨링 설계 역량과 그대로 맞닿습니다.
에고센트릭 데이터 수집 전에 고정해야 할 촬영 파라미터
현장에 나가기 전에 문서로 확정해야 할 항목이 있습니다. 여기서 합의가 안 된 채 에고센트릭 데이터 수집을 시작하면, 나중에 재촬영 말고는 방법이 없습니다. 아래 세 가지는 최소한 숫자로 적어두시길 권합니다.
프레임레이트와 해상도
EgoDex는 30Hz로 수집됐습니다. 반면 정밀 조작 구간을 다루는 시스템은 훨씬 높은 주파수를 씁니다. 중국 루모스로보틱스가 공개한 FastUMI Pro는 60Hz 고주파 기록을 표준으로 잡았습니다. 기준은 단순합니다. 대상 작업에서 가장 빠른 손 동작이 몇 프레임 안에 끝나는지를 먼저 재고, 그 동작이 최소 6~8프레임 이상으로 잡히는 주파수를 고르면 됩니다. 나사 체결이나 커넥터 삽입처럼 접촉 전환이 빠른 작업은 30Hz로는 접촉 시점이 프레임 사이로 사라집니다.
해상도는 무작정 높일수록 좋은 게 아닙니다. 4K 30fps로 500시간을 찍으면 원본만 수십 TB가 되고, 그 뒤에 붙는 저장·전송·검수 비용이 전부 따라 올라갑니다. 참고로 갤럭시아 AI가 공개한 오픈월드 데이터셋은 500시간 규모에 10TB를 넘는다고 밝히고 있습니다. 조작 대상 물체가 화면에서 차지하는 픽셀 수를 기준으로 역산하는 편이 현실적입니다.
시야각과 프레임 이탈
1인칭 영상의 가장 흔한 실패는 “손이 화면 밖으로 나가는 것”입니다. 머리는 정면을 보는데 손은 허리 높이에서 작업하는 상황이 대표적입니다. Aria Gen 2가 SLAM 카메라를 2대에서 4대로 늘리고 스테레오 오버랩을 35도에서 80도로 넓힌 것도 손과 물체 추적 범위를 확보하기 위한 설계입니다. 장비 선택 시 화각 스펙만 볼 게 아니라, 실제 작업 자세에서 양손이 프레임 안에 들어오는 비율을 파일럿 촬영으로 측정해야 합니다. 이 비율이 90% 아래면 스펙을 다시 잡는 게 맞습니다.
센서 동기화 허용 오차: 에고센트릭 데이터 수집의 숨은 실패 지점
영상·IMU·시선·오디오는 각각 다른 클럭으로 기록됩니다. 이걸 맞추지 못하면 “손이 물체에 닿은 프레임”과 “가속도가 튄 시점”이 어긋나서 접촉 라벨 자체를 신뢰할 수 없게 됩니다. FastUMI Pro가 밀리초 단위 멀티모달 동기화를 성능 지표로 내세우는 이유입니다. 계약서에는 동기화 허용 오차를 숫자로 명시하는 게 좋습니다. 정밀 조작이면 ±10ms 이내, 일반 작업이면 ±33ms(30fps 기준 1프레임) 이내가 실무적인 출발선입니다.
라벨링 설계: 손-객체 접촉과 작업 순서
에고센트릭 데이터 수집에서 라벨링 비용의 대부분은 두 가지에서 발생합니다. 손과 물체가 언제 닿았는가, 그리고 하나의 작업이 어디서 시작해 어디서 끝나는가입니다.
손-객체 접촉(hand-object contact) 정의
“닿았다”를 정의하지 않고 시작하면 작업자마다 다르게 찍습니다. 최소한 이 네 가지는 문서로 정해야 합니다.
- 접촉 개시 프레임 — 픽셀 상 겹침을 기준으로 할지, 물체가 실제로 움직이기 시작한 시점으로 할지
- 접촉 부위 — 손 전체인지, 손가락 단위(엄지·검지·중지…)인지, 손바닥/손등 구분을 둘지
- 파지 유형 — 감싸쥐기(power grasp), 집기(precision grasp), 밀기, 누르기 등 분류 체계
- 양손 관계 — 한 손이 고정하고 다른 손이 조작하는 경우의 주/보조 표기 규칙
실무에서는 여기에 하나를 더 넣습니다. 접촉 해제 후 물체 상태입니다. 놓았는데 물체가 굴러갔는지, 그대로 있는지가 실패 판정의 기준이 되기 때문입니다.
작업 순서(temporal segmentation) 정의: 에고센트릭 데이터 수집의 계층 설계
“부품을 조립한다”는 라벨은 학습에 거의 쓸모가 없습니다. 반대로 0.5초 단위로 잘게 쪼개면 라벨링 비용만 폭증합니다. 실무적으로는 3단 구조를 권합니다.
- 태스크(30초~3분): “커넥터 5개를 하네스에 체결한다”
- 서브태스크(2~10초): “커넥터를 집는다 → 정렬한다 → 삽입한다 → 딸깍 확인한다”
- 이벤트(프레임 단위): 접촉 개시, 접촉 해제, 실패, 재시도
여기서 자주 빠뜨리는 게 실패와 재시도 구간입니다. 잘된 시연만 모으면 모델은 실패에서 복구하는 법을 배우지 못합니다. 로봇이 현장에서 무너지는 지점이 정확히 거기입니다. 반대로 실패 구간을 라벨링 없이 그냥 섞어 넣으면 학습이 오염됩니다. 실패는 버리는 것도 섞는 것도 아니라 명시적으로 태깅하는 것이라는 원칙을 초기에 세워두면 나중에 데이터셋 재활용 범위가 크게 넓어집니다.
에고센트릭 데이터 수집의 유효율을 결정하는 검수 체크리스트
에고센트릭 데이터 수집에서 수집한 시간과 실제로 쓸 수 있는 시간은 다릅니다. 이 차이를 데이터 유효율이라고 부릅니다. 앞서 언급한 루모스로보틱스는 8단계 산업용 품질 평가 체계를 도입해 데이터 유효율을 평균 70% 수준에서 95% 이상으로 끌어올렸다고 밝혔습니다. 1건당 수집 시간도 50초에서 10초로 줄었습니다. 바꿔 말하면, 검수 체계가 없으면 촬영한 500시간 중 150시간은 버려진다는 뜻입니다.
1인칭 영상에서 반복적으로 걸러지는 반려 사유는 대체로 정해져 있습니다. 검수 시트를 만들 때 이 항목부터 넣으시면 됩니다.
- 양손 중 하나 이상이 일정 시간 이상 프레임을 벗어남
- 조작 대상 물체가 몸이나 다른 물체에 가려져 접촉 시점 판정 불가
- 노출 급변(창가 역광, 조명 점멸)으로 손 윤곽이 소실
- 모션 블러로 접촉 프레임 특정 불가
- IMU-영상 타임스탬프 드리프트가 허용 오차 초과
- 작업자가 카메라를 의식해 비정상적으로 느리게 동작(자연스러움 결여)
- 제3자 얼굴·명찰·모니터 화면 등 비식별 처리 대상이 프레임에 지속 노출
- 동일 시퀀스 내 태스크 경계가 라벨링 규칙과 불일치
이 체크를 언제 하느냐도 중요합니다. 전량 촬영이 끝난 뒤에 몰아서 검수하면 재촬영 비용이 그대로 발생합니다. 촬영 첫날 분량을 그날 저녁에 100% 검수하고, 이후에는 시퀀스 단위 샘플링 검수로 전환하는 방식이 비용과 리스크의 균형점입니다. 이런 단계별 품질 게이트 설계는 AI 데이터 가공 공정에서 이미 표준적으로 쓰이는 방법이고, 1인칭 영상이라고 해서 원리가 달라지지는 않습니다.
초상권과 개인정보: 2026년 3월 가이드라인 개정 이후
1인칭 카메라는 착용자가 보는 모든 것을 찍습니다. 여기에는 동료의 얼굴, 사원증, 모니터에 떠 있는 고객 정보, 창밖 차량 번호판이 전부 포함됩니다. 에고센트릭 데이터 수집에서 법적 리스크가 가장 큰 지점입니다.
개인정보보호위원회는 2026년 3월 31일 「가명정보 처리 가이드라인」을 전면 개정했습니다. 핵심은 판단 기준을 ‘위험도 기반’으로 표준화하고, 절차와 서류 부담을 위험 수준에 따라 차등화한 것입니다. 개정 배경 조사에서 현장 애로로 지적된 항목 중 하나가 바로 대규모 영상·이미지·텍스트 데이터의 전수 검수 부담이었습니다. 가이드라인은 입문자용 본권과 실무자용 별권으로 나뉘어 발간됐습니다.
실무에서 챙겨야 할 최소 항목은 다음과 같습니다.
- 착용자 동의: 촬영 목적, 보관 기간, 제3자 제공 범위, 학습 활용 여부를 분리해서 받기
- 비착용자 고지: 촬영 구역 표지, 사전 공지, 촬영 제외 구역(휴게실·탈의실 등) 지정
- 자동 비식별 + 샘플 검수: 얼굴·번호판 자동 블러 도구(메타가 공개한 EgoBlur 같은 오픈소스 포함)로 1차 처리하고, 검출 실패율을 샘플로 측정
- 화면 캡처 리스크: 작업 중 모니터·태블릿에 뜬 내부 정보는 얼굴보다 자동 검출이 어렵습니다. 촬영 전 화면 잠금 또는 더미 데이터 전환
- 반출 통제: 원본은 망분리 환경 보관, 가공본만 반출하는 2단 구조
김동환 프롬데이터 대표는 “1인칭 영상은 촬영 순간에는 문제가 없어 보여도 편집 단계에서 예상하지 못한 개인정보가 계속 발견되는 유형의 데이터”라며 “촬영 스펙 문서와 비식별 처리 기준을 같은 시점에 확정해두는 것이 나중에 발생할 재작업을 가장 크게 줄여준다”고 말했습니다.
에고센트릭 데이터 수집을 둘러싼 흔한 오해 3가지
“장비만 좋으면 된다.” 센서가 많은 장비는 남길 수 있는 신호가 많다는 뜻이지, 쓸 수 있는 데이터가 나온다는 뜻이 아닙니다. 같은 장비로 찍어도 라벨 정의서가 없으면 결과물은 그냥 영상 파일입니다. 에고센트릭 데이터 수집에서 품질을 가르는 건 장비 스펙보다 정의서와 검수 게이트입니다.
“많이 찍으면 된다.” 같은 사람이 같은 자리에서 같은 동작을 500번 반복한 500시간과, 조명·배치·작업자·물체가 골고루 섞인 100시간 중 모델 일반화에 유리한 쪽은 후자인 경우가 많습니다. 촬영 계획서에 총 시간만 적지 말고, 변형 축(작업자 수, 조명 조건, 물체 변형, 배치 각도)별 목표 분포를 함께 적어야 합니다.
“라벨링은 나중에 붙이면 된다.” 2층 기하 레이어 중 상당수는 촬영 시점에만 확보 가능합니다. 손 관절 추적이나 카메라 궤적처럼 촬영 당시 온디바이스에서 계산되는 값을 놓치면, 나중에 영상만 보고 복원하는 데 훨씬 큰 비용이 듭니다. 에고센트릭 데이터 수집은 사후 보정이 어려운 공정이라고 보는 편이 안전합니다.
발주 전 확인하면 좋은 12가지
수요기업 입장에서 에고센트릭 데이터 수집을 외부에 맡길 때, 견적서만 봐서는 품질 차이가 드러나지 않습니다. 아래 항목을 질의서로 만들어 보내면 공급사 역량이 비교적 빠르게 갈립니다.
- 프레임레이트·해상도·시야각 스펙을 대상 작업 기준으로 산출한 근거가 있는가
- 영상-IMU-시선 동기화 허용 오차를 숫자로 보장하는가
- 손-객체 접촉 정의서와 파지 유형 분류 체계를 문서로 제공하는가
- 작업 순서 계층(태스크/서브태스크/이벤트) 정의가 있는가
- 실패·재시도 구간의 태깅 규칙이 있는가
- 작업자 간 라벨 일치도(IAA) 측정 방식과 목표치가 있는가
- 촬영 첫날 전수 검수 → 이후 샘플링 검수로 전환하는 품질 게이트가 있는가
- 데이터 유효율 목표치를 계약에 명시할 수 있는가
- 반려 사유 코드 체계와 재촬영 책임 범위가 정리돼 있는가
- 비식별 처리 도구의 검출 실패율을 측정·보고하는가
- 원본 보관 환경(망분리 여부)과 접근 권한 관리 방식은 어떻게 되는가
- 납품 포맷이 후속 학습 파이프라인에 바로 들어가는 구조인가
이 12개 항목에 문서로 답할 수 있는 조직이라면, 장비가 화려하지 않아도 결과물은 대체로 쓸 만하게 나옵니다. 반대로 장비 목록만 길고 위 항목에 구두로 답하는 경우, 납품 후 재작업이 발생할 확률이 높습니다. 특히 데이터 유효율 목표치와 재촬영 책임 범위는 계약 단계에서 정리해두지 않으면 분쟁 소지가 큽니다.
예산 규모가 크지 않은 초기 프로젝트라면, 전체 물량을 한 번에 발주하지 말고 20~30시간 규모의 파일럿을 먼저 돌리는 방식을 권합니다. 파일럿에서 프레임 이탈률, 접촉 라벨 일치도, 비식별 검출 실패율 세 가지 수치만 확보해도 본 계약의 스펙과 단가를 훨씬 정확하게 잡을 수 있습니다. 정부 지원사업을 활용하는 경우라면 AI 데이터 바우처처럼 수요기업이 공급기업과 함께 과제를 설계하는 사업 구조에서도 이 파일럿 개념을 그대로 적용할 수 있습니다.
정리하며
에고센트릭 데이터 수집은 새로운 기술이라기보다, 기존 영상 데이터 구축 공정에 센서 동기화와 손-객체 접촉이라는 두 축이 추가된 형태에 가깝습니다. 라벨 정의서를 먼저 쓰고, 파일럿으로 스펙을 검증하고, 검수 게이트를 앞단에 배치하는 원칙은 AI 학습 데이터 구축에서 늘 지켜온 것과 다르지 않습니다. 달라진 건 데이터의 종류이지 방법론의 뼈대가 아닙니다.
다음 편에서는 이 작업에 실제로 얼마가 드는지를 다룹니다. 에고센트릭 원본, 어노테이션 포함본, 텔레오퍼레이션 데이터의 단가 구조를 분해하고, 500 데모 규모 프로덕션 데이터셋의 총원가를 항목별로 계산해 보겠습니다. 합성데이터로 대체할 수 있는 구간과 끝까지 실물 수집이 필요한 구간의 경계도 함께 정리합니다.