집 안에서 사람이 무엇을 하는지 알아보는 AI를 만들려면, 결국 실제 집에서 실제 사람이 움직이는 영상이 필요합니다. 저희는 최근 국내 대기업의 의뢰로 서로 다른 구조의 실거주 아파트 여러 세대에서 가정환경 행동 데이터 수집을 마쳤습니다. 거실·안방·작은방·부엌·현관 다섯 공간에서, 10대부터 60대까지의 참여자가 수십 가지 일상 행동을 수행했고, 이를 행동 단위로 잘라 수만 건의 클립으로 납품했습니다.
이 글은 그 과정에서 처음 세운 기준이 어떻게 바뀌었는지에 대한 기록입니다. 촬영을 잘하는 방법보다는, 고객사의 피드백을 받을 때마다 무엇이 「좋은 데이터」의 정의를 바꾸었는지에 초점을 맞추었습니다.
왜 스튜디오가 아니라 실제 집이었습니까
가정 내 행동 데이터는 의외로 구하기 어려운 데이터입니다. 소파에 앉는 동작, 냉장고를 여는 동작, 현관에서 신발을 신는 동작은 너무 평범해서 누구도 찍어 올리지 않습니다. 가정 내 행동 인식 연구의 대표 데이터셋인 Charades 데이터셋 논문(Sigurdsson 외, 2016)도 같은 문제의식에서 출발했습니다. 일상적인 집안 활동은 유튜브나 영화, 방송에 거의 등장하지 않기 때문에, 연구진은 수백 명에게 자기 집에서 직접 촬영하도록 하는 방식을 택했습니다.
스튜디오 세트는 이 문제를 풀어 주지 못합니다. 조명이 균일하고, 가구 배치가 정돈되어 있고, 생활의 흔적이 없습니다. 모델은 그 깔끔함까지 함께 학습합니다. 실제 집에는 아이 장난감이 바닥에 놓여 있고, 창으로 들어오는 빛이 시간마다 바뀌고, 같은 34평이라도 부엌 구조가 제각각입니다.
그래서 이번 가정환경 행동 데이터 수집은 처음부터 「서로 다른 구조의 실거주 세대」를 전제로 설계했습니다. 세대마다 거실 방향, 주방 형태, 현관 폭이 모두 달랐고, 그 차이 자체가 데이터의 일부가 되도록 했습니다.
본촬영 전에 「초기 데이터」부터 납품했습니다
본촬영에 들어가기 전, 참여자 한 명이 전체 행동을 수행한 분량을 먼저 촬영해 정식 납품 포맷으로 전달했습니다. 저희는 이것을 일부러 「샘플」이라고 부르지 않고 「초기 1개 데이터」라고 불렀습니다. 샘플은 보여 주기 위한 것이고, 초기 데이터는 실제 납품과 같은 기준으로 검수받기 위한 것이기 때문입니다. 이름이 다르면 받는 쪽의 검수 강도도 달라집니다.
결과는 예상보다 많은 수정이었습니다. 고객사는 같은 공간을 서로 다른 각도로 담은 구성과 실거주 환경의 자연스러움은 높게 평가했지만, 화면 품질과 클립 구성에 대해서는 일곱 가지를 짚었습니다. 거실과 주방의 조도가 낮다는 점, 카메라가 높아 천장이 화면을 많이 차지한다는 점, 어두운 상의가 소파와 겹쳐 윤곽이 묻힌다는 점, 클립 앞뒤에 행동과 무관한 구간이 길다는 점, 소품이 행동에 쓰이는 것만 덩그러니 놓여 있다는 점 등이었습니다.
위 두 장면은 부엌·식탁 공간을 피드백 반영 전과 후에 각각 촬영한 것입니다. 세대는 다르지만 같은 행동을 담는 같은 성격의 공간입니다. 반영 전에는 펜던트 조명 하나에 의존해 화면 전체가 노랗고 어두우며, 짙은 상의가 그림자와 섞입니다. 반영 후에는 실내 조명을 모두 켜고 카메라를 낮춰 바닥과 사람의 비중을 키웠습니다. 사람 눈에는 두 장면 모두 「보이는」 영상이지만, 모델 입장에서는 전혀 다른 품질입니다.
가정환경 행동 데이터 수집에서 정립한 5가지 기준
초기 데이터 피드백, 카메라 배치 협의, 그리고 1차 납품 검수 피드백을 거치며 남은 판단 기준을 다섯 가지로 정리했습니다.
밝기와 대비는 사람이 아니라 모델 기준으로 맞춥니다
촬영 현장에서 가장 먼저 바뀐 것은 「잘 보인다」의 기준이었습니다. 사람은 어두운 화면에서도 맥락으로 동작을 알아봅니다. 모델은 픽셀로만 봅니다. 그래서 조도는 생활하기 편한 수준이 아니라 윤곽이 분명히 갈리는 수준까지 올렸고, 밝은 색 가구와 배경이 있는 공간을 우선 섭외했습니다.
참여자 의상도 같은 원리로 관리했습니다. 소파가 어두우면 밝은 상의를, 배경이 밝으면 대비되는 색을 권했습니다. 카메라 높이는 천장이 화면의 3분의 1을 넘지 않도록 낮췄습니다. 천장은 아무 정보도 담지 않는 픽셀입니다.
클립의 시작과 끝이 곧 행동의 정의입니다
「소파에 앉기」 클립은 언제 시작해서 언제 끝나야 할까요. 처음에는 넉넉하게 앞뒤를 남겼지만, 고객사는 핵심 구간만 남기기를 원했습니다. 앉기와 일어나기는 몇 초 안쪽으로, 눕기와 일어나기는 앞뒤 여유를 1초 남짓으로 줄이는 식입니다.
반대로 늘려야 하는 경우도 있었습니다. 「이동/걷기」는 같은 방 안에서만 걷는 장면이 아니라, 문을 열고 방에 들어오는 순간까지 포함해야 했습니다. 결국 클립 경계를 정하는 일은 편집 작업이 아니라 행동 클래스를 정의하는 일이었습니다. 이 경계가 흔들리면 같은 클래스 안에 서로 다른 행동이 섞입니다.
행동을 구분하는 것은 동작이 아니라 객체입니다
1차 납품 검수에서 가장 인상 깊었던 피드백은 TV 시청에 관한 것이었습니다. 같은 각도에서도 TV 화면이 보이면 「TV 시청」으로 분명히 구분되지만, 화면이 보이지 않으면 「소파에 앉아 있기」나 「정적/대기」와 구분하기 어렵다는 지적이었습니다. 사람의 자세만 놓고 보면 세 행동은 거의 같기 때문입니다.
노트북 사용도 마찬가지였습니다. 사람 몸에 노트북이 가려지면 무엇을 하는지 알 수 없습니다. 스마트폰은 화면 쪽뿐 아니라 뒷면이 보이는 각도도 필요하다는 요청이 있었습니다. 고객사는 「카메라를 꼭 공간의 모서리에 둘 필요는 없다」고 덧붙였습니다. 행동을 정의하는 객체가 화면에 들어오는 것이 구도의 정석보다 우선이라는 뜻입니다.
카메라 두 대는 역할이 다릅니다
모든 행동은 두 대의 카메라로 동시에 촬영했습니다. 처음에는 두 대 모두에 행동과 객체가 온전히 담겨야 한다고 생각했습니다. 그런데 개방형 주방처럼 구조상 불가능한 공간이 계속 나왔습니다. 고객사와 협의한 결론은 이렇습니다. 한 대에 객체와 행동이 온전히 담기면, 나머지 한 대는 뒷모습이나 옆모습이어도 괜찮습니다.
현관은 반대 방향의 결론이 나왔습니다. 카메라 위치를 하나로 고정하기보다, 세대마다 서로 다른 위치 조합을 쓰는 편이 데이터 다양성 측면에서 낫다는 것이었습니다. 일반적으로 카메라 화각과 설치 위치는 변이가 아니라 하나로 고정해야 하는 관측 조건입니다. 다만 가정용 카메라처럼 운용 환경 자체가 집마다 다른 위치에 설치되는 경우라면, 카메라 위치가 오히려 넓혀야 할 변이가 됩니다. 이 구분은 데이터셋 변이 설계 기준, 수량보다 먼저 정할 핵심 3가지에서 자세히 다루었습니다.
소품과 장소는 배경이 아니라 변이입니다
초기 데이터에서는 안경이나 리모컨 같은 소품을 행동에 쓰이는 자리에만 놓았습니다. 고객사는 소품을 주변에도 자연스럽게 배치해 달라고 했습니다. 소품이 행동 직전에만 등장하면, 모델은 「소품이 보이면 곧 그 행동이 일어난다」는 지름길을 배웁니다.
같은 이유로 행동이 일어나는 장소도 넓혔습니다. 거울 앞 매무새 정리는 방 안 거울뿐 아니라 현관 거울이나 화장대 앞에서도, 지갑·열쇠·카드 챙기기는 현관뿐 아니라 책상이나 식탁에서도 수행하도록 바꾸었습니다. 안경과 휴대폰은 침대 협탁에, 휴대폰과 리모컨은 거실 바닥에도 두었습니다. 실제 집에서 물건은 늘 제자리에 있지 않습니다.
납품할 때마다 비율과 관리 내역을 함께 보냈습니다
가정환경 행동 데이터 수집은 결과물이 수만 건의 클립으로 쌓이는 작업이고, 고객사가 이를 매번 전수로 열어 볼 수는 없습니다. 그래서 저희는 차수마다 영상과 함께 두 가지 파일을 보냈습니다. 하나는 클립마다 파일명·카메라·세대·공간·참여자ID·행동·연령대·성별·반복 회차·영상 길이·촬영일을 적은 메타데이터 시트이고, 다른 하나는 누적 기준으로 갱신한 납품현황입니다.
납품현황에는 세 가지 표를 넣었습니다.
- 참여자 구성 – 연령대별·성별 인원과 그 인원이 만든 영상 수. 성비와 연령대가 계획대로 채워지고 있는지 한눈에 보입니다
- 촬영공간별 비중 – 거실·안방·작은방·부엌·현관이 각각 몇 퍼센트를 차지하는지, 차수별·누적으로 보여 줍니다
- 행동 클래스별 구성 – 클래스마다 영상 수와 함께 그 행동을 수행한 참여자 수를 적었습니다
마지막 항목이 특히 중요했습니다. 클래스별 영상 수가 똑같이 맞춰져 있어도, 그 영상을 몇 명이 만들었는지는 클래스마다 다릅니다. 같은 사람이 같은 동작을 여러 번 반복한 영상은 수량을 채울 뿐 다양성을 채우지 못합니다. 영상 수만 보고하면 이 차이가 가려집니다.
납품 전에는 영상 파일과 운영 시트를 하나하나 대조했습니다. 파일명 규칙, 참여자ID와 촬영 세트의 일치, 배정된 행동과 파일의 행동 코드 일치, 공간 코드 일치, 행동마다 두 카메라와 반복 회차가 빠짐없이 있는지, 영상 길이가 규격 범위 안에 있는지를 확인했습니다. 1차 납품 때 이 대조에서 한 참여자의 행동 하나가 통째로 빠진 것이 발견되었습니다. 저희는 그 분량을 빼고 납품하면서 누락 사실을 함께 알렸고, 재촬영 후 추가로 채웠습니다. 숫자를 맞추는 것보다 비어 있는 칸을 먼저 보여 주는 편이 신뢰를 지킵니다.
행동 단위로 편집하기 전의 원본 영상도 고객사 요청에 따라 촬영일자·참여자·공간 단위로 정리해 보관했고, 촬영이 끝난 뒤 일괄 전달하기로 했습니다. 메타데이터 시트에 어떤 항목을 남겨야 오래 쓰이는지는 데이터셋 명세서 작성 기준, 1년 뒤에도 쓰이는 데이터의 핵심 3가지에서도 정리한 바 있습니다.
실무자가 짚어야 할 지점
가정환경 행동 데이터 수집을 준비하신다면 기술적인 기준만큼 운영 기준을 먼저 세우시기를 권합니다.
- 화면에는 참여자 한 명만 – 촬영 감독과 스태프는 어떤 클립에도 등장하면 안 됩니다. 좁은 아파트에서 이 조건을 지키려면 감독이 서 있을 자리부터 정해야 합니다
- 소리는 지우지 않습니다 – 문 닫히는 소리, 그릇 소리 같은 행동의 자연음은 그대로 두는 편이 좋다는 것이 고객사의 판단이었습니다. 대신 지시하는 목소리가 섞이는 시간을 최소화해야 합니다
- 세대 수보다 성비와 연령대가 먼저입니다 – 실거주 세대는 호스트 사정으로 일정이 바뀌기 쉽습니다. 세대 수와 인원은 유동적으로 두되, 연령대와 성비 구성은 끝까지 지키는 것으로 우선순위를 합의해 두시면 흔들리지 않습니다
그리고 하나 더 있습니다. 1차 검수에서 고객사는 기대 이상의 품질이라고 평가하면서도, 같은 메일에 다섯 가지 추가 요청을 보냈습니다. 그 요청은 이미 찍은 데이터가 아니라 앞으로 찍을 데이터에만 반영할 수 있었습니다. 피드백은 일찍 받을수록 싸고, 늦게 받을수록 비쌉니다. 초기 데이터를 정식 납품처럼 다루고, 차수마다 검수 결과를 빠르게 받는 구조를 처음부터 계약 일정에 넣어 두시기를 권합니다.
결론
이번 가정환경 행동 데이터 수집에서 저희가 얻은 가장 큰 교훈은, 좋은 데이터의 기준이 촬영 전에 완성되지 않는다는 점입니다. 밝기와 대비, 클립 경계, 행동을 구분하는 객체, 카메라의 역할, 소품과 장소의 다양성은 모두 실제 데이터를 놓고 고객사와 대화하면서 구체화되었습니다.
그래서 수집 업체가 갖춰야 할 역량은 촬영 기술보다 피드백을 다음 차수에 반영하는 구조에 가깝습니다. 초기 데이터를 정식 기준으로 검수받고, 납품할 때마다 비율과 누락을 투명하게 보여 주고, 받은 요청을 다음 촬영 가이드에 바로 고쳐 넣는 것입니다. 이것이 AI 학습 데이터를 「모은 것」에서 「쓸 수 있는 것」으로 바꾸는 과정이라고 생각합니다. 수집 이후의 데이터 라벨링이 제대로 작동하는 것도 이 기준이 먼저 서 있을 때입니다.
실제 공간에서 사람의 행동을 담는 데이터를 준비하고 계신다면, 가장 효율적인 데이터 구축 방법을 함께 찾겠습니다.