현장에서 이런 대화를 자주 듣습니다. “저희 모델이 불량은 잘 찾는데, 불량 크기를 못 재요.” 원인을 따라가 보면 십중팔구 데이터 쪽에 답이 있습니다. 바운딩박스로 라벨링한 데이터로 학습시켜 놓고 픽셀 단위 면적을 기대했던 겁니다. 이럴 때 필요한 것이 세그멘테이션 라벨링입니다. 다만 세그멘테이션 라벨링은 바운딩박스보다 단가가 6배 이상 비싸고 일정도 몇 배로 늘어나기 때문에, “정밀하니까 무조건 좋다”는 판단으로 접근하면 예산이 먼저 무너집니다.
이 글에서는 세그멘테이션 라벨링이 바운딩박스와 구체적으로 무엇이 다른지, 2026년 기준 실제 단가는 어느 수준인지, 어떤 프로젝트에 써야 하고 어떤 프로젝트에는 쓰면 안 되는지, 그리고 발주 담당자가 계약서에 반드시 못 박아야 할 품질 기준은 무엇인지를 실무자 관점에서 정리했습니다. 견적서를 받아둔 상태라면 이 글의 체크리스트를 옆에 두고 한 줄씩 대조해 보시길 권합니다.
세그멘테이션 라벨링이란 무엇인가: 바운딩박스와의 결정적 차이
바운딩박스는 객체를 감싸는 최소 크기의 사각형을 그리는 방식입니다. 빠르고 저렴합니다. 문제는 사각형이 객체의 실제 형태와 거의 일치하지 않는다는 점입니다. 컨베이어 위 사선으로 놓인 부품, 벽면을 가로지르는 균열, 잎이 서로 겹친 작물처럼 형상이 비정형이면 사각형 안에는 객체가 아닌 배경 픽셀이 상당량 섞여 들어갑니다. 모델은 그 배경까지 “객체의 일부”로 학습하게 되고, 결과적으로 배경이 바뀌는 순간 성능이 떨어집니다.
세그멘테이션 라벨링은 픽셀 하나하나에 클래스를 부여합니다. 사각형이 아니라 마스크(mask)를 만드는 작업입니다. 이 차이가 실무에서 만드는 결과는 명확합니다. 바운딩박스는 “여기에 균열이 있다”까지만 알려주지만, 세그멘테이션 라벨링으로 학습한 모델은 “균열의 길이가 143mm, 최대 폭이 2.1mm”까지 계산할 수 있습니다. 검출과 정량화는 완전히 다른 문제이고, 정량화가 필요한 순간 세그멘테이션은 선택이 아니라 요구사항이 됩니다.
세그멘테이션 라벨링의 세 가지 유형
발주 전에 반드시 구분해야 할 세 가지가 있습니다. 이 구분을 흐리게 남겨두면 견적과 산출물이 어긋납니다.
- 시맨틱 세그멘테이션(Semantic Segmentation): 같은 클래스의 객체를 개체별로 구분하지 않습니다. 이미지 안의 균열 5개가 모두 하나의 “균열” 영역으로 묶입니다. 전체 결함 면적률, 도로 주행 가능 영역처럼 “총량”이 관심사일 때 적합하며 상대적으로 저렴합니다.
- 인스턴스 세그멘테이션(Instance Segmentation): 같은 클래스라도 개체를 각각 분리합니다. 균열 5개를 5개의 개별 마스크로 만듭니다. 개수 집계, 개별 객체의 크기 분포 분석, 추적(tracking)이 필요하면 이 방식이어야 합니다. 시맨틱보다 20~40% 정도 공수가 더 듭니다.
- 파놉틱 세그멘테이션(Panoptic Segmentation): 셀 수 있는 객체는 인스턴스로, 하늘·도로·벽면처럼 셀 수 없는 배경은 시맨틱으로 통합 처리합니다. 자율주행이나 로보틱스처럼 장면 전체를 이해해야 하는 과제에 쓰이며 가장 비쌉니다.
여기에 폴리곤(Polygon) 어노테이션을 세그멘테 이션과 혼동하는 경우도 잦습니다. 폴리곤은 객체 외곽선을 다각형 꼭짓점으로 따라 그리는 방식으로, 바운딩박스보다는 정밀하지만 픽셀 단위 마스크는 아닙니다. Label Your Data의 2026년 폴리곤 어노테이션 가이드에 따르면 폴리곤은 바운딩박스 대비 IoU를 15~30% 높여주지만 작업 시간은 3~10배가 걸리며, 꼭짓점은 보통 20~40개 수준에서 정밀도와 속도의 균형이 잡힙니다. 곡률이 심한 객체를 20개 꼭짓점으로 처리하면 경계가 뭉개지고, 반대로 100개씩 찍으면 비용만 늘어납니다.
세그멘테이션 라벨링 비용, 왜 바운딩박스의 6배가 넘는가
비용 이야기를 숫자 없이 하면 협상이 안 됩니다. 2026년 글로벌 벤치마크를 보면 어노테이션 유형별 이미지 1장당 단가 격차가 뚜렷합니다.
GigaBPO가 정리한 2026년 이미지 라벨링 단가 벤치마크 기준으로 바운딩박스는 이미지당 $0.07~$0.18, 폴리곤은 $0.18~$0.38, 시맨틱 세그멘테이션은 $0.55~$1.06 수준입니다. 중앙값끼리 비교하면 세그멘테이션 라벨링은 바운딩박스의 약 6~8배입니다. 의료 영상처럼 도메인 전문가가 직접 마스크를 그려야 하는 영역은 이미지 1장에 수 달러에서 그 이상까지 올라갑니다.
단가만 보면 감이 잘 안 오니 프로젝트 단위로 환산해 보겠습니다. 이미지 5,000장짜리 데이터셋을 바운딩박스로 처리하면 대략 $350~$900 선이지만, 같은 데이터셋을 시맨틱 세그멘테이션으로 만들면 $3,000~$5,000 이상이 됩니다. 여기에 검수 비용이 얹힙니다.
견적서에 안 적혀 있는 비용까지 계산하기
세그멘테이션 라벨링 견적을 받을 때 가장 흔한 실수는 기본 단가만 보고 예산을 잡는 것입니다. 실제로는 다음 항목들이 최종 청구서를 10~40% 끌어올립니다.
- 검수(QA) 단계별 가산: 자동·부분 검수는 10~15%, 2인 교차 라벨링(double labeling)은 20~40%, 도메인 전문가 리뷰는 30~50%가 추가됩니다. 세그멘테이션은 경계 판단의 주관성이 커서 교차 검수를 생략하기 어렵습니다.
- 셋업·온보딩 비용: 클래스 정의, 가이드라인 작성, 작업자 교육에 드는 초기 비용입니다. 클래스가 10개를 넘거나 도메인 특수성이 강할수록 커집니다.
- 재작업 비용: 가이드라인이 모호해서 1차 납품 후 기준을 바꾸면 이미 작업한 물량 전체가 재작업 대상이 됩니다. 세그멘테이션 라벨링에서 가장 위험한 항목입니다.
- 긴급 처리 할증: 납기를 앞당기면 10~50%가 붙습니다.
반대로 비용을 낮추는 지렛대도 분명합니다. 대부분의 공급사가 1,000장 이상에서 볼륨 할인을 적용하고, 10,000장 이상 대형 프로젝트에서는 단가가 최대 50%까지 내려갑니다. 물량을 쪼개서 여러 번 발주하는 것보다 한 번에 규모를 확정해 협상하는 편이 유리하다는 뜻입니다. 실무적으로는 견적 요청 시 “모든 부대비용을 포함한 총액(all-in quote)”을 명시적으로 요구하는 것이 가장 확실합니다.
세그멘테이션 라벨링을 써야 할 때와, 쓰면 안 되는 때
비싼 방식이 항상 옳지는 않습니다. 필요 이상으로 정밀한 라벨은 예산과 일정만 소모하고 모델 성능에는 기여하지 않습니다. 아래 다섯 문항 중 두 개 이상에 “예”라면 세그멘테이션 라벨링을 검토할 근거가 충분합니다.
- 모델의 출력값으로 면적·길이·부피 같은 물리량을 계산해야 하는가?
- 객체의 형상이 비정형이거나 서로 겹쳐서 사각형으로는 분리가 안 되는가?
- 객체와 배경의 경계 자체가 판단 대상인가? (예: 부식 진행 경계, 도포 불량 범위)
- 오검출·미검출이 안전이나 규제와 직결되는가?
- 후처리 단계에서 마스크를 그대로 입력으로 쓰는 로직이 있는가?
반대로 “이 이미지에 헬멧 미착용자가 있는가”, “선반에 제품이 몇 개 남았는가”처럼 존재 여부와 개수만 필요한 과제라면 바운딩박스로 충분합니다. 이 경우 세그멘테이션 라벨링에 예산을 쓰는 것은 낭비에 가깝습니다.
현실적인 절충안: 하이브리드 라벨링
전량을 세그멘테이션으로 갈 필요는 없습니다. 실무에서 자주 쓰는 절충안은 이렇습니다. 전체 데이터셋의 70~80%는 바운딩박스로 빠르게 확보해 검출 성능의 기반을 만들고, 정량화가 필요한 핵심 클래스나 난이도 높은 샘플 20~30%만 세그멘테이션 라벨링으로 정밀 처리하는 방식입니다. 비용은 전량 세그멘테이션 대비 절반 이하로 줄면서, 정량 지표가 필요한 지점의 성능은 확보할 수 있습니다.
또 하나는 모델 보조 라벨링입니다. SAM 계열 분할 모델로 초안 마스크를 자동 생성한 뒤 사람이 경계만 교정하는 방식인데, 잘 맞는 도메인에서는 작업 시간을 크게 줄여줍니다. 다만 산업 결함처럼 사전학습 모델이 본 적 없는 미세 패턴에서는 초안 품질이 낮아 오히려 교정 비용이 더 드는 경우가 있으니, 반드시 100~200장 규모의 파일럿으로 자동 초안의 적중률을 먼저 측정해야 합니다. 이 판단을 대신해 줄 수 있는 AI 데이터 서비스 파트너를 두면 초기 시행착오를 줄일 수 있습니다.
산업별 세그멘테이션 라벨링 활용 사례
제조·품질검사
표면 결함 검출이 대표적입니다. 스크래치, 찍힘, 도장 불량, 이물은 형상이 제각각이라 사각형으로 감싸면 실제 결함 영역보다 훨씬 넓게 잡힙니다. 결함 면적이 규격을 초과하는지 판정해야 하는 공정에서는 픽셀 단위 마스크가 필수입니다. 공개된 산업 결함 데이터셋들도 대부분 인스턴스 폴리곤 마스크를 원본 해상도 그대로 제공하는 이유가 여기에 있습니다. 이 영역에서는 몇 픽셀 폭의 미세 균열과 이미지 전체를 가로지르는 대형 결함이 한 데이터셋에 공존하기 때문에, 클래스별로 최소 라벨링 면적 기준을 따로 정하는 것이 중요합니다.
산업안전
안전모·안전대 착용 여부는 바운딩박스로도 판정할 수 있지만, 위험구역 침범 판정은 다릅니다. 중장비 선회 반경, 개구부, 적재물 붕괴 위험 영역처럼 “구역”이 관심 대상이면 영역 자체를 픽셀로 정의해야 합니다. 작업자의 발이 위험 영역 경계를 몇 센티미터 넘었는지를 판정하려면 사각형으로는 불가능합니다. 이런 프로젝트에서는 세그멘테이션 라벨링과 키포인트 라벨링을 결합해 자세와 위치를 함께 다루는 설계가 일반적입니다.
의료 영상
병변 크기 측정, 장기 부피 산출, 방사선 치료 계획 수립은 모두 픽셀 단위 정확도를 전제합니다. 판독 전문의가 직접 마스크를 그려야 하므로 단가가 가장 높은 영역이고, 개인정보 비식별화와 반출 절차까지 포함해 일정을 잡아야 합니다.
농업·위성영상
작황 면적 추정, 병해 확산 범위 산출, 토지 피복 분류는 전형적인 시맨틱 세그멘테이션 과제입니다. 객체 개수보다 면적 비율이 중요하기 때문에 인스턴스 분리 없이 시맨틱만으로 처리해 비용을 아낄 수 있는 대표적인 사례이기도 합니다.
세그멘테이션 라벨링 품질 기준, 숫자로 합의하십시오
세그멘테이션 라벨링 프로젝트에서 분쟁이 생기는 지점은 거의 항상 같습니다. “경계가 정확하지 않다”는 발주사와 “가이드라인대로 했다”는 공급사의 주장이 부딪히는데, 애초에 ‘정확’의 정의가 계약서에 없기 때문입니다. 정성적 표현을 정량 지표로 바꿔놓으면 이 문제의 대부분이 사라집니다.
계약서에 넣어야 할 핵심 지표
BasicAI가 정리한 컴퓨터비전 어노테이션 품질 지표 가이드와 업계 QA 관행을 종합하면, 실무에서 통용되는 기준선은 다음과 같습니다.
- mIoU(평균 교집합 비율) 0.85 이상: 골드 스탠다드 마스크 대비 납품물의 일치도입니다. 일반 산업 데이터는 0.85, 정밀도가 중요한 의료·계측 영역은 0.90 이상을 요구하는 경우가 많습니다.
- 작업자 간 일치도(IAA) IoU 0.75 이상: 동일 이미지를 두 명이 독립적으로 라벨링했을 때의 합의 수준입니다. 프로덕션 세그멘테이션에서 통상 0.75를 하한선으로 봅니다. 이 값이 낮으면 작업자 실력 문제가 아니라 가이드라인이 모호하다는 신호입니다.
- 치명 결함 누락률 0.5% 이하: 안전·품질에 직결되는 클래스는 평균 지표와 별도로 무관용 기준을 둡니다. 전체 mIoU가 0.9여도 치명 결함을 놓치면 그 데이터셋은 실패입니다.
- 경계 오차 2픽셀 이하: 고해상도 결함 검출처럼 경계가 곧 판정 기준인 프로젝트에서 권장하는 허용치입니다.
- 재작업률 5% 이하: 검수에서 반려되는 비율입니다. 5%를 넘기면 개별 작업자를 탓하기 전에 가이드라인을 다시 써야 합니다.
3단 검수 구조
지표를 정했으면 그것을 담보할 프로세스가 있어야 합니다. 검증된 구조는 3단입니다. 1차 전수 검수에서 작업물 100%를 리뷰어가 확인하고, 2차 표본 검수에서 전체의 20% 내외를 다른 리뷰어가 교차 확인하며, 3차 최종 감사에서 5% 표본으로 지표를 실측해 합격 여부를 판정합니다. 발주사 입장에서는 공급사에 이 3단 구조의 운영 로그를 요구하고, 최종 감사 표본은 발주사가 직접 지정하는 것이 좋습니다.
여기에 자동 검증 규칙을 얹으면 사람 눈으로 놓치는 오류를 상당수 걸러낼 수 있습니다. 마스크 면적이 클래스별 기대 범위를 벗어나는 경우, 마스크 간 중첩이 허용치를 넘는 경우, 한 이미지 내 객체 수가 통계적 이상치인 경우를 자동으로 플래그하는 방식입니다. 이런 규칙 기반 검증은 AI 데이터 가공 단계에서 파이프라인으로 구성해 두면 프로젝트 전 구간에 걸쳐 재사용할 수 있습니다.
가이드라인에 반드시 들어가야 할 여섯 가지
세그멘테이션 라벨링 가이드라인은 짧을수록 위험합니다. 최소한 다음 여섯 항목은 문서화하고, 각 항목마다 정답 예시와 오답 예시 이미지를 함께 붙이십시오.
- 경계 처리 원칙: 객체 경계가 흐릿할 때 안쪽을 따를지 바깥쪽을 따를지, 그림자와 반사광은 포함할지 제외할지
- 가려짐(occlusion) 규칙: 다른 물체에 가려진 부분을 추정해서 그릴지, 보이는 부분만 그릴지
- 최소 라벨링 크기: 몇 픽셀 미만의 객체는 무시할지 (예: 장변 8px 미만 제외)
- 클래스 정의와 경계 사례: 스크래치와 찍힘의 구분 기준처럼 헷갈리는 조합을 명시
- 제외 조건: 초점이 나갔거나 과노출된 이미지, 판단 불가 영역의 처리 방법
- 버전 관리: 가이드라인 변경 시 버전을 올리고, 어떤 버전으로 작업된 데이터인지 라벨 메타데이터에 기록
마지막 항목이 특히 중요합니다. 프로젝트 중반에 기준을 바꾸는 일은 생각보다 자주 일어나는데, 버전 기록이 없으면 나중에 어느 구간이 구기준으로 작업됐는지 추적할 수 없어 데이터셋 전체의 신뢰도가 흔들립니다.
세그멘테이션 라벨링 프로젝트 실행 체크리스트
착수 전
- 산출물 포맷 확정: COCO JSON, 마스크 PNG, RLE 인코딩 중 학습 파이프라인이 바로 읽을 수 있는 형식으로
- 클래스 목록과 우선순위 확정, 클래스별 목표 샘플 수 산정
- 100~200장 파일럿 수행 후 IAA 측정, 0.75 미만이면 가이드라인 재작성 후 재측정
- 골드 스탠다드 세트(50~100장) 별도 구축, 검수 기준점으로 고정
- 보안 요건 확인: NDA, 반출 제한, 작업 환경 격리, 개인정보 비식별화 범위
진행 중
- 주간 단위로 mIoU·IAA·재작업률 리포팅 요구
- 작업자별 품질 편차 모니터링, 편차가 크면 재교육 또는 배제
- 가이드라인 Q&A 로그를 별도 문서로 축적하고 주기적으로 본 가이드라인에 반영
납품 시
- 발주사가 직접 지정한 표본으로 최종 감사 수행
- 클래스 분포, 마스크 면적 분포, 이미지당 객체 수 통계 확인
- 학습 파이프라인에 실제로 로드해 파싱 오류 여부 검증
- 가이드라인 최종 버전과 작업 이력을 데이터셋과 함께 인수
세그멘테이션 라벨링 일정, 감이 아니라 계산으로 산정하십시오
비용만큼 자주 어긋나는 것이 일정입니다. “한 달이면 되겠죠”라는 대답을 받아들였다가 두 달 반이 걸리는 경우를 흔히 봅니다. 일정은 다음 순서로 역산하면 오차를 크게 줄일 수 있습니다.
먼저 파일럿 100장으로 이미지 1장당 실제 소요 시간을 측정합니다. 이때 반드시 난이도 상·중·하 샘플을 고르게 섞어야 합니다. 쉬운 이미지만으로 측정한 속도를 전체에 적용하면 일정이 반드시 밀립니다. 다음으로 측정값에 검수 공수를 더합니다. 1차 전수 검수는 라벨링 시간의 약 30%, 2차 표본 검수와 최종 감사는 각각 10% 내외를 잡는 것이 무난합니다. 여기에 재작업 버퍼로 10~15%를 추가하면 실질 총공수가 나옵니다.
산출식은 단순합니다. 총 소요 시간 = (장당 라벨링 시간 × 총 장수 × 1.5) ÷ 동시 투입 작업자 수. 1.5는 검수와 재작업 버퍼를 합친 계수입니다. 여기서 놓치기 쉬운 변수가 작업자 수를 무한정 늘릴 수 없다는 점입니다. 세그멘테이션 라벨링은 숙련도 편차가 큰 작업이라 인원을 급하게 늘리면 IAA가 떨어지고, 결국 재작업률이 올라가 전체 일정이 오히려 늘어납니다. 신규 작업자 투입 시에는 골드 스탠다드 세트로 자격 테스트를 통과한 인원만 본작업에 배치하는 절차를 두는 편이 안전합니다.
데이터 보안과 반출 요건도 일정 변수입니다
제조 현장 영상이나 의료 영상처럼 민감한 데이터는 라벨링 자체보다 반출 승인에 더 긴 시간이 걸리기도 합니다. 착수 전에 NDA 체결 범위, 작업자 개별 보안 서약, 폐쇄망 작업 환경 제공 여부, 작업 종료 후 원본 파기 확인서 발급까지 확정해 두어야 합니다. 특히 인물이 촬영된 산업안전 영상은 개인정보 비식별화 처리 범위를 사전에 합의하지 않으면 납품 직전에 전량 재처리가 발생할 수 있습니다.
자주 묻는 질문
세그멘테이션 라벨링에 필요한 최소 데이터 규모는?
과제 난이도에 따라 다르지만, 클래스당 최소 수백 장 이상의 마스크가 있어야 안정적인 학습이 시작됩니다. 결함 검출처럼 클래스 불균형이 심한 경우에는 희소 클래스 확보가 관건이므로, 전체 장수보다 클래스별 최소 샘플 수를 기준으로 물량을 산정하는 편이 실용적입니다. 희소 클래스는 실제 수집이 어려워 합성 데이터로 보강하는 접근도 함께 검토할 만합니다.
기존 바운딩박스 데이터를 세그멘테이션으로 전환할 수 있나요?
박스 정보만으로 마스크를 정확히 복원할 수는 없습니다. 다만 박스가 있으면 작업자가 객체 위치를 탐색하는 시간이 줄고, 박스를 프롬프트로 사용하는 분할 모델의 초안 생성에도 활용할 수 있어 신규 작업 대비 공수를 어느 정도 줄일 수 있습니다. 정확한 절감폭은 도메인마다 다르므로 파일럿으로 확인해야 합니다.
공급사를 고를 때 무엇을 봐야 하나요?
단가표보다 먼저 확인할 것은 세 가지입니다. 첫째, 해당 도메인의 유사 프로젝트 수행 이력. 둘째, 검수 프로세스를 문서로 제시할 수 있는지. 셋째, 품질 지표를 계약 조건으로 수용하는지입니다. mIoU 목표치를 계약서에 넣는 것을 꺼리는 공급사라면 이유를 반드시 확인하시길 권합니다. 국내 AI 데이터 라벨링 시장에서는 보안 요건과 작업 환경 격리 수준도 함께 비교하는 것이 좋습니다.
정리
세그멘테이션 라벨링은 강력하지만 비쌉니다. 이 두 문장 사이에서 균형을 잡는 것이 발주 담당자의 일입니다. 정리하면 세 가지입니다. 첫째, 모델 출력으로 물리량을 계산해야 하는지를 기준으로 세그멘테이션 필요 여부를 먼저 판정하십시오. 둘째, 전량이 아니라 필요한 구간에만 적용하는 하이브리드 설계를 검토하십시오. 셋째, mIoU와 IAA를 포함한 정량 기준을 계약서에 명시하고 3단 검수 구조를 요구하십시오.
결국 좋은 모델은 좋은 AI 학습 데이터에서 나오고, 좋은 데이터는 명확한 기준과 검증된 프로세스에서 나옵니다. 라벨링 방식 선택은 기술 결정이기 이전에 예산과 리스크에 관한 경영 판단이라는 점을 기억하시면, 견적서를 읽는 눈이 달라질 것입니다.