합성데이터, 왜 지금 이 시점에 주목받는가
이미지 합성데이터 품질은 AI 비전 모델의 성패를 가르는 핵심 변수다.
산업 현장에서 AI 비전 모델을 개발할 때 가장 먼저 마주치는 벽은 데이터 부족이다. 특히 산업재해 감지 모델처럼 위험 상황 이미지가 구조적으로 희소한 도메인에서는, 실제 사고 장면을 수천 장 수집하는 것이 현실적으로 불가능하다. 지능형 CCTV 솔루션을 개발하는 팀이라면 이 문제를 피부로 알고 있을 것이다. 고소 작업 중 추락 직전 자세, 끼임 위험 상황, 안전장비 미착용 장면 – 이런 데이터는 의도적으로 연출하지 않는 한 충분한 볼륨을 확보하기 어렵다.
이 문제를 해결하는 접근이 바로 이미지 합성데이터(Synthetic Image Data)다. 합성데이터는 실제 촬영 없이 생성 모델을 통해 만들어지는 인공 AI 학습 데이터로, 최근 Diffusion 모델 계열의 비약적 발전으로 현실과 구분하기 어려운 수준의 이미지 생성이 가능해졌다.
시장 수치만 봐도 방향은 명확하다. Gartner는 2030년까지 합성데이터가 실제 데이터보다 더 광범위하게 AI 학습에 활용될 것으로 전망했다. CVPR 2026에서는 컴퓨터 비전 분야 합성데이터만을 주제로 한 별도 워크숍(SynData4CV)이 3회째 개최될 만큼, 이 분야는 학계에서도 주류 연구 의제로 자리잡았다.
그러나 합성데이터를 무작정 많이 생성한다고 모델 성능이 오르지는 않는다. MIT의 Kalyan Veeramachaneni 연구팀이 지적했듯, 합성데이터의 효용은 “task-specific efficacy”, 즉 특정 과업에서의 실질적 성능 기여로 평가되어야 한다. 핵심은 양이 아니라 품질이다. 그렇다면 이미지 합성데이터의 품질을 결정하는 요소는 구체적으로 무엇인가?
이하에서 이미지 합성데이터 품질을 결정하는 요소를 하나씩 살펴본다.
품질을 결정하는 5가지 핵심 요소
도메인 적합성 – 생성 모델이 해당 도메인을 얼마나 아는가
범용 생성 모델(Stable Diffusion, Flux.1 등)은 인터넷 기반 일반 이미지로 사전학습되어 있다. 산업 현장, 공장 라인, 작업복 착용 상태, 안전모 색상 같은 특수 도메인 이미지는 학습 데이터 내 비중이 낮아, 그대로 사용하면 현장 특화성이 현저히 떨어지는 합성 이미지가 생성된다.
이 문제를 해결하는 기법이 LoRA(Low-Rank Adaptation) 파인튜닝이다. 기반 모델의 전체 파라미터를 재학습하는 대신, 소수의 저랭크 행렬(low-rank matrix)만을 업데이트하여 특정 도메인에 맞게 모델을 적응시키는 방법이다. 계산 비용은 낮추면서 도메인 특화성은 높이는 이 접근법은, 현재 산업 현장 이미지 합성 분야에서 사실상 표준(de facto standard)으로 자리잡고 있다
실제로 Flux.1 계열 모델에 LoRA를 적용한 최근 연구(FLORA, 2025)에서는, 기존 방식 대비 10분의 1 수준의 합성 이미지로 더 높은 객체 탐지 성능을 달성했다. 이는 도메인 적합성이 높은 소수 정예의 합성 이미지가, 범용성에 머문 대량 이미지보다 모델 학습에 훨씬 효과적임을 실증한다.
참고 논문 — FLORA: Efficient Synthetic Data Generation via finetuning Flux LoRA (arXiv, 2025)
시드 데이터 품질 – 이미지 합성데이터 품질의 한계는 파인튜닝에 사용된 실제 데이터(시드 데이터)의 품질로 결정된다.
합성데이터 품질의 한계는 파인튜닝에 사용된 실제 데이터(시드 데이터)의 품질로 결정된다. 조도가 불균일하거나 해상도가 낮거나, 타깃 클래스가 편중된 시드 데이터로 파인튜닝하면, 생성 모델은 그 패턴까지 고스란히 학습한다. 쓰레기 데이터를 넣으면 쓰레기 합성 이미지가 나온다는 것은, 이 분야에서 가장 자주 확인되는 실패 패턴이다.
MIT LIDS 연구팀도 같은 문제를 지적한다. “실제 데이터에 존재하는 편향(bias)은 합성데이터로 그대로 이전된다. 합성데이터가 소량의 실제 데이터로부터 생성되는 이상, 원본 데이터의 편향에서 자유롭지 않다.” 다시 말해, 합성데이터 파이프라인에서 초기 실제 데이터의 수집과 정제는 전체 품질의 기반이다.
체계적인 AI 데이터 라벨링과 AI 데이터 가공 프로세스가 합성데이터 파이프라인에서 선행 조건이 되는 이유다. 시드 데이터가 정밀하게 라벨링되고 도메인 대표성이 확보될수록, 생성되는 합성 이미지의 다양성과 정확성이 높아진다.
LoRA 파인튜닝에 필요한 시드 데이터는 일반적으로 50~200장 수준이면 의미 있는 결과를 낼 수 있다. 그러나 장수보다 중요한 것은 품질과 다양성이다. 산업재해 감지 도메인이라면, 위험 상황 유형별로 균형 잡힌 시드 구성이 필수다.
프롬프트 설계의 체계성 – 무엇을 어떻게 지시하는가
같은 파인튜닝 모델이라도 프롬프트 구성에 따라 생성 결과물의 다양성과 현실성이 크게 달라진다. “공장 작업자 이미지”를 단순 요청하는 것과, 조도 조건(야간/형광등/자연광), 작업복 색상, 배경 환경(제조 라인/창고/옥외), 카메라 앵글(상향/정면/측면), 위험 유형(고소 작업·끼임·안전장비 미착용)까지 명시하는 것은 결과물의 차원이 다르다.
산업재해 감지를 위한 합성데이터 파이프라인이라면, 위험 상황을 최소 5~10개 세부 시나리오로 분류하고, 각 시나리오에 대해 다양한 환경 조건을 조합한 프롬프트 매트릭스를 체계적으로 구성해야 한다. 이 단계가 부실하면 생성 이미지가 특정 패턴에 집중되고 다양성이 낮아져, 현장 배포 후 엣지 케이스 대응력이 저하된다.
SynSpill(ICCV 2025 Workshop) 연구에서는 공장 내 유출물 감지를 위한 합성데이터를 생성할 때, 배경 구조물 참조 이미지와 구조 맵을 함께 활용하는 조건부 생성(IP Adapter + LoRA)으로 현실성과 다양성을 모두 확보하는 방법론을 제시했다. 프롬프트 설계가 단순한 텍스트 입력이 아닌 구조화된 파이프라인임을 보여주는 사례다.
합성·실제 데이터 혼합 비율 – 황금 비율은 존재하는가
합성데이터를 실제 학습에 적용할 때 반드시 결정해야 하는 변수가 혼합 비율(synthetic-to-real ratio)이다. 합성 이미지가 너무 많으면 실제 데이터 분포와의 괴리(domain gap)가 커져 현장 환경에서 성능이 저하된다. 반대로 너무 적으면 데이터 희소 문제가 해결되지 않는다.
참고 논문 — Latent Diffusion Models to Enhance Visual Defect Segmentation in Steel Surface Inspection (MDPI Sensors, 2024)
위 연구는 철강 표면 결함 감지 도메인에서 합성 이미지 비율이 약 37%일 때 최고 성능을 기록한다는 것을 보여준다. 도메인과 모델 아키텍처에 따라 최적 비율은 달라지지만, 핵심 인사이트는 동일하다. 합성데이터는 실제 데이터를 완전히 대체하는 것이 아니라, 전략적으로 보완하는 방식으로 활용될 때 효과가 극대화된다.
클래스 분포 균형 – 희소 클래스를 어떻게 다룰 것인가
합성데이터 생성에서 흔히 간과되는 함정이 클래스 불균형이다. “정상 작업” 이미지가 “위험 상황” 이미지보다 압도적으로 많은 데이터로 학습된 모델은 위험 탐지 능력이 구조적으로 취약하다. 합성데이터의 강력한 이점 중 하나는 바로 이 희소 클래스(rare class)를 의도적으로 생성하여 분포를 교정할 수 있다는 점이다.
Defect-LoRA(ScienceDirect, 2024) 연구에서는 단 1장의 결함 샘플과 1장의 정상 샘플만으로 LoRA 파인튜닝을 수행하고, 결함 형태와 강도를 세밀하게 제어하는 이중 LoRA 아키텍처를 제안했다. 데이터가 극단적으로 부족한 희소 클래스 시나리오에서 합성데이터가 특히 효과적임을 보여주는 연구다.
그러나 희소 클래스를 과도하게 보강하면 오히려 현실 데이터 분포와 괴리가 생겨 배포 후 성능이 저하된다. 합성 데이터의 클래스 분포 설계는 현실 발생 빈도와 탐지 중요도를 모두 고려한 전략적 판단이 필요하다.
합성데이터만으로는 부족한 이유 – 시드 데이터가 전부다
지금까지 살펴본 5가지 품질 결정 요소는 모두 하나의 공통 전제로 수렴한다. 합성데이터는 높은 품질의 실제 데이터가 선행될 때 비로소 제 성능을 낸다는 것이다.
현실 세계의 물리적 노이즈, 카메라 센서 특성, 예측 불가능한 조명 변화, 현장 특유의 배경 패턴 – 이런 요소들은 어떤 생성 모델도 완벽하게 모사할 수 없다. 그 간극을 좁혀주는 것이 시드 데이터의 품질이다. 시드 데이터가 현장 환경을 충분히 커버하지 못하면, LoRA 파인튜닝으로도 그 공백을 채울 수 없다.
실제로 산업재해 감지 도메인에서 합성데이터를 적용한 파이프라인을 검토해보면, 합성 단독 학습 모델과 정제된 실제 데이터를 기반으로 한 혼합 학습 모델 사이에는 현장 환경에서 유의미한 성능 차이가 나타난다.
산업재해 감지 모델의 합성데이터 파이프라인에서 실제 필요한 시드 데이터는 상황별·유형별로 분류된 정밀 라벨링 이미지다. 단순 수집이 아니라, 라벨 일관성과 도메인 대표성을 확보하는 체계적인 구축 프로세스가 요구된다.
합성데이터 품질 검증 – FID와 다운스트림 평가의 차이
생성된 합성 이미지의 품질을 어떻게 측정할 것인가도 중요한 실무 질문이다. 일반적으로 많이 사용되는 지표는 FID(Fréchet Inception Distance)로, 실제 이미지와 합성 이미지의 분포 유사도를 정량화한다. FID 값이 낮을수록 합성 이미지가 실제 이미지 분포에 가깝다는 의미다.
그러나 FID가 낮다고 해서 모델 학습에 효과적인 것은 아니다. MIT 연구팀이 강조했듯, 합성데이터의 실질적 가치는 “특정 과업에서의 성능 기여(task-specific efficacy)”로 평가되어야 한다. 즉, FID 같은 분포 유사도 지표 외에, 실제 테스트셋 기반의 다운스트림 성능 평가(mIoU, AP, F1 등)가 반드시 병행되어야 한다.
또한 PMC에 게재된 산업 표면 결함 이미지 생성 연구에 따르면, SD+LoRA 방식이 FID·LPIPS·KID·IS 등 주요 품질 지표에서 GAN 기반 방법론을 일관되게 앞섰다. Diffusion 기반 합성이 품질 측면에서도 우위에 있음을 다양한 지표로 실증한 것이다.
마치며, 합성데이터는 전략이다
이미지 합성데이터 품질은 도메인 파인튜닝, 시드 데이터, 프롬프트 설계, 혼합 비율, 클래스 균형이라는 다섯 축으로 결정된다. 그러나 그 효과는 전제 조건이 갖춰질 때만 발휘된다. 도메인 특화 파인튜닝, 정제된 시드 데이터, 체계적인 프롬프트 설계, 최적 혼합 비율 탐색, 클래스 분포 균형 조정 – 이 다섯 가지가 맞물려야만 합성데이터는 모델을 개선하는 도구가 된다. 하나라도 부실하면 오히려 잘못된 방향으로 모델을 학습시키는 원인이 된다.
특히 시드 데이터의 품질은 합성데이터 파이프라인 전체의 천장을 결정하는 요소다. 합성데이터를 도입하기 전에, 어떤 실제 데이터를 어떻게 구축할 것인가를 먼저 설계하는 것이 올바른 순서다. 합성 이미지는 그 기반 위에서 역할을 할 때 최대 효과를 낸다.
[1] Grand View Research, AI Training Dataset Market Report (2025) — 글로벌 AI 학습 데이터 시장 규모 및 성장률
[2] MarketsandMarkets, AI Training Dataset Market Report (2024) — 합성데이터 세그먼트 CAGR 30.5%
[3] Mordor Intelligence, Synthetic Data Market Report (2026) — Diffusion 모델 CAGR 46.3%
[4] MIT News / Kalyan Veeramachaneni, “3 Questions: The pros and cons of synthetic data in AI” (Sep 2025)
[5] CVPR 2026 Workshop — SynData4CV (3rd Workshop on Synthetic Data for Computer Vision)
[6] MDPI Sensors, “Latent Diffusion Models to Enhance Visual Defect Segmentation in Steel Surface Inspection” (2024) — LoRA+SD 적용 mIoU 향상 실험
[7] ScienceDirect, “Defect-LoRA: Controllable defect data augmentation based on LoRA for surface defect recognition” (2024)
[8] arXiv, “FLORA: Efficient Synthetic Data Generation for Object Detection via finetuning Flux LoRA” (Aug 2025)
[9] ICCV 2025 Workshop, “SynSpill: Improved Industrial Spill Detection With Synthetic Data”
[10] PMC (NCBI), “An Overview of Image Generation of Industrial Surface Defects” — SD+LoRA vs GAN 품질 지표 비교