이미지 데이터 어노테이션(Image Data Annotation)
1. 개요
가. 정의
컴퓨터 비전 모델의 지도학습을 위해 이미지에 객체·영역·속성 등의 정답 레이블(Ground Truth)을 부착하는 작업.
어노테이션은 모델이 "무엇이 정답인지"를 배우는 교과서를 만드는 과정이다. 지도학습 모델은 사람이 부여한 정답을 기준으로 예측 오차를 줄여 나가므로, 레이블이 곧 학습의 기준점이 된다. 따라서 어노테이션의 정확성·일관성은 알고리즘 자체 못지않게 모델 성능을 좌우한다. 아무리 정교한 신경망 구조라도 틀린 정답으로 학습하면 틀린 규칙을 배우기 때문이다.
어노테이션은 단순 노동으로 보이기 쉽지만, 실제로는 도메인 지식·판단·품질관리가 결합된 공학적 활동이다. 예컨대 의료영상에서 병변의 경계를 어디까지로 볼 것인가는 전문의의 판단이 필요하고, 자율주행에서 "부분적으로 가려진 보행자"를 어떻게 라벨링할 것인가는 명확한 규칙이 없으면 작업자마다 달라진다. 이처럼 어노테이션의 질은 결국 "무엇을 어떻게 라벨링할 것인가"라는 규칙 설계와 품질 통제에 달려 있다.
또한 어노테이션은 학습 데이터뿐 아니라 모델을 평가하는 검증·시험 데이터의 정답을 만드는 활동이기도 하다. 평가용 정답이 부정확하면 모델의 실제 성능을 잘못 측정해, 나쁜 모델을 좋다고 오판하거나 그 반대의 오류를 범한다. 따라서 어노테이션 품질은 학습 성능과 평가 신뢰성 양쪽에 동시에 영향을 미치는 AI 시스템의 근간이라 할 수 있다.
나. 등장 배경 및 필요성
"쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)"는 말처럼, 모델 성능은 레이블 품질에 직접적으로 좌우된다. 같은 알고리즘이라도 정답이 부정확하거나 작업자마다 기준이 달라 들쭉날쭉하면 모델은 잘못된 패턴을 학습한다. 최근 AI 개발의 무게중심이 모델 구조 개선에서 데이터 품질 개선(Data-centric AI) 으로 이동한 것도 이 때문이다. 동일한 모델에 더 깨끗하고 일관된 레이블을 공급하는 것이, 모델 구조를 미세 조정하는 것보다 성능 향상에 더 크게 기여하는 경우가 많다.
특히 자율주행(보행자 오인식이 사고로 직결)·의료영상(병변 누락이 오진으로 직결)·불량 검사처럼 정밀 인식이 요구되는 분야가 확대되면서, 대량의 고품질 레이블을 체계적으로 확보하는 일이 AI 개발의 핵심 병목이 되었다. 실제로 상용 AI 프로젝트에서 데이터 수집·정제·라벨링에 전체 개발 기간의 상당 부분이 소요된다는 보고가 많으며, 이는 어노테이션이 단발성 작업이 아니라 지속적으로 관리해야 할 자산 구축 과정임을 보여 준다. 더구나 모델이 배포된 뒤에도 새로운 상황(눈길, 야간, 신규 표지판)에 맞춰 데이터를 계속 보강해야 하므로, 어노테이션은 한 번 끝나는 일이 아니라 순환하는 파이프라인이 된다.
2. 어노테이션 유형 분류
어노테이션 유형을 이해하는 것은 곧 "정답을 어떤 형식으로 표현할 것인가"를 이해하는 것이다. 같은 대상을 두고도 사각형·다각형·점·선·3차원 상자 등 표현 형식이 다양하며, 각 형식은 담을 수 있는 정보의 종류와 정밀도가 다르다. 표현 형식이 곧 모델이 배울 수 있는 정보의 상한을 결정하므로, 유형 분류는 단순 용어 정리가 아니라 학습 가능한 능력의 설계에 해당한다.
이미지 어노테이션은 표현 차원(2D/3D)과 표현 방식(박스·다각형·점·선 등)으로 분류된다. 아래 개념도는 전체 분류 체계를 한눈에 보여 준다.
flowchart TB
A["이미지 어노테이션"] --> B["2D"]
A --> C["3D"]
B --> B1["바운딩 박스"]
B --> B2["폴리곤 / 세그멘테이션"]
B --> B3["키포인트 / 랜드마크"]
B --> B4["폴리라인"]
C --> C1["3D 큐보이드"]
C --> C2["포인트 클라우드"]
style A fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
어노테이션 유형은 표현의 정밀도와 비용의 트레이드오프로 이해하는 것이 핵심이다. 위로 갈수록(바운딩 박스) 작업이 빠르고 싸지만 형태 표현이 거칠고, 아래로 갈수록(세그멘테이션·3D) 픽셀·공간 단위로 정밀하지만 작업 시간과 비용이 급증한다. 예컨대 한 이미지에서 바운딩 박스 하나를 그리는 데 수 초면 충분하지만, 같은 객체를 픽셀 단위 세그멘테이션으로 정밀하게 딸 경우 수십 배의 시간이 든다. 따라서 목표 태스크가 요구하는 정밀도에 맞춰 유형을 고르는 것이 원칙이다.
여기서 중요한 원칙은 "가능한 한 정밀하게"가 아니라 "필요한 만큼만 정밀하게"다. 태스크가 요구하지 않는 정밀도까지 라벨링하면 비용만 늘 뿐 성능 향상으로 이어지지 않기 때문이다. 반대로 정밀도가 부족하면 모델이 필요한 정보를 배우지 못한다. 결국 유형 선택은 태스크 요구사항 분석에서 출발해야 하며, 이는 어노테이션이 기계적 작업이 아니라 설계 판단을 요하는 활동임을 보여 준다.
어노테이션이 실제 모델 학습으로 이어지는 전체 흐름은 아래와 같이 파이프라인으로 정리할 수 있다. 이 흐름은 한 방향으로 끝나지 않고, 검수·검증에서 걸러진 오류가 다시 라벨링으로 돌아오는 순환 구조를 갖는다. 이 순환에서 특히 중요한 단계는 맨 앞의 라벨링 가이드 정의다. 어떤 객체를 라벨링 대상으로 삼을지, 가려진 객체·경계 사례를 어떻게 처리할지에 대한 규칙이 명확하지 않으면 이후 모든 작업이 흔들리기 때문이다. 즉 파이프라인의 품질은 상류의 규칙 설계에서 이미 상당 부분 결정된다.
flowchart LR
R["원시 이미지 수집"] --> G["라벨링 가이드 정의"]
G --> L["라벨링(수동/반자동)"]
L --> Q["품질검수(IAA/샘플링)"]
Q -->|오류 반려| L
Q -->|합격| D["학습 데이터셋"]
D --> T["모델 학습·평가"]
T -.어려운 샘플 선별.-> L
3. 유형별 특징
각 유형은 대응하는 컴퓨터 비전 태스크가 다르다. 유형 선택은 미적 취향이 아니라 태스크가 요구하는 정보의 종류에서 결정되므로, 각 유형이 어떤 정보를 담고 어떤 태스크에 맞는지를 이해하는 것이 중요하다. 아래에서는 대표 유형별로 담는 정보와 대응 태스크, 그리고 실무에서 주의할 점을 함께 살펴본다.
바운딩 박스(Bounding Box) 는 "무엇이 어디에 대략 있는가"만 알면 되는 객체 탐지에 쓰인다. 사각형 네 좌표만으로 위치를 표현하므로 작업이 빠르고 저렴하지만, 대각선으로 누운 물체나 불규칙한 형태는 배경까지 박스에 포함되어 정밀도가 떨어진다. 그럼에도 실시간 탐지처럼 속도와 비용이 중요한 대다수 응용에서 여전히 가장 널리 쓰이는 기본 유형이다. 다만 겹쳐 있는 객체를 각각 어떻게 박스로 딸 것인가, 화면 밖으로 잘린 객체를 어디까지 포함할 것인가 같은 세부 규칙이 필요하며, 이런 규칙이 없으면 같은 장면도 작업자마다 다르게 라벨링된다.
폴리곤·시맨틱 세그멘테이션 은 객체의 정확한 외곽·픽셀 경계가 필요한 형태 인식·의료영상에 쓰인다. 폴리곤은 다각형 꼭짓점으로 외곽을 따고, 시맨틱 세그멘테이션은 모든 픽셀에 클래스를 부여한다. 예컨대 의료영상에서 종양의 면적·형태를 정량 측정하려면 픽셀 단위 경계가 필수이므로 박스로는 대체할 수 없다. 대신 작업 부담이 커서, 한 장을 완성하는 데 상당한 시간과 숙련도가 요구된다.
한편 시맨틱 세그멘테이션과 인스턴스 세그멘테이션의 구분도 중요하다. 시맨틱 세그멘테이션은 "이 픽셀은 자동차"라고만 분류해 같은 클래스의 여러 객체를 구별하지 않는 반면, 인스턴스 세그멘테이션은 "자동차 1, 자동차 2"처럼 개별 객체까지 구별한다. 겹쳐 있는 사람들을 각각 세어야 하는 군중 분석 같은 태스크에서는 인스턴스 수준의 라벨이 필요하므로, 같은 세그멘테이션이라도 태스크에 맞는 수준을 정확히 정의해야 한다.
키포인트(Keypoint) 는 관절·랜드마크의 위치 관계가 중요한 자세 추정·얼굴 인식에 쓰인다. 사람의 관절 위치를 점으로 찍어 골격을 표현하면 동작을 인식할 수 있다. 예컨대 피트니스 앱의 운동 자세 교정이나 낙상 감지 시스템은 관절 키포인트의 각도·연결 관계로 자세를 판별한다. 키포인트는 점의 순서와 의미(왼쪽 어깨, 오른쪽 팔꿈치 등)가 일관되게 정의되어야 하므로, 가이드라인에서 점의 정의를 엄격히 규정하는 것이 품질의 관건이다.
폴리라인(Polyline) 은 차선처럼 얇고 긴 선형 객체에 쓰이며, 박스나 폴리곤으로는 선의 연속성을 표현하기 어렵기 때문에 별도 유형이 필요하다. 차선이 점선이거나 일부 가려진 경우 선을 어디까지 이어 그릴 것인가에 대한 규칙이 없으면 작업자마다 결과가 크게 달라진다. 3D 큐보이드·포인트 클라우드 는 거리·깊이가 필요한 자율주행 라이다에 쓰이며, 2D 이미지에는 없는 깊이(z) 정보를 담아야 하므로 작업 난도와 비용이 가장 높은 축에 속한다.
| 유형 | 설명 | 대표 활용 |
|---|---|---|
| 바운딩 박스(Bounding Box) | 객체를 사각형으로 표시 | 객체 탐지 |
| 폴리곤(Polygon) | 외곽을 다각형으로 정밀 표시 | 형태 인식·인스턴스 분할 |
| 시맨틱 세그멘테이션 | 픽셀 단위 클래스 분류 | 도로·배경 분할, 의료영상 |
| 키포인트(Keypoint) | 관절·랜드마크 점 표시 | 자세 추정·얼굴 인식 |
| 폴리라인(Polyline) | 선형 객체 표시 | 차선·도로 경계 |
| 3D 큐보이드 | 3차원 직육면체로 표시 | 자율주행 라이다·깊이 인식 |
예컨대 자율주행에서 앞차와의 충돌을 피하려면 대상이 화면 어디에 있는지(박스)뿐 아니라 몇 미터 앞에 있는지가 필요하므로 라이다 3D 큐보이드가 요구된다. 반대로 CCTV 침입 탐지처럼 "사람이 구역 안에 있는가"만 판단하면 되는 경우에는 바운딩 박스로 충분하다. 이처럼 유형 선택은 태스크의 물리적 요구에서 결정되며, 필요 이상으로 정밀한 유형을 선택하면 비용만 낭비된다.
4. 어노테이션 기법
어노테이션 기법의 발전사는 곧 "사람의 노동을 어떻게 줄일 것인가"의 역사다. 데이터 규모가 커질수록 순수 수작업의 한계가 뚜렷해졌기 때문에, 기법은 사람의 개입 지점을 점차 뒤로 미루는 방향으로 진화해 왔다. 아래에서는 수동에서 능동학습까지의 스펙트럼을 그 원리와 함께 살펴본다.
수작업 라벨링은 정확하지만 느리고 비싸다는 근본 한계가 있어, 기법은 사람의 개입을 줄이는 방향으로 진화해 왔다. 초기에는 모든 이미지를 사람이 일일이 라벨링했지만, 데이터 규모가 수십만·수백만 장으로 커지면서 이 방식은 비용·시간 면에서 지속 불가능해졌다. 다만 완전 자동화는 오류 위험이 있어, 현재는 AI가 초안을 만들고 사람이 검수하는 인간 참여형(Human-in-the-loop) 이 주류다.
수동(Manual) 은 사람이 직접 라벨링하는 방식으로, 정확도가 높고 복잡한 판단이 가능하지만 고비용·저속이다. 규모가 작거나 고난도 판단이 필요한 초기 데이터셋 구축에 적합하다. 특히 자동화 모델을 학습시킬 초기 시드(seed) 데이터는 사람이 정성껏 만든 고품질 수동 레이블이어야 이후 반자동·자동화가 신뢰성 있게 작동한다. 반자동(Semi-auto) 은 AI가 사전 예측한 결과를 사람이 검수·보정하는 방식(HITL)으로, 사람이 처음부터 그리는 대신 "AI 초안을 고치는" 형태여서 작업 속도를 크게 높인다.
자동(Auto-labeling) 은 사전학습 모델로 레이블을 자동 생성한 뒤 일부만 샘플 검증하는 방식이다. 대량 데이터에 빠르게 적용할 수 있으나, 모델이 틀린 부분을 그대로 정답으로 굳혀 버릴 위험이 있어 품질 모니터링이 필수다. 잘못된 자동 레이블로 학습한 모델이 다시 잘못된 레이블을 생성하는 악순환에 빠지지 않도록 주의해야 한다.
인간 참여형(HITL)이 주류가 된 이유는 자동화의 속도와 사람의 판단력을 결합하는 것이 가장 실용적이기 때문이다. 완전 수동은 정확하지만 확장성이 없고, 완전 자동은 빠르지만 신뢰할 수 없다. HITL은 AI가 반복적·기계적인 초안 작업을 맡고 사람이 최종 판단·예외 처리·품질 검증을 담당함으로써 양쪽의 장점을 취한다. 이때 사람의 검수 결과를 다시 모델 개선에 피드백하면 자동 초안의 품질이 점점 향상되어, 시간이 지날수록 사람의 개입 비율을 줄일 수 있다는 점이 핵심 이점이다.
| 기법 | 설명 |
|---|---|
| 수동(Manual) | 사람이 직접 라벨링 — 정확하나 고비용·저속 |
| 반자동(Semi-auto) | AI가 사전 예측 후 사람이 검수·보정(HITL) |
| 자동(Auto-labeling) | 사전학습 모델로 자동 생성 후 샘플 검증 |
| 능동학습(Active Learning) | 모델이 불확실해하는 샘플을 우선 라벨링 |
특히 능동학습(Active Learning) 은 효율의 핵심 전략이다. 모든 데이터를 똑같이 라벨링하는 대신, 모델이 가장 헷갈려 하는(예측 확신도가 낮은) 샘플을 골라 우선적으로 사람에게 라벨링을 맡긴다. 이미 잘 맞히는 쉬운 샘플을 더 라벨링해도 성능 향상은 미미한 반면, 모델이 어려워하는 경계 사례를 라벨링하면 정보량이 커서 같은 예산으로 더 큰 성능 향상을 얻는다. 이는 한정된 라벨링 예산을 정보 가치가 큰 데이터에 집중 투입하는 전략으로, 데이터가 방대할수록 그 효과가 커진다.
능동학습은 실무에서 "라벨링→학습→불확실 샘플 선별→추가 라벨링"의 반복 루프로 구현된다. 초기 소량 데이터로 모델을 만든 뒤, 그 모델이 확신하지 못하는 데이터를 우선순위로 뽑아 라벨링하고 다시 학습하는 과정을 반복한다. 이 방식은 특히 라벨링 단가가 높은 전문 도메인(의료·법률 영상 등)에서 전체 비용을 크게 절감하는 것으로 알려져 있으며, 무작정 데이터를 늘리는 것보다 "어떤 데이터를 라벨링할 것인가"를 전략적으로 고르는 것이 더 중요하다는 데이터 중심 AI의 철학을 잘 보여 준다.
5. 비교와 산업 적용 사례
어노테이션 전략을 세울 때는 정밀도·비용·속도라는 세 축을 함께 놓고 판단해야 한다. 아래 표는 대표 유형을 이 기준으로 비교한 것이다. 표의 수치는 절대치가 아니라 상대적 경향으로 이해해야 하며, 도메인·도구·숙련도에 따라 달라진다.
| 유형 | 정밀도 | 상대 비용 | 작업 속도 | 대표 적합 태스크 |
|---|---|---|---|---|
| 바운딩 박스 | 낮음 | 낮음 | 빠름 | 실시간 객체 탐지 |
| 폴리곤 | 높음 | 중간 | 보통 | 인스턴스 분할 |
| 시맨틱 세그멘테이션 | 매우 높음 | 높음 | 느림 | 의료영상·정밀 분할 |
| 3D 큐보이드 | 높음(공간) | 매우 높음 | 느림 | 자율주행 라이다 |
이 차이가 생기는 이유는 각 유형이 표현하는 정보의 자유도가 다르기 때문이다. 박스는 좌표 4개로 표현이 끝나지만, 세그멘테이션은 이미지의 모든 픽셀에 대해 판단을 내려야 하므로 표현해야 할 정보량 자체가 수만 배 많다. 따라서 정밀도가 올라갈수록 비용·시간이 급증하는 것은 도구의 문제가 아니라 표현 방식의 본질적 특성이다. 실무에서는 이 트레이드오프를 고려해, 대부분의 데이터는 저비용 박스로 처리하고 정밀도가 결정적인 소수 데이터에만 세그멘테이션을 적용하는 혼합 전략을 쓰기도 한다.
산업별로 요구가 어떻게 갈리는지 세 가지 사례로 보면 그 함의가 분명해진다. 첫째, 자율주행에서는 카메라 2D 박스만으로는 거리 판단이 불가능해 라이다 포인트 클라우드에 3D 큐보이드를 부착하고, 여기에 차선(폴리라인)·신호등(키포인트)까지 다중 센서·다중 유형을 결합한다. 안전이 최우선이므로 비용을 감수하고 최고 정밀도를 택하는 대표적 도메인이다.
둘째, 의료영상에서는 병변의 면적·부피를 정량 측정해야 하므로 픽셀 단위 세그멘테이션이 필수이며, 판독에 전문의 수준의 도메인 지식이 필요하다. 따라서 단가가 높은 전문가 검수가 불가피하고, 데이터 규모보다 정확성과 재현성이 더 중시된다. 여러 판독의의 소견이 갈릴 수 있으므로, 복수 전문가의 라벨을 종합해 합의 정답을 만드는 절차가 함께 요구되기도 한다.
셋째, 제조 불량 검사에서는 미세 결함의 위치와 형태가 중요해 폴리곤·세그멘테이션을 쓰되, 정상/불량 비율이 극단적으로 불균형(불량이 희소)한 경우가 많아 희소 클래스 데이터를 의도적으로 확보하는 것이 관건이 된다. 이처럼 같은 어노테이션이라도 산업의 물리적·경제적 제약에 따라 최적 전략이 완전히 달라진다. 결국 어노테이션 전략은 정답이 하나로 정해진 것이 아니라, 도메인의 위험도·비용 구조·데이터 특성을 종합해 설계하는 문제임을 세 사례가 함께 보여 준다.
6. 심화: 파운데이션 모델과 자동 라벨링의 진화
최근 어노테이션 분야의 가장 큰 변화는 파운데이션 모델의 등장이다. 대표적으로 메타의 SAM(Segment Anything Model)은 사전 학습된 범용 분할 능력으로, 사용자가 점 하나 또는 박스 하나만 지정하면 해당 객체의 픽셀 경계를 즉시 생성해 준다. 과거에는 폴리곤을 수십 개 점으로 일일이 찍어야 했던 세그멘테이션이, 이제 클릭 몇 번으로 초안이 만들어지므로 작업 생산성이 크게 향상되었다.
이러한 프롬프트 기반 분할은 어노테이션 도구의 사용자 경험 자체를 바꾸고 있다. 작업자는 세밀한 외곽선을 직접 그리는 대신 대상을 "지목"하기만 하면 되고, 모델이 제안한 경계를 확인·보정하는 방식으로 일한다. 이는 라벨링을 저숙련 반복 작업에서 판단 중심 작업으로 끌어올려, 동일 인원으로 훨씬 많은 데이터를 처리할 수 있게 한다.
이 변화는 사람의 역할을 근본적으로 바꾸고 있다. 사람이 레이블을 처음부터 생성하는 주체에서, AI가 만든 초안을 검수·수정·품질 관리하는 감독자로 이동하는 것이다. 즉 노동의 총량이 줄어드는 것이 아니라 노동의 성격이 "생산"에서 "검증"으로 이동한다. 이에 따라 어노테이션 조직도 대규모 라벨러 중심에서 소수의 숙련된 검수자와 자동화 파이프라인 중심으로 재편되는 추세다.
다만 자동화가 만능은 아니라는 점도 함께 강조된다. 파운데이션 모델은 일반적 객체에는 강하지만, 의료·산업 결함처럼 특수 도메인 데이터에는 여전히 오류가 많아 전문가 검수가 필수다. 또한 자동 생성 레이블의 품질을 신뢰할 수 있는지 검증하는 체계(샘플 감사, 신뢰도 기반 필터링)가 없으면 오히려 잘못된 레이블을 대량 양산할 위험이 있다. 따라서 자동화 도입은 "사람을 없애는" 방향이 아니라 "사람의 판단을 어디에 집중시킬 것인가"를 재설계하는 문제로 접근해야 한다.
레이블링 부담을 근본적으로 줄이려는 또 다른 흐름으로 합성 데이터(synthetic data) 와 약지도학습(weak supervision)이 있다. 시뮬레이터나 생성 모델로 이미지를 만들면 정답 레이블을 생성 시점에 자동으로 얻을 수 있어, 희소하거나 위험한 상황(사고 장면, 드문 결함)의 데이터를 저비용으로 확보할 수 있다. 다만 합성 데이터와 실제 데이터 사이의 분포 차이(domain gap)를 관리하지 못하면 실제 환경에서 성능이 떨어질 수 있어, 실제 데이터와의 혼합·보정이 함께 요구된다. 이런 기법들은 어노테이션의 미래가 "사람이 더 많이 찍는" 방향이 아니라 "정답을 더 영리하게 확보하는" 방향으로 가고 있음을 보여 준다.
7. 고려사항 및 시사점
기술사 관점의 핵심은 품질과 효율의 균형을 어떻게 설계하느냐이며, 이는 단일 기법의 선택이 아니라 파이프라인 전체의 설계 문제다.
- 품질 관리 체계 구축: 명확한 라벨링 가이드라인, 교차검증, 작업자 간 일치도(IAA, Inter-Annotator Agreement) 측정으로 일관성을 담보해야 한다. 특히 IAA는 여러 작업자가 같은 이미지를 라벨링했을 때 결과가 얼마나 일치하는지를 정량화해, 가이드라인의 모호성이나 작업자 교육 부족을 조기에 드러내는 핵심 지표다. IAA가 낮게 나오면 작업자를 탓하기 전에 가이드라인이 애매하지 않은지부터 점검하는 것이 올바른 순서다.
- 효율화 전략의 단계적 도입: 초기에는 수동으로 고품질 시드 데이터를 확보하고, 이를 바탕으로 반자동·자동·능동학습을 순차 도입해 비용을 낮추는 것이 현실적이다. 처음부터 완전 자동화를 시도하면 품질이 무너지므로, 자동화 비율을 점진적으로 높이는 접근이 안전하다.
- 데이터 편향 관리: 데이터에 특정 집단·상황이 과소·과대 표현되면 모델이 편향을 학습한다. 예컨대 주간 이미지만으로 학습한 자율주행 모델은 야간 인식이 취약해지므로, 데이터셋의 대표성(다양한 조건·집단 포함)을 의도적으로 설계해야 한다.
- 프라이버시·규제 준수: 얼굴·차량 번호판 등 개인정보가 포함될 때는 비식별화(마스킹·블러) 처리가 필수이며, 개인정보보호법 등 규제를 준수해야 한다. 라벨링 외주 시 데이터 유출 방지를 위한 보안 통제도 함께 고려해야 한다.
- 지속적 데이터 운영(MLOps): 어노테이션은 일회성이 아니라, 모델 배포 후 성능 저하(데이터 드리프트)에 대응해 새 데이터를 계속 라벨링·보강하는 순환 활동이다. 따라서 어노테이션을 별도 작업이 아니라 MLOps 파이프라인의 상시 구성 요소로 설계하는 관점이 필요하다.
- 비용·조직 설계와 거버넌스: 대규모 라벨링은 외주·크라우드소싱을 활용하는 경우가 많으므로, 작업자 교육·평가·보상 체계와 데이터 접근 통제를 포함한 거버넌스가 품질과 보안을 동시에 좌우한다. 자동화 도구 투자와 인력 운영 사이의 비용 배분을 데이터 규모·정밀도 요구에 맞춰 최적화하는 것도 기술사가 판단해야 할 전략적 과제다.
참고자료
- Kirillov et al., "Segment Anything" (Meta AI), 2023: https://ai.meta.com/research/publications/segment-anything/
- Andrew Ng, Data-centric AI: https://landing.ai/data-centric-ai
- Google Cloud, Data labeling 개념 문서: https://cloud.google.com/vertex-ai/docs/datasets/label-using-console
한 줄 요약: 이미지 어노테이션은 바운딩박스·폴리곤·세그멘테이션·키포인트·3D 등 태스크 정밀도에 맞춰 정답을 부여하는 작업으로, 레이블 품질이 모델 성능을 좌우하며 수동→반자동→능동학습·파운데이션 모델로 진화하는 가운데 IAA 기반 품질관리·편향·프라이버시를 함께 통제해야 한다.