능동학습(Active Learning)

1. 개요

가. 정의

능동학습(Active Learning)이란 학습기(learner)가 레이블이 없는 방대한 데이터 중에서 '가장 정보량이 큰' 표본을 스스로 선별해 전문가(oracle, 보통 사람 라벨러)에게 레이블을 질의(query)하고, 그 응답을 받아 모델을 반복적으로 개선하는 준(準)지도학습의 한 패러다임이다. 핵심 전제는 "레이블이 비싸고 희소하다"는 것이며, 목표는 최소한의 레이블 비용으로 목표 성능에 도달하는 데이터 효율성(data efficiency)이다.

전통적 지도학습(수동학습, passive learning)은 라벨러가 무작위로 추출하거나 전수(全數) 수집한 데이터에 일괄 레이블을 붙인 뒤 한 번에 학습한다. 반면 능동학습은 학습과 레이블링을 분리된 전처리 단계가 아니라 하나의 폐루프(closed loop)로 엮는다. 모델이 "지금 내가 가장 헷갈리는, 혹은 알면 결정 경계가 크게 바뀔 표본은 무엇인가"를 스스로 판단해 그것만 골라 묻기 때문에, 같은 성능을 내는 데 필요한 레이블 수가 무작위 수집 대비 수 배에서 수십 배까지 줄어들 수 있다. 즉 능동학습의 본질은 '얼마나 많이 보느냐'가 아니라 '무엇을 보느냐'로 학습의 가치를 재정의하는 데 있다.

나. 등장 배경과 필요성

현대 머신러닝의 병목은 알고리즘이나 연산이 아니라 양질의 레이블로 옮겨가고 있다. 모델 구조는 사전학습 모델과 오픈소스로 상향 평준화되었지만, 도메인 레이블은 여전히 사람이 손으로 붙여야 하고 그 비용이 지배적이다. 의료 영상에서 병변을 분할(segmentation)하려면 전문의가 픽셀 단위로 표시해야 하고, 자율주행에서 3D 라이다 포인트 클라우드의 객체 경계를 박스로 치려면 한 프레임에 수십 분이 든다. 전수 레이블링은 비용·시간·전문가 가용성 모두에서 비현실적이며, 여기서 "어차피 전부 못 붙인다면, 가장 값어치 있는 것부터 붙이자"는 발상이 능동학습의 출발점이다.

필요성을 키우는 두 번째 축은 데이터의 극단적 편중이다. 사기 거래, 희귀 질환, 반도체 공정 불량처럼 관심 대상이 드문 영역에서는 무작위 추출로 소수 클래스를 만나기조차 어렵다. 능동학습은 결정 경계 부근의 애매한 표본, 즉 소수 클래스가 몰려 있을 가능성이 큰 영역을 집중적으로 질의하므로 [[class-imbalance]] 상황에서 레이블 예산을 효율적으로 배분한다. 세 번째 축은 파운데이션 모델·LLM 시대의 선호 데이터 수집이다. RLHF나 선호 정렬에서 사람의 비교 평가는 매우 비싸므로, 모델이 가장 불확실해하는 프롬프트-응답 쌍을 골라 사람에게 묻는 전략이 곧 능동학습의 응용이다. 이 주제는 [[class-imbalance]]·[[semi-supervised-learning]]·[[data-labeling]]·[[rlhf]]와 밀접하게 연계된다.

다. 능동학습을 특징짓는 핵심 속성

능동학습이 성립하려면 몇 가지 전제와 설계 변수가 맞아떨어져야 한다. 이 요소들이 갖춰지지 않으면 능동학습은 복잡성만 늘리고 효익은 없는 과잉 설계가 되기 쉬우므로, 도입 전에 아래 항목을 먼저 진단해야 한다.

레이블 비용의 비대칭성: 데이터 수집은 싸지만 레이블링이 비쌀 때(대량의 미레이블 풀 존재) 가장 효과가 크다. 레이블이 공짜라면 능동학습의 유인이 사라진다.
질의 전략(query strategy): 어떤 기준으로 '정보량'을 정의하는가. 불확실성·위원회 불일치·기대 모델 변화·다양성 등 전략 선택이 성능을 좌우한다.
질의 시나리오: 전체 풀에서 고르는지(pool-based), 흐르는 스트림에서 즉석 판단하는지(stream-based), 입력을 합성해 묻는지(membership query synthesis).
배치 크기(batch budget): 한 번에 한 건씩 질의할지, 수백 건을 묶어 질의할지. 딥러닝은 재학습 비용 때문에 배치 질의가 필수다.
오라클의 품질: 사람이 항상 정답을 주지 않는다(노이즈·주관). 오라클 오류를 전제한 설계가 필요하다.

2. 능동학습의 동작 구조와 폐루프

능동학습은 초기 소량 레이블로 모델을 만들고 → 미레이블 풀을 점수화해 → 가장 정보량 큰 표본을 뽑아 → 사람에게 질의하고 → 레이블을 학습셋에 추가해 재학습하는 순환을 정지 조건을 만날 때까지 반복한다. 이 폐루프가 능동학습의 뼈대이며, 아래 구조도가 전체 흐름을 요약한다.

flowchart TB
  U["미레이블 데이터 풀<br/>(대량·저비용)"] --> S["질의 전략<br/>(정보량 점수화)"]
  L0["초기 소량 레이블셋"] --> M["현재 모델 학습"]
  M --> S
  S --> Q["가장 정보량 큰 표본 선택<br/>(상위 k건)"]
  Q --> O["오라클(사람 라벨러) 질의"]
  O --> A["레이블 획득·학습셋에 추가"]
  A --> M
  M --> C{"정지 조건?<br/>(예산·성능 포화)"}
  C -->|"아니오"| S
  C -->|"예"| R["최종 모델 배포"]
  style R fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
  style S fill:#fff4e5,stroke:#e8a33d,stroke-width:2px

이 루프에서 가장 중요한 설계 결정은 질의 시나리오다. 세 가지 시나리오는 "미레이블 데이터를 어떤 형태로 접하는가"에 따라 갈린다.

풀 기반 샘플링(pool-based): 고정된 대량의 미레이블 풀 전체를 매 라운드 점수화해 상위 표본을 뽑는다. 미레이블 데이터가 미리 모여 있는 대부분의 실무(의료 영상 아카이브, 수집된 주행 로그)가 여기에 해당하며 가장 널리 쓰인다.
스트림 기반 선택적 샘플링(stream-based): 표본이 하나씩 흘러올 때마다 "지금 이것을 물을 가치가 있는가"를 즉석에서 판단해 버리거나 질의한다. 센서 스트림이나 엣지 환경처럼 풀을 통째로 보관할 수 없을 때 쓴다.
멤버십 질의 합성(membership query synthesis): 학습기가 아예 입력을 생성해 묻는 방식인데, 생성된 입력이 사람이 해석 불가능한 형태가 될 수 있어 실무 적용은 제한적이다.

세 시나리오는 저장·연산 제약과 맞물려 선택된다. 풀 기반은 매 라운드 전체 풀을 추론해야 하므로 풀이 수억 건이면 점수화 자체가 병목이 되어 근사·후보 샘플링이 필요하고, 스트림 기반은 과거 데이터를 다시 못 보는 대신 메모리 부담이 작다. 대부분의 기업 환경은 로그·이미지가 데이터 레이크에 이미 축적되어 있어 풀 기반이 표준이지만, 실시간 품질검사 라인처럼 즉시 판단이 필요한 곳은 스트림 기반이 적합하다.

두 번째 핵심은 배치 모드(batch-mode) 설계다. 딥러닝은 한 건 추가할 때마다 재학습하기엔 비용이 과도하므로 한 라운드에 수백~수천 건을 묶어 질의한다. 그런데 단순히 '불확실성 상위 k건'을 뽑으면 서로 거의 같은 표본이 무더기로 선택되는 문제가 생긴다. 예컨대 비슷한 흐림 사진 500장이 모두 애매하다면, 그중 몇 장만 레이블을 붙여도 정보량은 충분하다. 따라서 배치 질의에서는 정보량(informativeness)과 표본 간 다양성(diversity)을 함께 고려해 중복을 제거해야 한다. 이 지점이 뒤에 설명할 BADGE·Core-set 같은 혼합 전략이 등장한 이유다.

배치 설계에는 라운드 수와 배치 크기의 트레이드오프도 숨어 있다. 배치를 작게 쪼개 라운드를 많이 돌리면 매 라운드 최신 모델로 더 정확히 질의할 수 있지만 재학습·라벨링 왕복 비용이 커지고, 배치를 크게 잡으면 운영은 편하지만 한 라운드 안에서 모델이 갱신되지 않아 비슷한 표본을 중복 선택할 위험이 커진다. 실무에서는 라벨링 조직의 처리 주기(예: 하루 1배치)와 재학습 비용을 함께 고려해 배치 크기를 정하며, 전체 레이블 예산의 5~10%를 한 배치로 삼는 식의 경험칙이 쓰인다.

세 번째 설계 축은 정지 조건(stopping criterion)이다. 능동학습은 무한히 돌릴 수 없으므로, 레이블 예산 소진, 검증 성능의 포화(플래토), 또는 한 배치가 주는 한계 성능 향상이 임계값 아래로 떨어지는 시점을 정지 기준으로 삼는다. 정지 조건을 명시하지 않으면 효용이 거의 없는 구간에 계속 레이블 예산을 쏟는 과투자가 발생하므로, 운영 설계 단계에서 성능-레이블 곡선의 기울기를 모니터링하는 체계를 함께 마련해야 한다.

3. 질의 전략의 유형과 원리

질의 전략은 "정보량을 어떻게 정의하는가"에 따라 크게 불확실성 기반·위원회 기반·기대 영향 기반·대표성/다양성 기반으로 나뉜다. 어느 하나가 만능이 아니라 데이터 성격과 모델 종류에 맞춰 조합하는 것이 정석이다.

가. 불확실성 샘플링(Uncertainty Sampling)

가장 직관적이고 널리 쓰이는 전략으로, 모델이 예측을 가장 확신하지 못하는 표본을 질의한다. 직관은 단순하다. 모델이 이미 확신하는 표본은 레이블을 붙여도 배울 것이 적지만, 결정 경계 바로 위에 있어 50:50으로 헷갈리는 표본은 레이블 하나가 경계를 크게 움직인다. 불확실성을 수치화하는 방법은 세 가지가 대표적이다. 최소 신뢰도(least confidence)는 최상위 클래스 확률이 가장 낮은 표본을, 마진 샘플링(margin)은 1·2위 클래스 확률 차이가 가장 작은 표본을, 엔트로피(entropy)는 전체 클래스 분포의 엔트로피가 가장 큰 표본을 고른다. 이진 분류에서는 셋이 사실상 같지만, 다중 클래스에서는 엔트로피가 전체 분포의 애매함을, 마진이 상위 두 후보의 경합을 더 잘 반영한다.

구체적인 수치로 차이를 보자. 3개 클래스 문제에서 표본 X의 예측 확률이 (0.50, 0.49, 0.01)이고 표본 Y가 (0.40, 0.30, 0.30)이라 하자. 최소 신뢰도는 둘 다 최상위 확률이 비슷(0.50 vs 0.40)해 Y를 약간 더 선호하고, 마진은 X의 1·2위 차이(0.01)가 Y(0.10)보다 작아 X를 더 애매하다고 본다. 반면 엔트로피는 확률이 세 클래스에 더 고르게 퍼진 Y를 더 애매하다고 본다. 즉 "경계에서 두 후보가 팽팽한가(마진)"와 "전체적으로 분포가 흩어졌는가(엔트로피)"는 서로 다른 질문이며, 탐지 목적이 '혼동 쌍 해소'면 마진이, '전반적 모호성 축소'면 엔트로피가 적합하다. 이처럼 같은 '불확실성'이라도 수식 선택이 질의 결과를 바꾼다는 점이 실무의 미묘한 포인트다.

불확실성 샘플링의 약점은 잡음·이상치에 취약하다는 점이다. 라벨 오류가 있거나 분포를 벗어난 극단값은 모델이 늘 헷갈려 하므로 반복적으로 선택되지만, 레이블을 붙여도 일반화에는 도움이 되지 않는다. 또한 모델의 확률 추정이 과신(overconfidence)하면(특히 딥러닝) 불확실성 자체가 왜곡된다. 그래서 딥러닝에서는 몬테카를로 드롭아웃(MC Dropout)이나 앙상블로 예측 불확실성을 보정한 뒤 점수화하는 방식(예: BALD, Bayesian Active Learning by Disagreement)이 쓰인다. 더 근본적으로는 모델이 '아는 것을 모른다고 착각'하는 인식론적 불확실성(epistemic)과 데이터 자체의 우연적 불확실성(aleatoric)을 구분해야 하는데, 능동학습이 줄일 수 있는 것은 전자(더 많은 데이터로 해소 가능)뿐이므로, 우연적 잡음이 큰 표본을 걸러내는 보정 장치가 전략의 완성도를 좌우한다.

나. 위원회 질의(Query-by-Committee, QBC)

서로 다른 가설(모델) 여러 개로 위원회(committee)를 구성한 뒤, 위원들의 예측이 가장 크게 엇갈리는 표본을 질의하는 전략이다. 원리는 버전 공간(version space) 축소로 설명된다. 위원들이 일치하는 표본은 어느 모델을 택하든 결론이 같으니 배울 것이 없지만, 위원들이 갈리는 표본은 그 레이블을 알면 '살아남을 수 있는 가설의 집합'이 크게 줄어든다. 불일치 정도는 투표 엔트로피(vote entropy)나 평균 예측 분포와 각 위원 분포 간 KL 발산으로 측정한다. 위원회는 배깅·부스팅([[ensemble-learning]])이나 서로 다른 초기화·하이퍼파라미터로 구성하며, 딥러닝에서는 앙상블·드롭아웃 샘플이 사실상 위원회 역할을 한다.

위원회 질의는 역사적으로 능동학습의 이론적 토대를 다진 전략으로, 버전 공간이 질의 한 번에 절반씩 줄어드는 이상적 조건에서는 필요한 질의 수가 로그 스케일로 감소함을 보일 수 있다. 현실의 모델은 이 이상을 완전히 만족하지 못하지만, "불일치가 곧 정보"라는 직관은 오늘날 딥 앙상블·베이지안 근사로 이어져 여전히 유효하다.

QBC의 실무적 장점은 특정 모델의 편향에 덜 휘둘린다는 데 있다. 단일 모델의 불확실성은 그 모델의 귀납 편향(inductive bias)을 그대로 물려받지만, 이질적 위원회는 서로의 맹점을 교차 검증하듯 드러낸다. 다만 위원회를 매 라운드 학습·유지하는 비용이 더해지고, 위원들이 너무 비슷하면(상관이 높으면) 불일치 신호가 약해져 사실상 불확실성 샘플링으로 퇴화한다. 따라서 위원 간 다양성 확보가 QBC 성패의 관건이며, 서로 다른 특징 부분집합(feature bagging)이나 구조가 다른 모델을 섞는 것이 권장된다.

다. 기대 영향 기반(Expected Model Change·Error Reduction)

"이 표본에 레이블이 붙으면 모델이 얼마나 크게 바뀌는가"를 직접 추정하는 전략이다. 기대 그래디언트 길이(Expected Gradient Length, EGL)는 표본이 추가될 때 발생할 그래디언트 크기의 기대값이 가장 큰 것을 고른다. 한발 더 나아간 기대 오류 감소(Expected Error Reduction)는 각 표본을 가상의 레이블로 추가했을 때 나머지 미레이블 집합 전체의 기대 오류(또는 불확실성)가 가장 많이 줄어드는 표본을 고른다. 이론적으로 가장 원칙적이지만, 모든 후보×모든 가능한 레이블에 대해 재학습을 가정해야 하므로 계산 비용이 막대해 대규모·딥러닝에는 근사 없이는 쓰기 어렵다.

이 계열이 주는 통찰은 "불확실하다고 반드시 유용한 것은 아니다"라는 점이다. 모델이 헷갈리더라도 그 표본이 결정 경계에 미치는 실제 영향이 미미하거나, 이미 비슷한 표본으로 충분히 학습된 영역이라면 레이블의 한계 가치는 낮다. 기대 영향 기반 전략은 '애매함'이 아니라 '배움의 기대 효과'를 직접 겨냥한다는 점에서 가장 목적에 충실하다. 실무에서는 전체 재학습 대신 마지막 층 그래디언트만 쓰거나, 영향 함수(influence function)·피셔 정보 근사로 비용을 낮춘 변형이 활용된다.

라. 대표성·다양성 기반(Representativeness·Diversity)

앞의 전략들이 '경계의 애매함'에 집중한다면, 이 계열은 선택된 표본이 데이터 분포 전체를 대표·포괄하도록 만든다. 불확실성만 쫓으면 특정 영역에 표본이 쏠리는 샘플링 편향(sampling bias)이 생기므로, 군집(clustering)으로 분포를 나눠 고르게 뽑거나, 코어셋(Core-set) 기법처럼 "선택한 표본들이 미레이블 전체를 반경 r 안에 덮도록" 최적화한다. 실무에서 가장 성공적인 혼합 전략 중 하나인 BADGE는 모델 마지막 층의 그래디언트 임베딩에 k-means++를 적용해 정보량(그래디언트 크기)과 다양성(서로 먼 표본)을 동시에 달성한다.

대표성 기반 전략의 또 다른 강점은 표현 공간(representation space)의 품질에 직접 올라탄다는 점이다. 자기지도 사전학습으로 잘 정렬된 임베딩이 있으면, 그 공간에서의 거리·밀도가 곧 '분포를 얼마나 포괄하는가'를 의미하므로 군집·코어셋 전략이 훨씬 잘 작동한다. 반대로 표현이 빈약한 콜드 스타트 초기에는 불확실성 신호가 믿을 수 없으므로, 많은 실무 파이프라인이 1단계는 임베딩 기반 다양성, 2단계는 불확실성으로 전환하는 2상(two-phase) 설계를 채택한다. 아래 표는 전략별 특성을 비교한 것이다. 다만 표는 요약일 뿐, 선택의 근거는 위 산문의 원리에서 찾아야 한다.

전략	정보량 정의	계산 비용	강점	약점
불확실성 샘플링	경계 근접(신뢰도·마진·엔트로피)	낮음	단순·빠름, 구현 용이	잡음·과신·편향에 취약
위원회 질의(QBC)	위원 간 불일치	중간	모델 비의존, 이론적 근거	위원회 구성·유지 비용
기대 영향(EGL·EER)	모델 변화·오류 감소 기대값	매우 높음	원칙적·탐욕적 최적	대규모·딥러닝 비현실적
대표성·다양성	분포 포괄·중복 제거	중간	배치·편향 완화에 강함	경계 애매함 반영 약함

4. 수동학습·유사 패러다임과의 비교

능동학습의 가치를 이해하려면 무엇과 비교하느냐가 중요하다. 아래 비교는 단순 나열이 아니라 왜 차이가 생기는가에 초점을 둔다.

flowchart LR
  subgraph PASSIVE["수동학습(Passive)"]
    P1["무작위/전수 수집"] --> P2["일괄 레이블링"] --> P3["한 번 학습"]
  end
  subgraph ACTIVE["능동학습(Active)"]
    A1["소량 초기 레이블"] --> A2["정보량 질의"] --> A3["선택 레이블링"] --> A4["반복 재학습"]
    A4 --> A2
  end
  style ACTIVE fill:#e8f0fe,stroke:#2f6fed

수동학습(passive)은 데이터를 무작위로 뽑아 전부 레이블링한다. 구현이 단순하고 분포 편향이 없다는 장점이 있지만, 이미 모델이 잘 아는 쉬운 표본에도 똑같이 비용을 쓰므로 레이블 효율이 낮다. 전형적인 벤치마크에서 능동학습은 무작위 대비 30~60% 적은 레이블로 동일 정확도에 도달한다는 보고가 많다. 다만 "데이터가 이미 충분하고 레이블이 싸다면" 수동학습이 더 안전하고 빠르다는 점도 분명히 해야 한다. 능동학습은 레이블 비용이 지배적일 때에만 투자 대비 이득이 있다.

간단한 수치로 효익을 가늠해 보자. 목표 정확도에 무작위 수집으로 10만 건이 필요한 문제에서, 능동학습이 40% 절감을 낸다면 6만 건으로 같은 성능에 도달한다. 건당 레이블 단가가 1,000원이면 4천만 원의 직접 절감이고, 전문의 판독처럼 건당 단가가 수만 원인 영역에서는 절감 규모가 훨씬 커진다. 물론 질의 전략 연산·반복 재학습·루프 운영이라는 추가 비용을 빼야 순이익이 나오므로, 레이블 단가가 낮고 데이터가 흔한 문제에서는 이 수지가 역전될 수 있다. 도입 판단은 반드시 이 손익 분기(break-even) 분석에 근거해야 한다.

준지도학습(semi-supervised)과는 미레이블을 쓰는 방식이 다르다. 준지도학습은 미레이블에 모델이 스스로 가짜 레이블(pseudo-label)을 붙여 활용하는 반면, 능동학습은 사람에게 진짜 레이블을 묻는다. 둘은 상충하지 않고 오히려 상보적이어서, 확신하는 표본은 준지도로 자가 레이블링하고 애매한 표본만 사람에게 묻는 능동-준지도 결합이 데이터 효율을 극대화한다. 자기지도학습(self-supervised)은 레이블 없이 표현(representation)을 사전학습하는 것으로, 능동학습의 '좋은 초기 특징 공간'을 제공해 콜드 스타트 문제를 완화하는 보완재다. 강화학습과의 차이는 피드백의 성격이다. 강화학습은 보상 신호로 '정책'을 배우지만, 능동학습은 레이블 질의로 '데이터'를 고른다.

한편 능동학습에는 두 가지 구조적 함정이 있다. 첫째는 콜드 스타트(cold start)로, 초기 모델이 너무 빈약하면 '무엇이 정보량 큰지'에 대한 판단 자체가 틀려 엉뚱한 표본만 묻게 된다. 그래서 초기 라운드는 다양성 기반으로 분포를 폭넓게 덮고, 모델이 어느 정도 자리 잡은 뒤 불확실성 기반으로 전환하는 하이브리드 스케줄이 권장된다. 둘째는 샘플링 편향으로, 특정 전략으로 모은 학습셋이 실제 분포를 왜곡하면 그 모델의 평가가 과대·과소 추정될 수 있다. 따라서 평가셋은 반드시 능동학습 루프와 무관하게 무작위로 확보한 고정 테스트셋을 사용해야 한다.

세 번째로 자주 간과되는 함정은 모델 종속성(model dependency)이다. 능동학습으로 모은 데이터는 "그때 그 모델이 애매해한 표본"의 집합이므로, 나중에 전혀 다른 구조의 모델로 교체하면 그 데이터가 최적이 아닐 수 있다. 즉 능동학습으로 큐레이션한 데이터셋은 수집 당시 모델과 암묵적으로 결합되어 있어 재사용성이 떨어진다. 이를 완화하려면 수집 모델을 가능한 한 범용적이고 강한 표현(자기지도 사전학습 기반)으로 두거나, 전략 일부를 모델 비의존적인 다양성 기반으로 유지해 데이터의 일반적 가치를 보존해야 한다.

5. 심화: 딥러닝·파운데이션 모델 시대의 능동학습

전통 능동학습 이론은 SVM·로지스틱 회귀 같은 얕은 모델을 전제로 발전했지만, 딥러닝은 세 가지 새로운 난제를 던진다. 첫째, 딥러닝은 한 건씩 재학습이 비현실적이어서 배치 질의가 필수이고, 앞서 본 다양성 고려가 핵심이 된다. 둘째, 딥러닝의 소프트맥스 확률은 과신 경향이 있어 불확실성 추정이 왜곡되므로, MC Dropout·심층 앙상블·BALD처럼 베이지안 근사로 인식론적 불확실성(epistemic uncertainty)을 분리해 측정하는 기법이 발전했다. 셋째, 소량 레이블로 거대 모델을 매 라운드 처음부터 학습하면 불안정하므로, 자기지도 사전학습으로 표현을 먼저 확보한 뒤 능동학습으로 미세조정 표본만 고르는 조합이 표준이 되었다.

최신 연구 흐름에서는 능동 미세조정(active fine-tuning)도 주목된다. 거대 사전학습 모델을 특정 도메인에 적응시킬 때, 전체 데이터를 레이블링하는 대신 모델이 도메인 전이 과정에서 가장 불확실해하는 소수 표본만 골라 미세조정하면 적은 레이블로도 큰 성능 향상을 얻는다. 이는 소수 표본만으로 적응하는 퓨샷(few-shot)·효율적 미세조정([[lora]]) 기법과 결합될 때 특히 강력하며, "거대 모델 + 소량의 잘 고른 도메인 레이블"이라는 현대적 적응 전략의 핵심 축이 된다.

가장 큰 변화는 파운데이션 모델·LLM의 등장이다. 이제는 사람 대신 강력한 모델이 레이블 후보를 제안하고 사람은 검수만 하는 'AI 보조 라벨링'이 현실화되었다. 이 구도에서 능동학습은 "모델이 확신하는 것은 자동 승인, 애매한 것만 사람 검수"라는 휴먼 인 더 루프(human-in-the-loop) 분배 정책으로 재해석된다. 또한 RLHF·선호 정렬에서는 사람 비교 평가가 매우 비싸므로, 보상 모델이 가장 불확실해하는 응답 쌍을 골라 질의하는 능동 선호 수집(active preference learning)이 정렬 데이터 비용을 줄이는 핵심 기법으로 주목받는다.

한 걸음 더 들어가면, 능동학습은 약지도(weak supervision)·데이터 중심 AI(data-centric AI) 흐름과도 수렴한다. 레이블 함수나 휴리스틱으로 대량의 노이즈 레이블을 값싸게 만든 뒤, 모델이 가장 불확실해하거나 레이블 함수들이 충돌하는 표본만 사람이 정제하는 식이다. 이는 "모델을 바꾸기보다 데이터를 체계적으로 개선한다"는 데이터 중심 관점과 맞닿아 있으며, 능동학습은 그 개선 대상을 최대 가치 순으로 정렬해 주는 엔진 역할을 한다.

산업 적용 사례도 풍부하다. 자율주행 데이터 엔진이 대표적인데, 도로에서 수집한 방대한 주행 로그 중 모델이 실패하거나 헷갈린 '엣지 케이스' 장면만 선별해 레이블링하고 재학습하는 폐루프가 바로 대규모 능동학습이다. 의료 영상에서는 전문의 판독 비용이 극도로 높아, 불확실성이 큰 슬라이스만 질의해 판독 부담을 수 배 줄인 연구가 다수 보고되었다. 제조 불량 검출에서는 소수 불량 표본을 집중 질의해 극단적 불균형을 극복한다. 금융 사기 탐지에서는 애매한 거래만 조사관에게 보내 조사 자원을 효율 배분한다. 이들 사례의 공통점은 "레이블·검수 자원이 유한하고 비싸다"는 것이며, 능동학습은 그 자원을 가장 값어치 있는 표본에 배분하는 운영 원리로 기능한다.

다만 딥러닝 능동학습이 항상 무작위를 이긴다고 단정해서는 안 된다. 일부 벤치마크 연구는 강한 데이터 증강·자기지도 사전학습이 적용된 조건에서 능동학습의 이득이 무작위 추출과 큰 차이가 없거나, 전략에 따라 오히려 뒤처지는 경우도 보고했다. 즉 능동학습의 효익은 데이터·모델·증강·예산 조합에 민감하며, "우리 문제에서 실제로 이득이 나는가"를 독립적인 벤치마크로 먼저 검증하는 신중함이 필요하다. 이런 불확실성 때문에 재현 가능한 평가 프로토콜(동일 초기셋·동일 테스트셋·여러 시드 평균)의 중요성이 강조된다.

6. 고려사항 및 시사점

능동학습은 알고리즘 기법이기 이전에 레이블링 조직·예산·품질·거버넌스가 맞물린 운영 체계다. 기술사 관점에서는 모델 정확도뿐 아니라 레이블 투자 대비 효익, 편향 통제, 사람-모델 협업 설계, 지속 운영 가능성을 함께 저울질해야 한다. 도입 시 점검해야 할 핵심 쟁점은 다음과 같다.

도입 타당성과 ROI 판단: 능동학습은 공짜가 아니다. 질의 전략 계산, 반복 재학습, 라벨링 인프라와 루프 운영에 엔지니어링 비용이 든다. 레이블 비용이 전체의 지배적 비중이고 미레이블 풀이 충분히 클 때만 순이익이 난다. 레이블이 싸거나 데이터가 이미 충분하면 수동학습이 더 합리적이며, 이 트레이드오프를 정량적으로 따진 뒤 도입을 결정해야 한다.
샘플링 편향과 평가의 신뢰성: 능동학습으로 모은 학습셋은 설계상 분포가 치우쳐 있으므로, 이 데이터로 모델을 '평가'하면 성능이 왜곡된다. 반드시 루프와 독립적인 무작위 고정 테스트셋으로 검증하고, 콜드 스타트 구간에서는 다양성 기반 전략으로 분포 포괄을 확보해 편향 누적을 막아야 한다.
오라클 품질과 휴먼 인 더 루프 설계: 사람 라벨러는 피로·주관·전문성 편차로 오류를 낸다. 중복 라벨링과 합의(consensus), 라벨러 신뢰도 추정, 애매 표본의 전문가 에스컬레이션 경로를 설계해야 하며, 질의 UX(한 번에 몇 건, 어떤 맥락 제시)가 레이블 품질과 처리량을 좌우한다. AI 보조 라벨링 시대에는 자동 승인과 사람 검수의 경계선을 어디에 둘지가 품질·비용의 핵심 레버다.
정지 조건과 운영 거버넌스: 언제 루프를 멈출지(성능 포화·예산 소진·한계 정보량 하락)를 사전에 정의해야 과투자를 막는다. 또한 배포 후 데이터 분포 변화(drift)에 대응해 능동학습 루프를 지속 운영(continual) 체계로 확장하고, 어떤 표본을 왜 질의했는지 이력을 남겨 데이터 계보·감사 추적성([[data-lineage]])을 확보해야 규제·품질 관점에서 방어 가능하다.
전략 선택의 상황 적합성: 단일 전략에 의존하지 말고, 초기에는 다양성·대표성, 안정화 이후에는 불확실성, 배치 질의에는 BADGE류 혼합 전략으로 단계별 전환하는 설계가 실무적으로 가장 견고하다. 모델·데이터 특성에 따라 전략 효과가 달라지므로, 소규모 파일럿으로 전략별 레이블 효율 곡선을 먼저 측정할 것을 권한다.
데이터 재사용성과 자산화: 능동학습으로 큐레이션한 데이터는 수집 당시 모델에 결합되어 재사용성이 떨어질 수 있으므로, 모델 비의존적 다양성 전략을 일부 섞고 수집 이력·근거를 메타데이터로 남겨 조직의 재사용 가능한 데이터 자산으로 관리해야 한다. 이는 장기적으로 MLOps·데이터 거버넌스와 연계되는 전략적 고려사항이다.

참고자료

Burr Settles, "Active Learning Literature Survey," University of Wisconsin-Madison, CS Technical Report 1648. https://minds.wisconsin.edu/handle/1793/60660
Ash et al., "Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds (BADGE)," ICLR 2020. https://arxiv.org/abs/1906.03671
Sener & Savarese, "Active Learning for Convolutional Neural Networks: A Core-Set Approach," ICLR 2018. https://arxiv.org/abs/1708.00489
Gal et al., "Deep Bayesian Active Learning with Image Data (BALD)," ICML 2017. https://arxiv.org/abs/1703.02910

한 줄 요약: 능동학습은 학습기가 정보량이 가장 큰 미레이블 표본을 스스로 골라 사람에게 질의·재학습하는 폐루프로, 불확실성·위원회·기대영향·다양성 전략을 상황에 맞게 조합해 최소 레이블 비용으로 목표 성능에 도달하려는 데이터 효율 중심의 준지도학습 패러다임이다.