지속학습(Continual Learning)과 파국적 망각(Catastrophic Forgetting)
1. 개요
지속학습(Continual Learning, 연속학습·평생학습 Lifelong Learning)이란 하나의 모델이 시간에 따라 순차적으로 도착하는 여러 과제(task)·분포(distribution)의 데이터를 학습하면서도, 이전에 습득한 지식을 보존하여 전체 과제에 대한 성능을 유지·누적해 가는 기계학습 패러다임이다. 이때 새 지식을 학습하는 과정에서 기존 지식이 급격히 소실되는 현상을 파국적 망각(Catastrophic Forgetting)이라 한다.
전통적인 지도학습은 전체 데이터가 독립항등분포(i.i.d.)로 한 번에 주어진다고 가정하고, 에폭을 반복하며 손실을 최소화한다. 그러나 현실의 AI 서비스는 데이터가 한꺼번에 오지 않는다. 신규 상품 카테고리가 추가되고, 새로운 악성코드 변종이 출현하며, 사용자 취향과 시장 트렌드가 계속 바뀐다. 이런 비정상(non-stationary) 데이터 스트림 환경에서 모델을 매번 전체 데이터로 재학습(retraining)하면 저장·연산 비용이 선형 이상으로 증가하고, 과거 원본 데이터를 개인정보 규제(GDPR 삭제권 등)로 보관할 수 없는 경우도 많다. 지속학습은 "새 데이터만으로 모델을 갱신하되 과거를 잊지 않는다"는 목표로 이 문제를 정면으로 다룬다.
파국적 망각이 생기는 근본 원인은 신경망의 지식이 가중치 전반에 분산 표현(distributed representation)되어 있기 때문이다. 과제 A로 수렴한 가중치를, 과제 B의 경사하강(gradient descent)이 과제 A의 손실 지형을 전혀 고려하지 않은 채 다시 움직이면, A에 중요했던 파라미터가 덮어써진다. 1989년 McCloskey와 Cohen이 이 현상을 처음 보고한 이래, 지속학습은 인간처럼 경험을 쌓아가며 성장하는 AI(평생학습)의 핵심 난제로 남아 있으며, 최근에는 거대 언어모델(LLM)을 폐기·재학습 없이 지속 갱신하려는 지속적 사전학습(Continual Pre-training) 수요와 맞물려 다시 주목받고 있다.
지속학습이 지향하는 핵심 특징은 다음과 같이 요약된다.
- 점진적 지식 누적: 새 과제를 배우면서 전체 과제에 대한 성능을 단조 증가시키는 것을 이상으로 삼는다.
- 제한된 과거 접근: 과거 전체 데이터를 보관·재사용하지 않고, 적은 자원으로 지식을 보존한다.
- 지식 전이 활용: 과거 지식으로 새 과제를 더 빨리 배우고(전방전이), 새 과제로 과거를 보강(양의 역전이)하는 선순환을 추구한다.
- 운영 중 적응: 재배포 없이 운영 환경에서 분포 변화에 적응하는 온라인 적응성을 지향한다.
생물학적으로도 지속학습은 영감을 받았다. 뇌의 상보적 학습 시스템(Complementary Learning Systems) 이론에 따르면, 해마(hippocampus)가 최근 경험을 빠르게 저장하고 수면 중 이를 신피질(neocortex)로 천천히 재생(replay)하여 기존 지식과 통합한다. 리허설 기반 기법이 버퍼 재생으로 망각을 막는 발상은 바로 이 "기억 재생을 통한 공고화(consolidation)" 메커니즘과 직접 대응한다. 인간이 새 언어를 배운다고 모국어를 잊지 않는 이유가 이러한 선택적 보존·재생에 있으며, 지속학습은 이를 인공 신경망에서 재현하려는 시도라 할 수 있다.
학습 자원 측면에서 지속학습은 전통적 배치 학습과 두 가지 가정에서 결정적으로 다르다. 첫째, 데이터는 분포가 시간에 따라 변하는 비정상(non-stationary) 스트림으로 들어오므로 i.i.d. 가정이 깨진다. 둘째, 과거 데이터에 대한 접근이 제한되어 한 번 지나간 데이터를 자유롭게 다시 볼 수 없다. 이 두 제약을 모두 엄격히 지키면 데이터를 한 번만 보는 온라인 지속학습(Online CL)이 되고, 과제 단위로 여러 에폭을 허용하면 오프라인(배치) 지속학습이 된다. 나아가 과제 경계(task boundary)조차 명시되지 않고 분포가 서서히 변하는 과제 비명시(task-free) 지속학습은 가장 현실적이면서도 어려운 설정으로, 자율주행·스트리밍 추천처럼 "언제 과제가 바뀌었는지"를 모델 스스로 감지해야 하는 상황에 해당한다.
2. 지속학습의 기본 구조와 안정성-가소성 딜레마
flowchart LR
subgraph STREAM["비정상 데이터 스트림(시간순)"]
T1["과제 1 데이터"] --> T2["과제 2 데이터"] --> T3["과제 3 데이터"]
end
T1 --> M["단일 모델(파라미터 theta)"]
T2 --> M
T3 --> M
M --> EVAL["누적 평가(과제 1~N 전체)"]
EVAL --> P["가소성(Plasticity): 신규 과제 학습력"]
EVAL --> S["안정성(Stability): 기존 지식 보존력"]
P -. 과도하면 .-> F["파국적 망각"]
S -. 과도하면 .-> R["경직(새 과제 학습 실패)"]
지속학습의 성능은 상충하는 두 능력의 균형으로 결정된다. 하나는 가소성(Plasticity)으로, 새로 들어온 과제를 충분히 잘 학습하는 능력이다. 다른 하나는 안정성(Stability)으로, 이미 배운 과제의 성능을 유지하는 능력이다. 가소성을 극대화하려고 가중치를 자유롭게 갱신하면 과거 지식이 덮어써져 망각이 발생하고, 반대로 안정성을 위해 가중치를 과도하게 고정하면 새 과제를 배우지 못해 모델이 경직된다. 이를 안정성-가소성 딜레마(Stability-Plasticity Dilemma)라 하며, 모든 지속학습 기법은 결국 이 저울의 어느 지점을 택할지에 대한 서로 다른 전략이다.
학습 설정은 평가 시 과제 식별자(task-id)의 제공 여부에 따라 세 가지 시나리오로 구분한다. 아래 표는 난이도 순으로 이를 정리한 것이며, 특히 클래스 증분(Class-IL)은 추론 시점에 어느 과제인지 알 수 없어 모든 클래스를 하나의 분류기로 구분해야 하므로 가장 어렵고 실무에 가깝다.
| 시나리오 | 과제 경계 | 추론 시 task-id | 예시 | 난이도 |
|---|---|---|---|---|
| Task-IL(과제 증분) | 명확 | 제공됨 | 과제별 별도 출력 헤드 | 낮음 |
| Domain-IL(도메인 증분) | 명확 | 불필요(클래스 동일) | 조명·날씨 바뀐 자율주행 인식 | 중간 |
| Class-IL(클래스 증분) | 명확 | 미제공 | 신규 클래스 계속 추가되는 분류기 | 높음 |
가령 자율주행 인식 모델이 주간 영상으로만 학습된 뒤 야간·우천 영상을 순차 학습하는 상황은 Domain-IL에 해당하고, 제조 라인에서 신규 불량 유형이 월 단위로 추가되는 외관검사 모델은 Class-IL에 해당한다. 동일한 알고리즘이라도 시나리오에 따라 성능 격차가 크게 벌어지므로, 벤치마크 비교 시 어떤 시나리오인지 반드시 명시해야 한다.
이상적인 지속학습 알고리즘이 갖추어야 할 성질도 명확하다. 첫째는 유한 메모리(bounded memory)로, 과제 수가 늘어도 저장 공간이 무한정 커지지 않아야 한다. 둘째는 과제 경계 비의존으로, 언제 과제가 바뀌는지 명시되지 않아도 동작해야 한다. 셋째는 단계당 상수 시간/연산으로, 갱신 비용이 누적 과제 수에 비례해 폭증하지 않아야 한다. 현실의 기법들은 이 세 성질 중 일부를 희생하며 균형을 잡는데, PNN은 메모리를, 리허설은 과제 경계 비의존을, 전체 재학습은 상수 시간을 포기하는 식이다. 따라서 "완벽한" 지속학습은 아직 없고, 운영 제약에 맞춰 무엇을 양보할지 결정하는 공학적 판단이 요구된다.
3. 지속학습 기법의 분류
flowchart TB
CL["지속학습 기법"] --> REG["정규화 기반(Regularization)"]
CL --> REP["리허설 기반(Rehearsal/Replay)"]
CL --> ARC["구조 기반(Architecture)"]
REG --> EWC["EWC: 중요 가중치 변화 억제"]
REG --> LWF["LwF: 지식 증류로 출력 보존"]
REP --> ER["경험 재생: 과거 샘플 버퍼"]
REP --> GEN["생성 재생: GAN/VAE로 과거 복원"]
ARC --> PNN["Progressive Net: 과제별 열(column) 확장"]
ARC --> PET["프롬프트/어댑터: 소수 파라미터만 추가"]
지속학습 기법은 망각을 억제하는 방법에 따라 크게 세 계열로 나뉜다. 각 계열은 안정성-가소성 딜레마를 푸는 관점이 다르며, 실무에서는 두세 계열을 결합한 하이브리드가 흔하다. 정규화는 "중요한 가중치를 덜 움직여" 안정성을 확보하고, 리허설은 "과거를 반복 복습"해 안정성을 확보하며, 구조 기반은 "과제별 파라미터를 분리"해 간섭 자체를 제거한다. 어느 방식도 공짜가 아니어서, 각각 손실 설계·저장 공간·모델 용량이라는 비용을 지불한다.
가. 정규화 기반(Regularization-based)
정규화 기반 기법은 과거 과제에 중요했던 파라미터일수록 변화를 더 강하게 억제하는 손실 항을 추가한다. 과거 데이터를 저장하지 않으므로 메모리 효율이 높고 개인정보 측면에서 안전하다. 대표 기법인 EWC(Elastic Weight Consolidation, Kirkpatrick 2017)는 파라미터의 중요도를 피셔 정보 행렬(Fisher Information Matrix)로 추정하여, 중요한 가중치가 이전 최적값에서 멀어질 때 2차 패널티를 부과한다. 직관적으로는 각 가중치에 "스프링(탄성)"을 달아 중요한 것일수록 단단히 붙잡아 두는 셈이다.
또 다른 축은 지식 증류(distillation)를 활용하는 LwF(Learning without Forgetting)로, 새 데이터를 과거 모델에 통과시킨 출력(soft target)을 교사로 삼아 신규 모델이 과거의 입출력 관계를 유지하도록 제약한다. 파라미터 중요도를 추정하는 방식에는 변형이 많은데, EWC가 피셔 정보로 중요도를 재는 반면 SI(Synaptic Intelligence)는 학습 경로 전체에서 각 가중치가 손실에 기여한 누적량을 온라인으로 추적하고, MAS(Memory Aware Synapses)는 출력 함수의 민감도(기울기 크기)로 중요도를 비지도 방식으로 추정한다. 이처럼 "무엇을 중요하다고 볼 것인가"의 정의가 기법을 가른다.
정규화 기법은 구현이 단순하고 저장 부담이 없으나, 과제 수가 많아지면 서로 다른 과제가 요구하는 패널티들이 충돌하여 성능이 점차 저하되고, 중요도 추정이 부정확하면 보존과 학습 모두 실패하는 한계가 있다. 최근 연구에서는 사전학습 모델을 활용할 경우 복잡한 EWC보다 단순한 L2 정규화가 더 우수하다는 보고도 있어, 기법 선택은 사전학습 여부와 데이터 특성에 크게 의존한다. 따라서 정규화는 단독으로 쓰기보다 소규모 리허설과 결합하여 보완적으로 운용하는 경우가 많다.
나. 리허설 기반(Rehearsal/Replay)
리허설 기반 기법은 과거 데이터의 일부를 소형 메모리 버퍼에 저장해 두었다가, 새 과제 학습 시 신규 데이터와 함께 섞어(interleave) 재학습한다. 인간이 복습으로 기억을 유지하는 것과 유사한 발상이며, 세 계열 중 평균적으로 가장 안정적인 성능을 내는 것으로 알려져 있다. 버퍼가 작을 때는 어떤 샘플을 남길지가 관건이어서, 클래스 평균에 가까운 대표 샘플을 고르는 iCaRL의 허딩(herding), 무작위 균등 교체를 보장하는 리저버 샘플링(Reservoir Sampling) 등이 쓰인다.
단순히 과거 샘플을 섞어 재학습하는 것을 넘어, 기울기 수준에서 망각을 억제하는 계열도 있다. GEM/A-GEM(Gradient Episodic Memory)은 버퍼 샘플의 손실이 증가하지 않는 방향으로만 신규 과제의 기울기를 투영(projection)하여, 과거 성능을 보장하는 제약 최적화를 수행한다. DER(Dark Experience Replay)는 과거 샘플의 레이블뿐 아니라 당시의 로짓(logit)까지 저장해 증류 손실로 활용함으로써, 적은 버퍼로도 안정성을 높인다.
원본을 저장할 수 없는 환경에서는 생성 재생(Generative Replay)을 쓴다. GAN·VAE 같은 생성모델로 과거 분포의 유사 샘플(pseudo-sample)을 만들어 복습 데이터로 활용하는 방식이다. 리허설은 효과가 확실한 대신, 과거 원본을 보관하므로 개인정보·저작권 위반 위험과 버퍼 메모리·재학습 연산 비용이 뒤따르는 트레이드오프가 있다. 예컨대 클래스당 20개 샘플만 저장해도 1,000개 클래스면 2만 장의 이미지를 상시 보관해야 하므로, 규제 산업에서는 이 보관 자체가 제약이 된다. 또한 생성 재생은 생성모델 자체가 분포를 부정확하게 복원하면 "망각을 복습으로 되살리는 것이 아니라 왜곡된 기억을 학습"하게 되는 위험이 있어, 생성 품질이 전체 성능의 상한을 결정한다.
다. 구조 기반(Architecture/Parameter Isolation)
구조 기반 기법은 과제마다 전용 파라미터를 분리·할당해 물리적으로 간섭을 차단한다. PNN(Progressive Neural Networks)은 과제가 추가될 때마다 새로운 신경망 열(column)을 덧붙이고 과거 열은 동결(freeze)하여 망각을 원천 차단하되, 과제 수에 비례해 모델이 커지는 단점이 있다. PackNet은 가지치기(pruning)로 남는 뉴런을 신규 과제에 재활용하여 용량 증가를 억제한다.
용량 증가와 망각 억제를 동시에 노리는 절충안으로, 과제별로 어떤 뉴런을 활성화할지 학습된 마스크(mask)로 제어하는 HAT(Hard Attention to the Task)나, 필요할 때만 신경망을 동적으로 확장·가지치기하는 DEN(Dynamically Expandable Network)이 있다. 이들은 PNN처럼 무조건 열을 늘리는 대신, 신규 과제가 기존 용량으로 충분한지 판단해 선택적으로만 확장한다.
최근 거대모델 시대에는 본체를 동결하고 프롬프트(prompt)나 어댑터(adapter)·LoRA 같은 소수 파라미터만 과제별로 추가하는 방식이 각광받는다. 전체 가중치를 건드리지 않으므로 망각이 본질적으로 완화되고, 과제당 추가 비용이 수 MB 수준으로 작다. L2P(Learning to Prompt)처럼 과제에 맞는 프롬프트를 자동 선택하는 기법이 대표적이며, 이는 사전학습 거대모델을 폐기 없이 지속 확장하려는 실무 요구와 잘 맞아 빠르게 확산되고 있다. 다만 과제가 많아지면 과제별 프롬프트·어댑터를 어떻게 선택·라우팅할지가 새로운 과제가 되며, 잘못된 선택은 간섭을 다시 불러오므로 라우팅 정확도가 관건이 된다.
4. 평가지표와 기법 비교
지속학습은 단일 정확도로 평가할 수 없고, 학습을 모두 마친 뒤 과거 과제까지 포함한 평균 정확도(ACC), 그리고 과거 성능이 얼마나 하락했는지를 재는 역전이(Backward Transfer, BWT, 망각도)를 함께 본다. BWT가 음수로 크면 망각이 심한 것이고, 새 과제가 과거 성능을 오히려 높이면 양수가 된다. 신규 과제 학습이 기존 지식 덕에 빨라지는 정도는 전방전이(Forward Transfer, FWT)로 측정한다.
즉 좋은 지속학습 모델은 ACC가 높으면서 BWT의 음수 폭이 작고(망각 적음) FWT가 양수인 상태를 지향한다. 세 지표는 종종 상충하므로, 서비스 목표에 따라 어느 지표에 가중치를 둘지 먼저 합의하는 것이 기법 선택보다 선행되어야 한다. 예컨대 규제 대응형 모델은 과거 과제 성능 하락을 엄격히 제한해야 하므로 BWT를 최우선 제약으로 삼는다.
| 계열 | 망각 억제 | 메모리·연산 | 개인정보 | 확장성 |
|---|---|---|---|---|
| 정규화(EWC·LwF) | 중간 | 매우 낮음 | 안전(원본 미보관) | 과제 많으면 저하 |
| 리허설(ER·iCaRL) | 높음 | 버퍼·재학습 비용 | 위험(원본 보관) | 양호 |
| 구조(PNN·어댑터) | 매우 높음 | 파라미터 증가 | 안전 | 과제 수 증가 부담 |
구체적인 수치 예로 Split-CIFAR-100(100개 클래스를 10개 과제로 분할)에서, 아무 대책 없이 순차 학습(naive fine-tuning)하면 마지막 과제만 잘 맞추고 평균 정확도가 20%대로 붕괴하는 반면, 작은 리허설 버퍼(클래스당 수십 장)를 더하면 평균 정확도가 50~60%대로 회복되고 BWT(망각도)의 음수 폭이 크게 줄어드는 양상이 일반적으로 보고된다. 대표적 벤치마크로는 Split-MNIST, Split-CIFAR-10/100, 순차적 물체 인식용 CORe50, 대규모 설정의 ImageNet 계열이 쓰이며, 시나리오(Task/Domain/Class-IL)와 버퍼 크기를 통제한 공정 비교가 필수다.
세 계열의 차이는 결국 "무엇을 자원으로 쓸 것인가"에서 갈린다. 정규화는 추가 저장 없이 손실 항만 쓰므로 가장 가볍지만 보존력이 약하고, 리허설은 과거 데이터를 자원으로 써서 강력하지만 저장·규제 부담이 크며, 구조 기반은 추가 파라미터를 자원으로 써서 간섭을 막지만 모델이 비대해진다. 따라서 규제가 엄격한 금융·의료는 정규화·생성 재생을, 데이터 보관이 자유로운 내부 서비스는 리허설을, 거대모델 운영 환경은 어댑터·프롬프트 방식을 우선 검토하는 것이 합리적이다.
지속학습은 유사한 여러 학습 패러다임과 혼동되기 쉬우므로 경계를 분명히 할 필요가 있다. 아래 표는 데이터 도착 방식과 목표의 차이로 이들을 구분한 것이다. 핵심은 지속학습만이 "데이터가 순차적으로 오고, 과거 접근이 제한되며, 과거를 잊지 않아야 한다"는 세 조건을 동시에 요구한다는 점이다.
| 패러다임 | 데이터 도착 | 과거 데이터 | 주 목표 |
|---|---|---|---|
| 다중과제학습(Multi-task) | 동시 | 모두 접근 | 여러 과제 동시 최적화 |
| 전이학습(Transfer) | 순차(1회) | 접근 가능 | 소스→타깃 성능 향상 |
| 온라인학습(Online) | 순차(스트림) | 미보관 | 즉시 적응(망각 비초점) |
| 지속학습(Continual) | 순차(비정상) | 제한적 | 적응 + 과거 보존 |
전이학습이 "과거를 발판 삼아 새 과제만 잘하면 되는" 반면, 지속학습은 발판이 된 과거 과제의 성능까지 유지해야 한다는 점에서 더 엄격하다. 또한 온라인학습은 최신 분포에 빠르게 적응하는 데 집중하여 망각을 적극적으로 막지 않지만, 지속학습은 적응과 보존을 동시에 요구한다. 이 구분을 혼동하면 문제에 맞지 않는 기법을 선택해 실패하기 쉽다.
5. 심화: 실무 적용 사례와 LLM 지속학습 동향
지속학습은 더 이상 학술적 개념에 머물지 않고, 데이터가 끊임없이 변하는 산업 현장에서 MLOps의 모델 갱신 전략으로 구체화되고 있다. 추천 시스템에서는 사용자 취향과 상품 카탈로그가 매일 바뀌므로 전체 재학습 대신 증분 학습을 적용해 갱신 비용을 줄이고, 금융 이상거래 탐지에서는 신종 사기 패턴을 리허설 버퍼로 복습시켜 과거 유형 탐지력을 유지한다. 제조 외관검사는 신규 불량 클래스가 지속 추가되는 전형적 Class-IL 문제로, iCaRL류의 대표 샘플 보관이 널리 쓰인다.
평가 자체의 함정도 실무에서 중요하다. 학습 직후에는 과거 과제 성능이 일시적으로 급락했다가 서서히 회복되는 안정성 간극(stability gap) 현상이 관찰되므로, 갱신 직후 단 한 번의 측정만으로 모델 품질을 판단하면 성능을 과소평가할 수 있다. 또한 최종 평균 정확도(ACC)만 보면 "새 과제는 잘하지만 과거를 다 잊은" 모델과 "전반적으로 고르게 유지한" 모델을 구분하지 못하므로, 반드시 BWT(망각도)·FWT(전방전이)와 과제별 성능 곡선을 함께 모니터링해야 한다.
음성비서·챗봇의 자연어 이해(NLU)도 지속학습이 요긴한 분야다. 새로운 인텐트(intent)와 명령이 지속적으로 추가되는데, 전체 재학습 없이 신규 인텐트만 증분 학습하면서 기존 인텐트 인식률을 지켜야 하기 때문이다. 의료 영상 진단 모델도 신규 병변 유형이나 새 장비로 촬영된 영상이 추가될 때, 과거 데이터를 원외로 반출할 수 없는 규제 아래에서 모델을 갱신해야 하므로 생성 재생·정규화 계열의 지속학습이 활발히 검토된다. 이처럼 지속학습의 실무 수요는 "데이터가 멈추지 않고, 과거를 다 모을 수 없는" 거의 모든 운영 AI에 공통적으로 존재한다.
최근 가장 활발한 영역은 거대 언어모델(LLM)의 지속 갱신이다. 수천억 파라미터 모델을 새 지식이 생길 때마다 처음부터 재학습하는 것은 수백만 달러 규모의 비용이 들어 비현실적이다. 이에 따라 ① 본체를 동결하고 LoRA·어댑터만 도메인별로 갱신하는 파라미터 효율적 지속학습, ② 최신 말뭉치로 이어서 학습하되 과거 능력 저하를 막는 지속적 사전학습(Continual Pre-training)과 리플레이 혼합, ③ 외부 지식을 파라미터에 넣지 않고 검색으로 주입하여 망각 자체를 회피하는 RAG([[retrieval-augmented-generation]]) 결합 등이 상호 보완적으로 쓰인다. 특히 RAG는 "모델을 다시 학습하지 않고 지식만 갱신"하므로, 지속학습의 부담을 구조적으로 덜어주는 실용적 대안으로 평가된다. 2024년 전후의 서베이들은 사전학습 모델을 출발점으로 삼을 때 단순 기법이 의외로 강력하며, 리허설 계열이 어려운 시나리오에서 여전히 우위라는 점을 공통적으로 보고한다.
정리하면 실무 LLM 운영에서는 "무엇을 어디에 담을지"를 계층적으로 나누는 설계가 바람직하다. 즉 자주 바뀌는 사실 지식은 RAG의 외부 저장소로, 도메인 말투·양식 같은 스타일은 어댑터·LoRA로, 근본 능력 향상은 신중한 지속적 사전학습으로 분리하여, 각 계층의 갱신 주기와 비용·위험을 독립적으로 관리하는 방식이 확산되고 있다.
6. 고려사항 및 시사점
지속학습 도입은 단순한 알고리즘 선택이 아니라 데이터 거버넌스·인프라·운영 정책을 함께 설계하는 문제이며, 기술사 관점에서 다음을 종합적으로 고려해야 한다.
- 시나리오 정합성: 우선 해결 문제가 Task-IL인지 Class-IL인지 명확히 규정해야 한다. 추론 시 과제 식별자가 없는 Class-IL을 Task-IL 가정의 기법으로 접근하면 실제 서비스에서 성능이 급락한다. 벤치마크 수치는 반드시 동일 시나리오끼리 비교한다.
- 개인정보·규제 트레이드오프: 리허설은 성능이 뛰어나지만 과거 원본 보관이 GDPR·개인정보보호법의 보유 기간·삭제권과 충돌할 수 있다. 규제 산업에서는 생성 재생·정규화·어댑터 등 원본을 남기지 않는 계열을 우선하고, 보관이 불가피하면 가명처리·보관 기간 정책을 함께 수립한다.
- 비용-성능 균형과 재학습 전략: 망각 방지와 전체 재학습 사이에서 손익분기를 산정해야 한다. 데이터 드리프트 모니터링([[model-drift-monitoring]])으로 성능 저하를 감지해 증분 갱신 → 주기적 전체 재학습을 병행하는 하이브리드가 현실적이며, 버퍼·추가 파라미터의 저장 비용을 TCO에 반영한다.
- 운영·검증 체계(MLOps): 신규 과제 학습 후에도 과거 과제 성능이 임계치 이하로 떨어지지 않는지 누적 평가(ACC·BWT)를 CI에 포함하고, 갱신 모델은 섀도·카나리 배포로 회귀를 차단한다. 모델 레지스트리([[ml-model-registry]])로 버전·데이터 계보를 추적해 롤백 가능성을 확보한다.
- 평가 자동화와 재현성: 안정성 간극 때문에 갱신 직후 단발 측정은 품질을 왜곡하므로, 일정 구간에 걸친 ACC·BWT 추세를 자동 집계하고 시나리오·버퍼 크기 등 실험 조건을 메타데이터로 고정해 재현성을 확보해야 한다. 그렇지 않으면 기법 간 비교 자체가 신뢰를 잃는다.
- 전망과 연계 기술: 지속학습은 온디바이스 AI([[on-device-ai]])의 개인화 학습, 파운데이션 모델의 지속 확장, 멀티모달 지속학습으로 확장되고 있다. 장기적으로는 RAG·지식그래프 같은 외부 기억(external memory)과 결합해, 파라미터 갱신 부담을 줄이면서 지식을 지속 축적하는 방향이 유력하다. 또한 여러 계열을 결합한 하이브리드(예: 소규모 리허설 + 어댑터)가 사실상의 실무 표준으로 자리잡는 추세로, 단일 기법에 집착하기보다 제약 조건에 맞춘 조합 설계가 바람직하다.
참고자료
- A Comprehensive Survey of Continual Learning: Theory, Method and Application (arXiv 2302.00487): https://arxiv.org/pdf/2302.00487
- A Closer Look at Rehearsal-Free Continual Learning (Smith et al., 2022): https://par.nsf.gov/servlets/purl/10489407
- Incremental Learning Methodologies for Addressing Catastrophic Forgetting (JAIR, 2025): https://mlanthology.org/jair/2025/serraperello2025jair-incremental
한 줄 요약: 지속학습은 비정상 데이터 스트림을 순차 학습하면서 파국적 망각을 막는 패러다임으로, 안정성-가소성 딜레마를 정규화·리허설·구조 기반 전략으로 절충하며, LLM 시대에는 어댑터·지속적 사전학습·RAG와 결합해 모델을 폐기 없이 지속 확장하는 핵심 기술이다.