정보관리기술사 학습 노트
← 목록으로
AI·데이터
#SSM#Mamba#선택적 상태공간#장문맥#Transformer 대안
최종 업데이트 · 2026-10-22

상태공간 모델(SSM)과 Mamba 아키텍처

1. 개요

가. 정의와 등장 배경

상태공간 모델(SSM, State Space Model)이란 제어이론의 선형 상태공간 방정식(x'(t)=Ax(t)+Bu(t), y(t)=Cx(t))을 시퀀스 모델링에 차용해, 과거 정보를 고정 크기의 은닉 상태(Hidden State)에 압축하며 입력 수열을 선형 시간(O(n))으로 처리하는 심층신경망 계열이다. Mamba는 여기에 입력 의존적 선택 메커니즘(Selective Mechanism)을 더해 트랜스포머에 필적하는 성능을 선형 복잡도로 달성한 2023년의 대표 아키텍처다.

시퀀스 모델링의 역사는 "과거를 어떻게 기억할 것인가"를 둘러싼 긴 고민이다. 순환신경망(RNN)은 은닉 상태를 한 스텝씩 갱신하며 과거를 압축하지만, 역전파 시 기울기 소실로 장기 의존성을 학습하기 어렵고, 순차 계산이라 병렬화가 불가능해 학습 속도가 느렸다. 2017년 등장한 트랜스포머(Transformer)는 자기어텐션(Self-Attention)으로 모든 토큰 쌍을 직접 연결해 장기 의존성과 병렬 학습을 동시에 해결했고, 이후 대형 언어모델(LLM)의 사실상 표준이 되었다.

그러나 트랜스포머의 자기어텐션은 수열 길이 n에 대해 연산·메모리가 O(n²)로 증가한다는 근본 한계를 안고 있다. 문서가 길어질수록, 즉 컨텍스트 윈도가 수만~수십만 토큰으로 커질수록 비용이 제곱으로 폭증하고, 추론 시에는 모든 과거 토큰의 키·값을 저장하는 KV 캐시(KV Cache)가 수열 길이에 비례해 계속 커진다. 긴 유전체 서열, 고해상도 오디오, 장편 문서처럼 수십만 단위의 긴 수열을 다뤄야 하는 과제에서 이 제곱 비용은 치명적이다.

SSM과 그 정점인 Mamba는 바로 이 지점을 겨냥한다. "모든 과거를 다 쳐다보는" 어텐션 대신, 과거를 고정 크기 상태로 압축해 들고 다니면 수열 길이에 선형으로만 비용이 늘고 추론 시 상태 크기가 일정하다. 즉 Mamba는 RNN의 효율적 추론과 트랜스포머의 병렬 학습·표현력을 한 틀에서 결합하려는 시도이며, "트랜스포머 이후(Post-Transformer)" 아키텍처 논의의 중심에 있다.

나. 필요성과 특징

SSM이 필요한 이유는 현대 AI가 다루는 수열이 급격히 길어지고 있기 때문이다. 긴 코드베이스 이해, 수백 페이지 계약서 분석, 장시간 음성·센서 스트림 처리, DNA·단백질 서열 모델링은 수만~수백만 토큰 규모를 요구한다. 이 영역에서 O(n²) 어텐션은 메모리 벽에 부딪히며, 길이에 선형인 모델이 실용적 대안으로 요구된다. 선형 복잡도는 단순한 속도 개선을 넘어, 기존에는 처리 불가능하던 길이의 문제를 "풀 수 있는 문제"로 바꾸는 질적 전환이다.

이 전환의 의미를 하나의 구체적 장면으로 그려 보면 이렇다. 10만 토큰짜리 기술 문서를 요약한다고 하자. 트랜스포머는 토큰 하나를 생성할 때마다 앞선 10만 토큰 전부와의 관계를 재계산하고 그 키·값을 메모리에 쌓아 두어야 하므로, 길이가 길어질수록 연산량과 메모리가 함께 폭증한다. 반면 SSM은 문서를 한 번 훑으며 핵심을 고정 크기 상태에 눌러 담았다가, 요약을 생성할 때는 그 상태만 참조한다. "모든 과거를 다시 보는" 방식과 "요약된 상태만 들고 가는" 방식의 이 대비가 SSM과 트랜스포머의 본질적 차이이며, 긴 수열일수록 그 격차가 벌어진다.

SSM 계열의 특징은 세 가지로 요약된다. 첫째, 이중 계산 형태(Dual Form)다. 선형 시불변(LTI) SSM은 학습 시에는 전체 수열을 한 번에 처리하는 합성곱(Convolution) 형태로 병렬화하고, 추론 시에는 상태를 한 스텝씩 갱신하는 순환(Recurrence) 형태로 전환해 토큰당 상수 시간·상수 메모리로 생성한다. 둘째, 긴 수열 처리에 강하다. 상태 행렬을 장기 기억에 유리하게 초기화(HiPPO)하면 수천~수만 스텝 전 정보도 상태에 보존된다. 셋째, 추론 효율이 뛰어나다. KV 캐시가 없어 메모리가 수열 길이와 무관하게 일정하므로, 긴 컨텍스트 생성에서 트랜스포머 대비 처리량이 크게 높아진다.

이러한 특성 덕분에 SSM은 "신호에 가까운" 데이터, 즉 오디오 파형·센서 시계열·유전체 서열처럼 매우 길고 규칙적이며 국소 구조가 중요한 수열에서 특히 강점을 보인다. 반대로 코드·수식처럼 멀리 떨어진 토큰을 정확히 참조해야 하는 데이터에서는 어텐션의 직접 조회가 유리할 수 있다. 따라서 "SSM이 트랜스포머보다 낫다/못하다"는 단정은 성립하지 않으며, 데이터의 성격과 과제 요구에 따라 유불리가 갈린다는 점을 전제로 삼아야 한다.

다만 초기 SSM(S4 등)은 LTI 구조, 즉 입력과 무관하게 항상 같은 A·B·C 행렬을 쓰는 제약 때문에 "내용에 따라 선택적으로 기억·망각"하는 능력이 부족했다. 어텐션이 특정 토큰을 콕 집어 참조하는 내용 기반 추론(Content-based Reasoning)에 약했던 것이다. Mamba의 핵심 혁신은 이 제약을 깨고 행렬을 입력 의존적으로 만든 선택 메커니즘에 있으며, 이것이 SSM을 "장난감 벤치마크 우승자"에서 "언어모델 경쟁자"로 끌어올린 전환점이다.

정리하면 SSM 계열은 시퀀스 모델링의 세 가지 요구 — 긴 의존성 포착, 학습 병렬성, 저비용 추론 — 를 하나의 수학적 틀에서 동시에 겨냥한다. RNN은 추론 효율은 있으나 학습 병렬성과 장기기억이 약했고, 트랜스포머는 표현력과 병렬성은 얻었으나 추론 효율을 잃었다. SSM, 특히 Mamba는 "상태 압축"이라는 오래된 아이디어를 현대적 초기화(HiPPO)·선택 메커니즘·하드웨어 최적화로 되살려, 세 요구의 균형점을 새로 제시했다는 데 그 역사적 의의가 있다.

2. 상태공간 모델의 수학적 구조와 두 가지 계산 모드

SSM의 뿌리는 제어공학의 연속 상태공간 방정식이다. 입력 신호 u(t)가 들어오면 내부 상태 x(t)가 x'(t)=Ax(t)+Bu(t)로 진화하고, 출력은 y(t)=Cx(t)로 결정된다. 여기서 A는 상태가 시간에 따라 어떻게 전이·감쇠하는지를 정하는 상태전이 행렬, B는 입력이 상태에 미치는 영향, C는 상태를 출력으로 사상하는 행렬이다. 딥러닝에서는 이 연속 시스템을 이산화(Discretization)해 수열에 적용하는데, 스텝 크기 Δ를 두고 영차 유지(ZOH, Zero-Order Hold) 등으로 이산 행렬 Ā, B̄를 구한다.

이산화 과정에서 스텝 크기 Δ는 연속 시스템을 얼마나 촘촘히 샘플링하는지를 정하는 값으로, "시간 해상도"에 해당한다. Δ가 작으면 입력을 세밀하게 반영해 과거 상태를 더 오래 유지하는 쪽으로, Δ가 크면 현재 입력을 크게 반영해 상태를 빠르게 갱신하는 쪽으로 작동한다. 뒤에서 보듯 Mamba는 바로 이 Δ를 입력에 따라 동적으로 조절함으로써 "선택적 기억"을 구현하는데, 고정 SSM에서는 이 값이 학습된 상수로 고정된다는 점이 핵심 차이다.

이산화하면 다음 두 수식이 핵심이 된다. 상태 갱신 x_k = Ā·x_{k-1} + B̄·u_k, 출력 y_k = C·x_k이다. 이 순환 형태는 RNN처럼 한 스텝씩 상태를 갱신하므로, 추론 시 과거 전체를 다시 보지 않고도 상수 시간·상수 메모리로 다음 출력을 낸다. 반면 LTI 가정(Ā, B̄, C가 모든 스텝에서 동일) 아래에서는 같은 계산을 하나의 긴 합성곱 커널 K̄로 펼칠 수 있어, 학습 시 전체 수열을 FFT 등으로 한 번에 병렬 처리한다. 이 "같은 모델을 순환으로도, 합성곱으로도 계산할 수 있다"는 이중성이 SSM 효율의 비밀이다.

아래 구조도는 연속 SSM이 이산화를 거쳐 순환·합성곱 두 모드로 갈라지고, 각 모드가 학습·추론에 어떻게 쓰이는지를 전체적으로 보여준다.

flowchart TB
  CONT["연속 SSM(x'=Ax+Bu, y=Cx)"] --> DISC["이산화(스텝 Delta, ZOH)"]
  DISC --> REC["순환 모드(x_k=A_bar x_k-1 + B_bar u_k)"]
  DISC --> CONV["합성곱 모드(커널 K_bar로 일괄)"]
  REC --> INF["추론: 토큰당 상수 시간/메모리"]
  CONV --> TRN["학습: 전체 수열 병렬 처리"]
  DISC --> HIPPO["HiPPO 초기화(장기기억 보존)"]
  HIPPO --> REC
  HIPPO --> CONV

합성곱 형태를 좀 더 풀어 보면, LTI SSM의 출력 y는 입력 u와 하나의 긴 커널 K̄=(C·B̄, C·Ā·B̄, C·Ā²·B̄, …)의 합성곱으로 표현된다. 즉 "상태를 한 스텝씩 굴린 결과"를 미리 하나의 필터로 펼쳐 두면, 전체 수열에 대한 출력을 FFT로 한 번에 계산할 수 있다. 이것이 S4가 수만 길이 수열에서도 학습을 병렬화할 수 있었던 핵심 수학적 장치다. 문제는 이 커널 K̄를 Ā의 거듭제곱으로 안정적·효율적으로 계산하는 일이 수치적으로 까다롭다는 점인데, S4는 행렬을 대각화 가능한 구조로 재구성해 이를 해결했다.

여기서 결정적 역할을 하는 것이 HiPPO(High-order Polynomial Projection Operator) 이론이다. 단순히 A를 무작위로 두면 상태가 과거를 금세 잊어버리지만, HiPPO는 과거 신호를 직교 다항식 기저로 최적 근사하도록 A를 설계해 수천 스텝 전 정보까지 상태에 압축 보존한다. S4(Structured State Space Sequence, 2021)는 이 HiPPO 행렬을 대각+저계수(Diagonal plus Low-Rank) 구조로 효율화해, Long Range Arena처럼 16K 길이의 장기 의존성 벤치마크에서 당시 트랜스포머를 크게 앞서며 SSM 계열의 가능성을 입증했다. 특히 그간 어떤 모델도 풀지 못하던 Path-X(이미지 픽셀을 1차원으로 펼친 16K 길이 과제)를 S4가 처음으로 유의미하게 해결하면서, "상태 압축만으로도 초장기 의존성을 포착할 수 있다"는 점이 실증됐다.

한 가지 유의할 점은, 순환 형태와 합성곱 형태가 수학적으로 완전히 동치라는 사실이다. 같은 파라미터로 계산 방식만 바꾸는 것이므로 결과가 동일하며, 단지 어느 쪽이 상황(학습이냐 추론이냐)에 더 효율적인지가 다를 뿐이다. 이 동치성이 깨지는 순간이 바로 Mamba의 선택 메커니즘이 도입되는 지점으로, 그때부터는 합성곱 형태를 포기하는 대신 병렬 스캔이라는 별도의 효율화 수단이 필요해진다.

상태 차원(State Dimension) N의 선택은 SSM 설계의 핵심 하이퍼파라미터다. N은 "과거를 몇 차원으로 압축할 것인가"를 정하는데, N이 크면 더 많은 과거 정보를 담아 표현력이 높아지지만 연산·메모리 비용이 늘고, N이 작으면 효율적이나 정보 유실이 커진다. 트랜스포머의 KV 캐시가 수열 길이 n에 비례(O(n))해 무한정 커지는 것과 달리, SSM의 상태 메모리는 n과 무관하게 O(N)으로 고정된다는 점이 결정적 차이다. 예컨대 N=16으로 두면 10만 토큰을 처리하든 100만 토큰을 처리하든 상태 메모리는 동일하게 유지된다.

이 구조가 주는 실무적 함의는 분명하다. 학습은 GPU 병렬성을 최대한 활용하는 합성곱으로 빠르게 하고, 서비스 단계의 토큰 생성은 상태만 들고 다니는 순환으로 저비용 처리한다. 예컨대 동일한 모델로 10만 토큰 문서를 학습할 때는 병렬 합성곱으로, 실제 응답을 한 토큰씩 생성할 때는 고정 크기 상태만 갱신하므로, 긴 컨텍스트에서도 메모리가 폭증하지 않는다. 이것이 트랜스포머가 구조적으로 갖기 어려운 SSM만의 강점이다.

3. S4에서 Mamba로 — 선택적 상태공간(Selective SSM)의 원리

S4의 한계는 선형 시불변(LTI) 구조 그 자체였다. 모든 스텝에서 동일한 A·B·C·Δ를 쓰므로, 입력 내용과 무관하게 "똑같은 방식으로" 과거를 압축한다. 이는 신호처리에는 이상적이지만 언어처럼 "지금 들어온 단어가 중요한지 무시해도 되는지"를 판단해야 하는 과제에는 부적합하다. 예컨대 불필요한 조사·공백은 흘려보내고 핵심 개체명은 오래 기억해야 하는데, 고정 행렬로는 이런 내용 기반 선택이 불가능하다. 바로 이 약점이 S4가 언어모델에서 트랜스포머를 넘지 못한 이유였다.

Mamba(2023, Gu & Dao)는 이 문제를 선택 메커니즘(Selective SSM, 통칭 S6)으로 해결한다. 핵심 발상은 B, C, Δ를 더 이상 고정 파라미터가 아니라 현재 입력 u_k의 함수로 만드는 것이다. 즉 매 스텝 입력을 보고 "이번 정보를 상태에 얼마나 반영할지(B)", "상태를 출력에 어떻게 투영할지(C)", "얼마나 빠르게 상태를 갱신·망각할지(Δ)"를 동적으로 결정한다. Δ가 크면 현재 입력에 집중하며 과거를 리셋하고, Δ가 작으면 현재를 무시하고 상태를 유지한다. 이로써 Mamba는 어텐션처럼 중요한 토큰을 선택적으로 기억하는 능력을 확보한다.

그러나 행렬이 입력 의존적이 되는 순간 LTI 가정이 깨지고, 더 이상 하나의 고정 합성곱 커널로 펼칠 수 없다. 병렬 학습 수단을 잃는 것이다. Mamba는 이를 하드웨어 인식 병렬 스캔(Hardware-aware Parallel Scan)으로 극복한다. 순환 관계를 결합법칙이 성립하는 스캔(Prefix Sum) 연산으로 보고 병렬 접두합 알고리즘으로 계산하되, 상태를 느린 HBM이 아닌 빠른 SRAM에서 처리하고 커널을 융합(Kernel Fusion)해 메모리 입출력을 최소화한다. 아래 세부 프로세스도는 이 흐름을 보여준다.

이 하드웨어 최적화가 왜 결정적인지는 GPU의 메모리 계층을 떠올리면 분명하다. 입력 의존적 SSM은 스텝마다 커진 상태 텐서를 다뤄야 하므로, 이를 전부 고대역폭 메모리(HBM)에 쓰고 다시 읽으면 메모리 입출력이 병목이 된다. Mamba의 선택적 스캔(Selective Scan) 커널은 확장된 상태를 HBM에 구체화(Materialize)하지 않고 빠른 온칩 SRAM 안에서 스캔·소멸시켜, 어텐션에서 FlashAttention이 했던 것과 같은 방식으로 메모리 병목을 제거한다. 그 결과 재계산을 감수하더라도 전체 처리량은 오히려 높아진다. 알고리즘 혁신(선택 메커니즘)과 시스템 혁신(융합 스캔 커널)이 맞물려야 비로소 Mamba의 효율이 성립한다는 점은, 현대 AI 아키텍처가 수학과 하드웨어의 공동 설계(Co-design)로 발전함을 잘 보여준다.

flowchart LR
  IN["입력 토큰 u_k"] --> PROJ["선형 투영"]
  PROJ --> SEL["선택 파라미터 생성(B_k, C_k, Delta_k = f(u_k))"]
  SEL --> DISC2["입력별 이산화(A_bar_k, B_bar_k)"]
  DISC2 --> SCAN["병렬 스캔(결합 스캔, SRAM 융합커널)"]
  SCAN --> STATE["상태 갱신 x_k"]
  STATE --> OUT["출력 y_k = C_k x_k"]
  PROJ --> GATE["게이트 분기(SiLU)"]
  GATE --> OUT

선택 메커니즘의 직관을 언어로 풀면 이렇다. Δ(스텝 크기)는 "지금 입력에 얼마나 민감하게 반응할지"를 정하는 일종의 적응형 망각 게이트다. 의미 있는 토큰(개체명·핵심어)이 들어오면 모델이 Δ를 키워 그 정보를 상태에 강하게 각인하고, 반복되는 조사·공백·잡음 토큰에는 Δ를 줄여 상태를 거의 바꾸지 않고 흘려보낸다. 이는 LSTM의 게이트와 발상은 비슷하나, 모든 채널·스텝에 걸쳐 입력 의존적으로 작동하며 하드웨어 병렬 스캔으로 대규모 학습이 가능하다는 점에서 질적으로 다르다. 즉 Mamba는 "선택적으로 압축하는 RNN"을 GPU 규모로 실현한 것이다.

이 선택 능력은 Mamba 논문이 제시한 두 합성 과제에서 특히 극적으로 드러난다. 하나는 선택적 복사(Selective Copying)로, 무작위 간격으로 섞인 토큰 중 특정 토큰만 골라 순서대로 복사하는 과제다. 고정 행렬의 S4는 "무엇을 복사할지" 입력에 따라 바꿀 수 없어 실패하지만, 입력 의존적 Mamba는 복사 대상만 선택해 상태에 담고 나머지는 무시해 거의 완벽히 해결한다. 다른 하나는 유도 헤드(Induction Heads) 과제로, 앞서 본 패턴("A 다음엔 B")을 뒤에서 재현하는 인-컨텍스트 학습의 핵심 능력인데, Mamba는 이를 학습해 긴 문맥으로도 일반화한다. 이 두 과제는 "선택성이 곧 언어모델 성능의 열쇠"임을 보여주는 설득력 있는 증거다.

Mamba 블록은 이 선택적 SSM을 게이트 구조로 감싼다. 입력을 두 갈래로 투영해 한쪽은 SSM을 통과시키고 다른 한쪽은 활성함수(SiLU/Swish) 게이트로 조절한 뒤 곱해, 트랜스포머의 어텐션+FFN 블록을 하나의 균질한 블록으로 대체한다. 그 결과 Mamba는 어텐션을 전혀 쓰지 않고도 유사 규모 트랜스포머에 필적하거나 앞서는 언어모델 성능을 보이며, 저자 보고 기준 추론 처리량이 수 배(약 5배) 높고 수열 길이에 선형으로 확장된다. 구체적으로 100만 토큰 규모의 유전체 서열에서도 품질 저하 없이 처리됐다는 결과가 제시되어, 긴 수열 영역에서의 실용성을 입증했다.

4. 비교 — RNN · Transformer · SSM(Mamba)

세 계열을 선택하려면 "과거를 어떻게 다루는가"의 근본 차이를 이해해야 한다. RNN은 과거를 상태에 압축하지만 순차 계산이라 학습이 느리고 장기 의존성에 약하다. 트랜스포머는 모든 토큰을 직접 연결해 표현력과 병렬성이 뛰어나지만 O(n²) 비용과 무한히 커지는 KV 캐시가 발목을 잡는다. Mamba는 RNN처럼 상태를 압축하되 선택 메커니즘으로 표현력을, 병렬 스캔으로 학습 속도를 확보해 둘의 장점을 절충한다. 이 차이는 단순 우열이 아니라 표현력·효율·장기기억의 트레이드오프에서 비롯된다.

실제로 Mamba는 RNN의 계보를 잇되 두 가지 결정적 한계를 극복했다는 점에서 "현대화된 RNN"으로 볼 수 있다. 첫째, RNN의 기울기 소실을 HiPPO 기반 상태 설계와 안정적 이산화로 완화해 장기 의존성을 확보했다. 둘째, RNN의 순차 학습 병목을 병렬 스캔으로 제거해 트랜스포머급 대규모 학습을 가능케 했다. 즉 Mamba의 참신함은 전혀 새로운 발상이라기보다, 상태 압축이라는 고전적 아이디어를 현대적 수학·시스템 기법으로 "다시 작동하게" 만든 데 있다.

구분 RNN/LSTM Transformer SSM/Mamba
학습 복잡도 O(n), 순차(병렬 불가) O(n²), 병렬 O(n), 병렬(스캔)
추론 메모리 상수(상태) 증가(KV 캐시) 상수(상태)
장기 의존성 약함(기울기 소실) 강함(직접 연결) 강함(HiPPO·선택)
내용 기반 참조 제한적 매우 강함 강함(선택적)
긴 수열(수십만) 비현실적 비용 폭증 선형 확장 유리

특히 트랜스포머와의 대비는 정보 접근 방식의 철학적 차이에서 온다. 어텐션은 과거 전체를 "무손실"로 보관했다가 필요할 때 직접 조회하므로, 특정 토큰을 정확히 복사·회상하는 연관 회상(Associative Recall)에 압도적이다. 반면 Mamba는 과거를 고정 크기 상태로 "손실 압축"하므로, 무엇을 버릴지 선택하는 능력은 얻었지만 "방금 본 임의의 토큰을 그대로 복사"하는 능력은 상대적으로 약하다. 이 때문에 긴 문맥에서 특정 사실을 정확히 끄집어내는(needle-in-a-haystack) 과제에서는 순수 SSM이 어텐션에 뒤질 수 있다.

이 손실 압축의 성격은 상태 차원 N이라는 "예산"으로 이해하면 명료하다. 어텐션의 유효 기억 용량은 문맥 길이에 비례해 사실상 무한히 늘지만, SSM의 기억은 N차원 상태라는 고정 예산에 담겨야 한다. 문맥이 길어질수록 더 많은 정보를 같은 크기에 눌러 담아야 하므로, 모델은 "무엇이 중요한지"를 더 공격적으로 판단해야 한다. 선택 메커니즘은 바로 이 판단을 학습으로 해결한 장치지만, 정보가 근본적으로 유한 예산에 압축된다는 사실은 변하지 않는다. 따라서 임의 정밀 회상이 필수인 과제에서는 N을 키우거나 어텐션을 섞는 보완이 불가피하다.

실무적 함의는 명확하다. 매우 긴 수열의 전체 추세·요약·스트리밍 처리에는 Mamba의 선형 효율이 유리하고, 정밀한 사실 회상·복잡한 추론에는 어텐션이 여전히 강하다. 따라서 현실의 설계는 "둘 중 하나"가 아니라 하이브리드로 수렴하는 추세다. 소수의 어텐션 층으로 정밀 회상을 담당하고 다수의 Mamba 층으로 장문맥을 효율 처리하면, 품질과 비용을 동시에 잡을 수 있다. 실제로 어텐션 대 Mamba 층을 약 1:7 비율로 섞는 설계가 보고되었다.

비용 측면의 대비를 수치로 보면 차이가 더 분명해진다. 트랜스포머는 컨텍스트가 2배 길어지면 어텐션 연산이 약 4배로 늘지만, Mamba는 약 2배로만 증가한다. 추론 단계에서도 트랜스포머는 32K 토큰을 넘어서면 KV 캐시가 모델 가중치에 맞먹는 메모리를 차지하기 시작하는 반면, Mamba는 상태 메모리가 일정해 동일 하드웨어에서 훨씬 긴 문맥을 수용한다. 다만 이 효율은 "과거를 손실 압축한다"는 대가 위에 서 있으므로, 어떤 정보를 버려도 되는 과제인지 아닌지를 먼저 판별하는 것이 설계의 출발점이 되어야 한다.

5. 심화 — 최신 동향과 하이브리드 아키텍처

Mamba 이후 연구는 두 방향으로 전개됐다. 첫째는 이론적 통합이다. 2024년 Mamba-2는 상태공간 이중성(SSD, State Space Duality) 이론을 제시해, 선택적 SSM과 어텐션이 사실은 동일한 수학적 구조의 두 표현임을 밝혔다. 이를 통해 상태 차원을 크게 키우면서도 행렬곱 중심 연산으로 재구성해 GPU 효율을 높였고, Mamba-2는 더 큰 상태로 더 빠른 학습을 달성했다. SSD는 "어텐션 대 SSM"이라는 이분법을 넘어 두 패러다임을 하나의 틀에서 설계·최적화할 길을 열었다는 점에서 의미가 크다.

이 통합의 실용적 가치는 기존 트랜스포머 생태계의 자산을 SSM이 흡수할 수 있게 한다는 데 있다. 어텐션을 위해 개발된 텐서코어 최적화·분산 학습 기법이 SSD 관점에서는 SSM에도 상당 부분 재사용 가능해지며, 이는 SSM 계열의 생태계 성숙 속도를 끌어올린다. 반대로 어텐션 쪽에서도 SSM의 선형 커널 아이디어를 차용해 긴 문맥 효율을 높이는 교차 수혈이 일어나고 있어, 두 진영의 경계는 갈수록 흐려지는 추세다.

둘째는 하이브리드 실전화다. AI21의 Jamba(2024)는 Mamba 층과 트랜스포머 어텐션 층, 그리고 전문가 혼합(MoE)을 결합해 256K 토큰의 긴 컨텍스트를 단일 GPU 메모리 예산 안에서 효율적으로 처리하는 상용급 모델을 선보였다. 핵심 사례의 수치를 보면, 동일 컨텍스트 길이에서 순수 트랜스포머 대비 KV 캐시 메모리를 수분의 1로 줄이면서 처리량을 높였다. NVIDIA를 비롯한 여러 기관도 Mamba-어텐션 하이브리드가 순수 트랜스포머와 대등한 품질에 더 긴 문맥·더 빠른 추론을 제공한다는 결과를 내놓으며, 하이브리드가 장문맥 LLM의 유력한 방향으로 자리 잡고 있다.

하이브리드가 유효한 이유는 두 메커니즘의 약점이 서로 상보적이기 때문이다. 순수 SSM은 긴 문맥에서 특정 토큰을 정확히 복사·회상하는 연관 회상에 약하고, 순수 어텐션은 긴 문맥에서 비용이 폭증한다. 소수(전체의 약 1/8 수준)의 어텐션 층만 배치해 "정밀 조회가 꼭 필요한 순간"을 담당시키고, 나머지를 Mamba 층으로 채워 대부분의 문맥 처리를 선형 비용으로 수행하면, 품질은 트랜스포머급을 유지하면서 긴 문맥의 비용은 크게 낮출 수 있다. 여기에 MoE를 더하면 파라미터 수는 키우되 토큰당 활성 연산은 억제해 효율을 한층 끌어올린다. 이처럼 "어텐션은 정밀 회상, SSM은 효율적 장기 압축"으로 역할을 분담하는 설계가 장문맥 LLM의 현실적 해법으로 자리 잡고 있다.

응용 영역도 넓어지고 있다. 유전체학에서는 수십만~수백만 염기 서열을 처리하는 DNA 기초모델에, 오디오·음성에서는 긴 파형의 실시간 처리에, 비전에서는 이미지를 패치 수열로 보는 Vision Mamba(Vim)에, 시계열·센서 스트림에서는 장기 모니터링에 SSM이 적용된다. 공통점은 모두 "수열이 길고 스트리밍성이 강하며 상수 메모리 추론이 중요한" 과제라는 점이다. 예컨대 고해상도 의료영상을 패치 수열로 펼치면 토큰 수가 수만에 이르러 어텐션 비용이 급증하는데, Vision Mamba는 이를 선형 복잡도로 처리해 긴 패치 수열에서 메모리 효율과 처리량 우위를 보고했다. 산업 현장의 실시간 설비 센서 스트림 이상탐지처럼 "끊임없이 길어지는 수열을 일정 메모리로 흘려보내야 하는" 과제도 SSM의 상수 메모리 추론이 자연스럽게 들어맞는 영역이다. 기술사 관점의 예상 출제 방향은 ① 트랜스포머 O(n²) 한계와 SSM의 선형 복잡도 대비, ② S4의 LTI 한계와 Mamba 선택 메커니즘의 원리, ③ RNN·트랜스포머·Mamba의 트레이드오프 비교, ④ 하이브리드(Jamba·SSD) 설계의 배경과 장문맥 전략이다. 답안은 "과거를 고정 상태로 선택 압축한다"는 본질을 축으로 구조도·복잡도·사례를 엮어 전개하는 것이 효과적이다.

끝으로 채택 현황을 균형 있게 짚을 필요가 있다. 2026년 현재 대규모 상용 LLM의 주류는 여전히 트랜스포머이며, SSM은 순수형보다 하이브리드 형태로 장문맥·효율이 중요한 영역에서 점진 확산되는 단계다. 과장도 과소평가도 금물이며, "트랜스포머를 대체했다"기보다 "설계 선택지를 넓혔다"고 보는 것이 현 시점의 정확한 진단이다. 기술사는 벤더 홍보 수치가 아니라 공개 벤치마크와 재현 결과에 근거해 판단해야 한다.

6. 고려사항 및 시사점

SSM·Mamba를 실무와 아키텍처 선택에 적용할 때 기술사는 다음을 종합적으로 고려해야 한다.

첫째, 과제 특성에 따른 아키텍처 선택 전략이다. 정밀한 사실 회상·복잡 추론이 핵심이면 어텐션 비중을, 매우 긴 문맥·스트리밍·저지연 추론이 핵심이면 Mamba 비중을 높인다. 대부분의 현실 과제에서는 순수 SSM도 순수 트랜스포머도 아닌 하이브리드가 최적점이며, 어텐션 층의 비율을 요구 품질·비용 예산에 맞춰 조율하는 설계 감각이 중요하다. "최신 아키텍처"를 좇기보다 요구사항에서 역산하는 판단이 기술사적 태도다. 예컨대 평균 입력이 짧고 정확한 질의응답이 중요한 사내 지식 검색이라면 어텐션 중심이 합리적이지만, 장시간 로그·통화 기록을 실시간 요약하는 서비스라면 Mamba 중심 설계가 총비용을 크게 낮춘다.

둘째, 하드웨어·시스템 수준의 트레이드오프다. Mamba의 선형 효율은 병렬 스캔·커널 융합 같은 저수준 최적화에 크게 의존하므로, 특정 가속기·프레임워크 성숙도에 성능이 좌우된다. 트랜스포머는 FlashAttention 등 생태계가 매우 성숙한 반면, SSM 계열은 커널·서빙 스택이 빠르게 발전 중이나 아직 상대적으로 얕다. 도입 시 학습·추론 스택의 지원 수준과 운영 안정성을 함께 평가해야 한다. 특히 양자화·분산 추론·서빙 프레임워크의 SSM 지원이 트랜스포머만큼 성숙했는지, 커스텀 커널이 목표 하드웨어에서 검증됐는지를 사전에 확인하지 않으면, 이론상의 효율이 실제 운영에서 재현되지 않을 수 있다.

셋째, 표현력 한계의 인지와 보완이다. 순수 SSM은 연관 회상·정밀 복사에 구조적 약점이 있으므로, 긴 문서에서 특정 사실을 정확히 인용해야 하는 과제라면 소수의 어텐션 층이나 검색증강생성(RAG) 같은 외부 메모리와 결합해 약점을 메워야 한다. 아키텍처 단독으로 모든 요구를 충족하려 하기보다 파이프라인 차원의 보완을 설계하는 관점이 필요하다.

넷째, 장문맥 전략과 비용 거버넌스다. SSM의 상수 추론 메모리는 긴 컨텍스트 서비스의 총소유비용(TCO)을 크게 낮출 수 있으나, 품질 검증 없이 길이만 늘리면 손실 압축으로 정보가 유실될 수 있다. 컨텍스트 길이·상태 크기·어텐션 비율을 품질 지표(장문맥 회상·요약 정확도)와 함께 벤치마킹해 균형점을 잡고, 비용 절감이 품질 저하로 이어지지 않도록 지속 모니터링하는 거버넌스가 필요하다. 평가 역시 평균 성능 지표만으로는 부족하며, needle-in-a-haystack처럼 긴 문맥 속 특정 사실의 정확 회상을 측정하는 과제를 반드시 포함해 "효율을 위해 어떤 품질을 포기했는가"를 정량적으로 파악해야 한다.

다섯째, 전망과 연계 기술이다. SSD 이론으로 어텐션과 SSM의 경계가 허물어지면서, 앞으로의 기초모델은 두 메커니즘을 자유롭게 조합하는 방향으로 진화할 가능성이 크다. 온디바이스 AI, 엣지 스트리밍, 장기 에이전트 메모리처럼 "길고 지속적인 수열을 저비용으로 처리"해야 하는 영역에서 SSM의 중요성은 더 커질 전망이다. 특히 온디바이스·엣지 환경은 메모리·전력이 제약되어 KV 캐시가 커지는 트랜스포머가 불리한 반면, 상수 메모리로 긴 문맥을 유지하는 SSM이 구조적으로 유리하다. 따라서 기술사는 SSM을 트랜스포머의 대체재가 아니라 상호 보완적 설계 요소로 보고, 과제별 최적 조합을 설계하는 역량을 갖춰야 한다.

종합하면, SSM과 Mamba는 "트랜스포머가 유일한 답"이라는 통념에 균열을 낸 의미 있는 대안이다. 아직 생태계 성숙도와 정밀 회상 능력에서 보완할 지점이 남아 있으나, 선형 복잡도와 상수 메모리라는 근본 이점은 수열이 계속 길어지는 AI 흐름에서 그 가치가 분명하다. 기술사는 특정 아키텍처에 대한 맹신이나 배척이 아니라, 요구사항(문맥 길이·회상 정밀도·지연·비용·운영 환경)에서 출발해 어텐션과 SSM을 적절히 배합하는 균형 잡힌 설계 판단을 견지해야 한다.

참고자료

한 줄 요약: 상태공간 모델(SSM)은 과거를 고정 크기 상태로 압축해 수열을 선형(O(n))으로 처리하며 순환·합성곱 이중 형태로 효율적 추론과 병렬 학습을 모두 얻는 계열로, Mamba는 입력 의존 선택 메커니즘과 하드웨어 인식 병렬 스캔으로 트랜스포머의 O(n²) 한계를 넘어 장문맥·스트리밍에 강한 대안을 제시하며, 오늘날 어텐션과 결합한 하이브리드(Jamba·SSD)로 수렴하고 있다.