← 목록으로
AI·데이터
#ANN#벡터인덱스#HNSW#IVF-PQ#벡터검색
최종 업데이트 · 2026-11-11

근사 최근접 이웃 탐색(ANN)과 벡터 인덱스(HNSW·IVF·PQ)

1. 개요

가. 정의

근사 최근접 이웃 탐색(Approximate Nearest Neighbor, ANN)이란 고차원 벡터 공간에서 질의 벡터와 가장 가까운 상위 K개의 벡터를 찾을 때, 모든 벡터와 거리를 일일이 계산하는 완전 탐색(brute-force)을 포기하는 대신 정확도(recall)를 약간 희생해 탐색 공간을 대폭 줄임으로써 질의 지연을 수십~수천 배 낮추는 탐색 기법이며, 이를 위해 벡터를 그래프·클러스터·양자화 코드 형태로 미리 조직화한 자료구조를 벡터 인덱스(vector index)라 한다.

ANN이 답하는 질문은 "이 질의 벡터와 의미적으로 가장 유사한 항목 K개는 무엇인가"이다. [[embedding]]으로 표현된 문서·이미지·사용자 벡터는 보통 수백~수천 차원에 이르며, 유사도는 그 벡터 간의 코사인 유사도나 유클리드 거리로 정의된다. 정확히 답하려면 질의마다 전체 N개 벡터와 거리를 계산해야 하므로 비용이 O(N·d)로 선형 증가한다. 수억 개 벡터를 밀리초 안에 검색해야 하는 [[rag]]·추천·검색 서비스에서 이 완전 탐색은 현실적으로 불가능하다. ANN은 "정확한 1등이 아니라 상위 K에 들어갈 후보를 높은 확률로 빠르게" 찾는 것으로 문제를 재정의한다.

여기서 ANN을 [[vector-database]]와 혼동하지 않는 것이 중요하다. 벡터 데이터베이스는 벡터의 저장·갱신·필터링·복제·트랜잭션 등을 책임지는 시스템(제품)이고, ANN은 그 내부에서 "주어진 질의에 가까운 후보를 어떻게 빠르게 좁히느냐"를 담당하는 핵심 알고리즘·인덱스 계층이다. 즉 벡터 DB의 검색 성능을 실질적으로 결정하는 엔진이 ANN 인덱스이며, 같은 임베딩을 쓰더라도 어떤 인덱스를 어떤 파라미터로 구성하느냐에 따라 재현율·지연·메모리·비용이 전혀 다르게 나타난다.

나. 등장 배경과 필요성

딥러닝 표현학습이 보편화되면서 텍스트·이미지·음성·행동 로그가 모두 고차원 임베딩 벡터로 환원되었고, "키워드 일치"가 아니라 "의미 유사"로 검색·추천·탐지하는 벡터 검색이 서비스의 핵심 기능이 되었다. 생성형 AI 시대에는 [[rag]]가 LLM의 환각을 줄이기 위해 매 질의마다 지식베이스에서 관련 문서를 벡터로 검색해 넣으므로, 벡터 검색의 지연과 재현율이 곧 응답 품질과 응답 속도를 좌우한다. 문제는 규모다. 전사 문서·상품·사용자가 수천만~수십억 벡터에 이르면 완전 탐색은 질의당 수초가 걸려 대화형 서비스의 지연 예산을 초과한다.

고차원이라는 사실 자체가 이 문제를 더 어렵게 만든다. 차원의 저주(curse of dimensionality) 때문에 공간을 격자로 쪼개는 전통적 공간 색인([[multidimensional-index]]의 k-d 트리·R-트리 계열)은 차원이 수십만 넘어가면 가지치기 효율이 급격히 떨어져 사실상 완전 탐색과 다를 바 없어진다. 즉 "정확한" 최근접 이웃을 고차원에서 빠르게 찾는 것은 근본적으로 비싸다는 것이 이론·실무 양쪽에서 확인된다. ANN은 "검색 결과의 1~2%가 진짜 최근접이 아니어도 추천·RAG 품질에는 거의 영향이 없다"는 운영 현실을 공학적으로 활용해, 정확성의 작은 양보로 지연·비용의 큰 절감을 교환한다.

필요성을 수치로 보면 분명하다. 1억 개의 768차원 벡터를 완전 탐색하면 질의당 약 10^11회의 부동소수 연산이 필요해 단일 코어로는 초 단위가 걸린다. 반면 HNSW 같은 그래프 인덱스는 질의당 수천 번의 거리 계산만으로 재현율 95% 이상을 밀리초대에 달성한다. 이 네다섯 자릿수의 속도 격차가 ANN을 대규모 벡터 서비스의 사실상 표준 탐색 기법으로 만든 이유다.

다. 특징

ANN의 성능은 단일 숫자가 아니라 재현율(recall)·지연(latency/QPS)·메모리·구축시간의 4차원 절충으로 표현된다. 완전 탐색이 재현율 100%를 비싼 비용에 보장한다면, ANN은 파라미터를 조절해 이 절충 곡선 위의 한 점을 선택한다. 따라서 "ANN이 빠르다"는 말은 반드시 "재현율 몇 %에서"라는 조건과 함께 해석해야 하며, 재현율을 보고하지 않은 지연 수치는 무의미하다는 것이 이 분야의 제1원칙이다.

또 하나의 특징은 세 가지 설계 축이 서로 직교한다는 점이다. ANN 인덱스는 크게 ① 그래프 탐색(HNSW), ② 클러스터링 기반 후보 축소(IVF), ③ 벡터 압축(PQ)의 조합으로 구성되는데, 이들은 각각 "어떻게 좁히느냐", "얼마나 좁히느냐", "얼마나 작게 저장하느냐"라는 서로 다른 문제를 푼다. 그래서 실무 인덱스는 보통 단일 기법이 아니라 IVF+PQ, HNSW+PQ처럼 여러 축을 결합해 메모리·재현율·지연의 요구를 동시에 맞춘다.

마지막으로 ANN은 데이터·질의 분포에 민감하다는 점을 전제로 운영해야 한다. 같은 알고리즘·파라미터라도 임베딩의 차원, 벡터가 공간에 뭉쳐 있는 정도(군집성), 질의가 데이터 분포와 얼마나 닮았는지에 따라 재현율이 달라진다. 그래서 "A 서비스에서 좋았던 설정"이 B 서비스에서 그대로 통하지 않으며, 벤치마크로 검증된 수치도 자신의 데이터에서 재측정해야 한다. 이 데이터 의존성은 뒤의 파라미터 설계·운영 모니터링 절에서 반복해 다루는 핵심 전제다.

2. 구조와 동작 원리

ANN의 전체 구조는 "질의가 들어오면 ① 인덱스로 소수의 후보만 빠르게 추리고(candidate generation), ② 그 후보에 대해서만 정밀 거리 계산으로 순위를 매긴 뒤(reranking), ③ 상위 K를 돌려준다"는 2단계 파이프라인으로 이해하면 명확하다. 전체 N개 중 거리 계산을 수행하는 후보 집합의 크기를 얼마나 줄이느냐가 곧 속도이고, 그 후보 안에 진짜 최근접이 얼마나 들어 있느냐가 곧 재현율이다.

flowchart TB
    Q["질의 벡터 q (d차원)"] --> IDX["벡터 인덱스 탐색 (그래프·클러스터·양자화)"]
    IDX --> CAND["후보 집합 (전체 N 중 소수)"]
    CAND --> RR["정밀 거리 재계산·재순위 (reranking)"]
    RR --> TOPK["상위 K 결과 반환"]
    subgraph BUILD["오프라인 인덱스 구축"]
      V["임베딩 벡터 N개"] --> B["인덱스 빌드 (그래프 연결·k-means·코드북 학습)"]
      B --> IDX
    end

이 파이프라인에서 핵심 지표는 재현율@K(Recall@K)이다. 어떤 질의의 진짜 최근접 K개 집합을 G, 인덱스가 반환한 K개를 R이라 하면 Recall@K = |G ∩ R| / K로 정의된다. 예를 들어 Recall@10 = 0.98이면 "상위 10개 중 평균 9.8개가 완전 탐색 결과와 일치"한다는 뜻이다. 서비스는 보통 "Recall@10 ≥ 0.95를 만족하는 최소 지연"을 목표로 파라미터를 조정하며, 이 목표 재현율이 바로 ANN 설계의 출발점이 된다.

거리·유사도 정의도 설계에 영향을 준다. 유클리드 거리(L2)·내적(inner product)·코사인 유사도가 주로 쓰이며, 코사인은 벡터를 정규화하면 내적과 등가가 되므로 많은 엔진이 정규화 후 내적으로 처리한다. 어떤 거리를 쓰느냐에 따라 인덱스의 클러스터 경계와 그래프 연결이 달라지므로, 임베딩 모델이 학습된 거리와 인덱스의 거리를 일치시키는 것이 재현율의 숨은 전제다. 실무에서 "임베딩은 코사인으로 학습했는데 인덱스는 L2로 구성"하는 불일치가 재현율 저하의 흔한 원인이므로, 인덱스 생성 시 거리 메트릭 설정을 임베딩 규약과 함께 문서화해 두는 것이 안전하다.

후보 생성 단계의 효율이 전체를 지배한다는 점도 중요하다. 재순위(reranking)는 후보가 수백~수천 개로 작을 때만 저렴하므로, "작은 후보 집합 안에 진짜 최근접을 높은 확률로 포함"시키는 인덱스 설계가 ANN의 본질이다. 다음 절의 세 알고리즘은 바로 이 "좋은 후보를 싸게 만드는" 문제에 대한 서로 다른 답이다.

여기서 왜 전통적 공간 색인 대신 그래프·클러스터·양자화가 쓰이는지를 짚어야 한다. 저차원(2~3차원 지리 좌표)에서는 k-d 트리·R-트리가 축을 번갈아 쪼개 탐색 공간을 효과적으로 가지치기한다. 그러나 수백 차원에서는 모든 점이 서로 비슷한 거리에 놓이는 거리 집중(distance concentration) 현상 때문에 "가까운 쪽 가지만 보고 먼 쪽을 버리는" 가지치기가 작동하지 않는다. 즉 트리의 분기 조건이 거의 모든 가지를 열게 만들어 완전 탐색으로 퇴화한다. ANN 계열은 이 한계를 "정확한 경계 보장을 포기하고 통계적으로 가까운 후보만 모으는" 방향으로 우회하며, 이것이 고차원에서 근사(approximate)를 택할 수밖에 없는 근본 이유다.

3. 주요 인덱스 알고리즘 — HNSW · IVF · PQ

세 대표 알고리즘은 각각 그래프·분할·압축이라는 서로 다른 전략으로 탐색 공간을 다룬다. 단순히 나열하기보다 "무엇을 해결하려 했는가"를 이해해야 조합과 파라미터 선택의 근거가 선다.

flowchart LR
    subgraph HNSW_G["HNSW (계층 그래프)"]
      L2["상위층 (희소·장거리 간선)"] --> L1["중간층"]
      L1 --> L0["최하층 (조밀·단거리 간선)"]
    end
    subgraph IVF_G["IVF (역파일·클러스터)"]
      C["질의 → 가까운 nprobe개 클러스터 선택"] --> CELL["해당 셀의 벡터만 탐색"]
    end
    subgraph PQ_G["PQ (곱 양자화)"]
      SUB["벡터를 m개 부분벡터로 분할"] --> CODE["각 부분을 코드북 ID로 압축"]
    end

가. HNSW(Hierarchical Navigable Small World, 계층적 탐색 가능 소형세계 그래프). HNSW는 벡터들을 노드로 하고 "가까운 벡터끼리 간선으로 연결한" 근접 그래프를 여러 계층으로 쌓는다. 상위층은 노드가 적고 간선이 길어 멀리 점프하며, 아래로 내려갈수록 조밀해져 세밀하게 접근한다. 질의는 최상위층의 진입점에서 시작해 "현재 노드의 이웃 중 질의에 더 가까운 노드로 이동"하는 탐욕적 탐색을 반복하며 층을 내려간다. 이는 고속도로로 대략적 위치까지 간 뒤 국도·골목으로 목적지를 찾는 것과 같아, 질의당 거리 계산을 전체 N이 아니라 로그 규모에 가깝게 줄인다. 핵심 파라미터는 노드당 간선 수 M(그래프 밀도·메모리), 구축 시 탐색 폭 efConstruction(그래프 품질·빌드 시간), 질의 시 탐색 폭 efSearch(재현율·지연)이다. 특히 efSearch는 "질의마다 유지하는 후보 리스트 크기"로, 이를 키우면 재현율이 오르고 지연도 비례해 늘어나 재현율-지연을 실시간으로 조절하는 주 다이얼이 된다. HNSW는 재현율-지연 곡선이 가장 우수한 축에 속하지만, 원본 벡터에 더해 그래프 간선을 저장해야 하므로 벡터 대비 통상 30~50%의 추가 메모리가 든다.

나. IVF(Inverted File Index, 역파일 인덱스). IVF는 먼저 전체 벡터를 k-means로 nlist개의 클러스터(셀)로 나누고, 각 셀의 중심(centroid)을 "조대 양자화기(coarse quantizer)"로 둔다. 질의가 오면 모든 벡터가 아니라 질의에 가까운 nprobe개의 셀만 열어 그 안의 벡터와만 거리를 계산한다. nlist=10,000이고 nprobe=16이면 평균적으로 전체의 약 0.16%만 탐색하므로 거리 계산이 수백 배 줄어든다. 여기서 nprobe가 재현율-지연의 주 다이얼이다. 적게 열면 빠르지만 질의가 셀 경계 근처일 때 진짜 최근접이 인접 셀에 있어 놓칠 수 있고, 많이 열면 재현율이 오르나 지연이 커진다. IVF는 구조가 단순하고 메모리 오버헤드가 작아 대규모·메모리 제약 환경에서 PQ와 결합해 널리 쓰인다.

다. PQ(Product Quantization, 곱 양자화). PQ는 탐색 전략이 아니라 벡터 압축 기법으로, 메모리와 거리 계산 비용을 동시에 줄인다. d차원 벡터를 m개의 부분벡터로 쪼갠 뒤, 각 부분공간마다 k-means로 학습한 코드북(보통 256개 대표벡터)의 ID로 치환한다. 그러면 하나의 벡터가 m개의 1바이트 코드로 압축되어, 예컨대 768차원 float 벡터(3,072바이트)를 m=96일 때 96바이트로 약 32배 줄인다. 질의 시에는 질의의 각 부분벡터와 코드북 대표벡터 간 거리를 미리 표로 계산해 두고(비대칭 거리 계산, ADC), 후보 벡터의 거리를 코드 ID로 테이블을 더해 근사하므로 거리 계산도 매우 빨라진다. 대가는 양자화 오차로 인한 재현율 하락이며, 이를 보완하려 PQ로 1차 후보를 거른 뒤 원본 벡터로 재순위하는 설계를 흔히 쓴다.

세 기법의 결합이 실무의 표준이다. 수십억 벡터를 메모리 안에 담으려면 압축이 필수이므로 IVF+PQ가 대용량의 주력 조합이 되고, 재현율-지연이 최우선이고 메모리 여유가 있으면 HNSW(필요 시 HNSW+PQ)를 쓴다. 즉 "얼마나 좁힐지는 IVF나 HNSW가, 얼마나 작게 저장할지는 PQ가" 담당하도록 축을 나누어 조립하는 것이 ANN 설계의 요체다.

압축 인덱스에서 재현율을 회복하는 전형적 수단이 2단계 재순위다. 1단계에서 PQ 코드로 거리 근사를 수행해 후보 수천 개를 싸게 추린 뒤, 2단계에서 그 후보에 한해 원본(또는 고정밀) 벡터로 정확한 거리를 다시 계산해 상위 K를 확정한다. 후보가 작으므로 2단계의 정밀 계산 비용은 작고, 양자화 오차로 흐트러진 순위를 바로잡아 재현율을 끌어올린다. 이처럼 "싼 근사로 좁히고 비싼 정밀로 확정"하는 구조가 압축과 정확성을 동시에 취하는 ANN의 핵심 설계 패턴이다.

4. 비교와 파라미터 설계

알고리즘 선택은 "무엇이 가장 빠른가"가 아니라 "주어진 메모리·재현율 요구에서 무엇이 최적인가"의 문제다. 아래 표는 세 축의 성격 차이를 정리한 것이지만, 표의 값은 데이터 분포·차원·하드웨어에 따라 달라지므로 반드시 자신의 데이터로 재현율-지연 곡선을 실측해야 한다.

기법 핵심 전략 주 파라미터 강점 한계
HNSW 계층 근접 그래프 탐색 M, efConstruction, efSearch 재현율-지연 최상위, 갱신 비교적 용이 그래프 메모리 오버헤드(벡터의 30~50%)
IVF k-means 셀 분할 후 nprobe개만 탐색 nlist, nprobe 메모리 효율, 대용량에 적합 셀 경계 질의에서 재현율 저하
PQ 부분벡터 코드북 압축 m, 코드북 크기 32배 이상 압축, 거리계산 가속 양자화 오차로 재현율 하락
IVF+PQ 분할 + 압축 결합 nlist, nprobe, m 10억 규모를 메모리 내 처리 튜닝 복잡, 재순위 필요

파라미터 설계의 출발점은 항상 목표 재현율이다. 예컨대 "Recall@10 ≥ 0.95를 최소 지연으로"가 요구라면, HNSW에서는 M=16, efConstruction=200으로 그래프를 구축한 뒤 efSearch를 64부터 512까지 늘려 가며 재현율을 측정하고, 목표를 넘기는 가장 작은 efSearch를 택하는 것이 전형적 절차다. M을 16에서 32로 키우면 그래프 메모리는 약 2배가 되지만 재현율 개선은 수 %에 그치는 수확체감이 나타나며, 특히 M은 한 번 정하면 재구축 없이 바꿀 수 없으므로 신중히 고정해야 한다.

IVF에서는 nlist를 대략 √N 근처로 잡는 것이 경험칙이다. 1억 벡터면 nlist를 수천~1만 수준으로 두고, nprobe를 늘려 가며 재현율-지연을 맞춘다. nlist가 너무 작으면 셀 하나가 커져 탐색량이 늘고, 너무 크면 학습·관리 비용이 오르며 셀당 벡터가 적어 재현율이 불안정해진다. PQ에서는 m(부분벡터 수)이 클수록 압축률이 낮아지는 대신(바이트 수 = m) 양자화 오차가 줄어 재현율이 오르므로, 메모리 예산에서 역산해 m을 정하고 부족한 재현율은 재순위로 보완한다.

메모리 산정을 수치로 해 보면 설계 감각이 선다. 1억 개의 768차원 float32 벡터를 원본 그대로 두면 약 307GB로 단일 노드 메모리를 초과한다. 여기에 HNSW(M=16)를 얹으면 그래프 간선으로 수십 GB가 더 붙어 비용이 급증한다. 반면 PQ로 m=96(코드북 256)을 적용하면 벡터당 96바이트로 줄어 전체가 약 9.6GB가 되고, IVF로 탐색 셀까지 좁히면 단일 노드에서 10억 규모도 다룰 수 있다. 이처럼 "원본 메모리 → 압축 후 메모리 → 그래프/인덱스 오버헤드"를 숫자로 먼저 추산하고 노드 수와 비용을 역산하는 것이, 인덱스를 고르기 전에 반드시 거쳐야 할 단계다.

구축 비용(build time)도 간과하면 안 되는 설계 변수다. HNSW의 efConstruction을 키우면 그래프 품질이 좋아져 같은 efSearch에서 재현율이 오르지만, 구축 시간이 비선형으로 늘어 어떤 경우 두 배의 efConstruction이 네 배의 빌드 시간을 부른다. IVF·PQ의 코드북 학습도 전체 데이터 샘플에 대한 반복 k-means이므로 대용량에서는 수 시간이 걸릴 수 있다. 따라서 "질의 성능"만이 아니라 "재빌드 주기 × 구축 시간"이 운영 비용에 직접 반영됨을 설계 초기에 계산해, 데이터가 자주 바뀌는 서비스일수록 증분 갱신이 가능한 인덱스(HNSW·FreshDiskANN 등)를 우선 고려해야 한다.

반드시 유의할 점은 이 파라미터들이 인덱스 구축 후 일부만 조정 가능하다는 비대칭이다. efSearch·nprobe는 질의 시 자유롭게 바꿔 재현율-지연을 실시간 조절할 수 있지만, M·nlist·m·코드북은 구축 시 고정되어 변경하려면 전체 재빌드가 필요하다. 따라서 "질의 시 다이얼"과 "구축 시 상수"를 구분하고, 후자는 서비스 수명 주기와 데이터 증가를 내다보고 결정해야 한다.

5. 적용 사례

ANN은 "의미 유사도를 대규모로 빠르게 계산"해야 하는 거의 모든 서비스에 스며들어 있다. 아래 사례들은 도메인은 달라도 모두 "고차원 임베딩 → ANN 후보 생성 → 정밀 처리"라는 동일한 골격을 공유하며, 각 사례에서 재현율·지연·메모리의 우선순위만 다르게 설정된다는 점에 주목할 만하다.

생성형 AI의 RAG 파이프라인이 ANN의 대표 활용처다. [[rag]]는 사용자 질문을 임베딩해 지식베이스에서 유사 문서 상위 K개를 ANN으로 검색한 뒤 LLM 프롬프트에 주입한다. 이때 검색 지연이 전체 응답 지연에 그대로 더해지므로, 수천만 청크를 HNSW로 인덱싱해 수 ms 내 Recall@10 ≥ 0.95를 달성하는 것이 품질과 체감 속도를 동시에 좌우한다. 재현율이 낮으면 관련 근거가 누락돼 LLM이 환각을 일으키므로, ANN의 재현율이 곧 RAG 답변의 사실성으로 직결된다.

추천 시스템에서는 사용자·상품을 임베딩한 뒤 "이 사용자 벡터에 가까운 상품 K개"를 ANN으로 뽑는 것이 후보 생성 단계의 핵심이다. 수억 상품 카탈로그에서 밀리초 안에 후보 수백 개를 만들고, 이후 정밀 랭킹 모델로 재순위하는 2단계 구조가 표준이다. 여기서 ANN은 "전체 상품을 랭킹 모델에 넣는 비용"을 "소수 후보만 넣는 비용"으로 바꿔 주어, 정확성과 지연·비용을 동시에 잡는 전형적 근사-정밀 결합 패턴을 이룬다.

이미지·멀티미디어 검색과 중복 탐지도 오래된 ANN 활용 분야다. 이미지 임베딩으로 "유사 이미지 찾기", 오디오 지문으로 "동일 음원 식별", 문서 임베딩으로 "표절·중복 제거"를 수행할 때 모두 고차원 벡터의 최근접 탐색이 필요하다. 수억 장 규모에서는 IVF+PQ로 벡터를 32배 이상 압축해 단일 노드 메모리에 담고, PQ 후보를 원본으로 재순위해 재현율을 복원하는 설계가 널리 쓰인다. 메타의 FAISS 라이브러리가 이런 대규모 압축 인덱스를 1급으로 제공하면서 산업 표준이 되었다.

이상 탐지·보안에서도 ANN은 효율적 도구다. 정상 행동·로그·네트워크 트래픽을 임베딩해 인덱스에 쌓아 두면, 새 이벤트가 들어왔을 때 "가장 가까운 정상 이웃까지의 거리"를 ANN으로 빠르게 구해 그 거리가 크면 이상치로 판정할 수 있다. 수억 건의 정상 패턴과 매 이벤트를 완전 탐색으로 대조하기는 불가능하므로, ANN으로 근사 최근접 거리만 상수 시간에 가깝게 구하는 것이 실시간 탐지의 전제가 된다. 여기서는 재현율이 다소 낮아도 "명백한 이상"은 어떤 이웃과도 멀어 걸러지므로, 지연을 우선하는 파라미터가 합리적이다.

플랫폼·DBMS 제품화 측면에서는 HNSW와 DiskANN 계열이 빠르게 확산되고 있다. pgvector는 PostgreSQL에 HNSW·IVF 인덱스를 더해 관계형 DB 안에서 벡터 검색을 가능하게 했고, Milvus·Elasticsearch·OpenSearch 등은 HNSW를 기본 인덱스로 채택했다. 마이크로소프트의 DiskANN은 그래프를 SSD에 저장해 메모리 한계를 넘어 10억 규모를 단일 노드에서 처리하며, Azure Cosmos DB·pgvectorscale 등 여러 제품의 기반이 되었다. 이처럼 ANN은 더 이상 연구 알고리즘이 아니라 데이터 인프라의 기본 구성요소로 자리 잡았다.

6. 심화 — 최신 동향과 디스크 기반·필터링 검색

ANN 연구는 "메모리 벽을 넘어 더 크게, 조건을 붙여 더 정확하게"라는 두 축으로 빠르게 전개되고 있다. 첫째 축은 디스크 기반 인덱스다. 순수 인메모리 그래프는 10억 벡터·수천 차원에서 수백 GB 메모리를 요구해 비용이 폭증한다. 마이크로소프트의 DiskANN(Vamana 그래프)은 압축된 벡터만 메모리에 두고 전체 그래프는 SSD에 두되, 페이지 접근을 최소화하도록 그래프를 설계해 단일 노드에서 10억 규모를 재현율 95%대로 처리한다. 여기에 삽입·삭제를 재빌드 없이 지원하는 FreshDiskANN 등 동적 갱신 연구가 더해지면서, 대용량·실시간 갱신이라는 두 난제를 함께 공략하고 있다.

둘째 축은 필터링 결합 검색(filtered ANN)이다. 실무에서는 "최근 1년, 특정 카테고리, 접근 권한이 있는 문서 중에서 유사한 것"처럼 메타데이터 조건과 벡터 유사도를 함께 요구한다. 조건을 검색 후 적용(post-filtering)하면 후보가 다 걸러져 결과가 비는 문제가 생기고, 먼저 적용(pre-filtering)하면 인덱스의 그래프·셀 구조를 쓸 수 없어 느려진다. Filtered-DiskANN(WWW 2023)은 인덱스 구축 단계부터 라벨 정보를 그래프 간선에 반영해, 탐색만 바꾸는 기존 방식보다 높은 재현율로 조건부 검색을 처리한다. 다만 어떤 방식이 유리한지는 필터 선택도에 따라 달라서, 필터가 대부분을 걸러내는 경우에는 IVF 계열이 유리할 수 있다는 보고도 있어 조건부 검색은 여전히 활발한 연구 주제다.

셋째, 양자화와 하드웨어 가속이 정밀도-비용 경계를 계속 밀어낸다. PQ를 넘어 OPQ(최적화 곱 양자화)·스칼라 양자화·이진 양자화 등이 압축률과 재현율의 균형을 개선하고 있으며, 최근 LLM 임베딩이 수천 차원으로 커지면서 차원 축소([[dimensionality-reduction]])와 양자화를 결합해 저장·거리계산 비용을 낮추는 설계가 중요해졌다. GPU·SIMD를 활용한 대량 거리계산 가속도 FAISS 등에서 표준이 되어, 같은 재현율에서 처리량(QPS)을 크게 끌어올린다.

넷째, 하이브리드 검색(dense + sparse)이 품질을 끌어올린다. 벡터 유사도(dense)는 의미는 잘 잡지만 고유명사·코드·희귀어의 정확한 일치에는 약하고, 키워드 기반 역색인(sparse, 예: BM25)은 그 반대다. 그래서 두 검색을 각각 수행해 결과를 결합하는 하이브리드가 [[rag]]·엔터프라이즈 검색에서 표준이 되고 있으며, 점수 정규화와 상호 순위 융합(RRF, Reciprocal Rank Fusion) 같은 결합 기법으로 양쪽의 장점을 합친다. 이때 dense 쪽 후보 생성이 ANN이므로, 하이브리드의 품질도 결국 ANN 재현율에 의존한다.

다섯째, 평가의 표준화가 성숙했다. ann-benchmarks.com은 다양한 데이터셋에서 여러 라이브러리의 재현율-QPS 곡선을 공개 비교하는 사실상의 벤치마크가 되었다. 핵심 교훈은 "단일 승자는 없다"는 것으로, 데이터 분포·차원·메모리 예산·갱신 빈도에 따라 최적 인덱스가 달라지므로, 벤더 수치를 그대로 믿기보다 자신의 데이터와 질의 패턴으로 곡선을 실측해 선택하는 것이 원칙이다.

7. 고려사항 및 시사점

첫째, 재현율-지연-메모리의 명시적 설계(적용 전략). ANN 도입의 출발점은 "허용 가능한 최저 재현율"과 "메모리·지연 예산"을 비즈니스 요구에서 먼저 못 박는 것이다. RAG의 사실성처럼 누락 비용이 크면 재현율을 높게, 탐색적 추천처럼 느슨해도 되면 지연·비용을 우선한다. 기술사 관점에서는 "질문이 정확 최근접인가 근사 허용인가, 제약이 메모리인가 지연인가"를 분해해 인덱스와 파라미터로 매핑하는 설계 역량이 핵심이다.

둘째, 구축 상수와 질의 다이얼의 분리(트레이드오프). M·nlist·m·코드북은 재빌드 없이 못 바꾸는 구축 상수이고, efSearch·nprobe는 질의 시 조절하는 다이얼이다. 이 둘을 혼동하면 "운영 중 재현율을 올리려다 전체 재빌드"라는 값비싼 실수를 한다. 데이터 증가·분포 변화를 내다보고 구축 상수를 여유 있게 잡되, 일상적 재현율-지연 조절은 질의 다이얼로 흡수하도록 운영 설계를 분리해야 한다.

셋째, 데이터 변화와 재현율 모니터링(운영·관측성). 임베딩 모델을 교체하거나 데이터 분포가 바뀌면 같은 파라미터에서도 재현율이 떨어질 수 있다. 따라서 소수 질의에 대해 주기적으로 완전 탐색을 수행해 실제 Recall@K를 측정하고 대시보드로 노출하는 근사 품질의 상시 검증이 필요하다. [[observability]]의 관점에서 "지금 검색 품질이 얼마나 저하됐는가"를 지표화해 두면, 인덱스 재빌드·재튜닝 시점을 데이터로 판단할 수 있다.

넷째, 아키텍처·비용 구조와의 정합(연계 기술·전망). 인덱스 선택은 곧 인프라 비용 구조다. 인메모리 HNSW는 빠르지만 메모리 비용이 크고, DiskANN 계열은 SSD로 비용을 낮추되 지연이 늘며, IVF+PQ는 압축으로 노드 수를 줄인다. [[vector-database]]·필터링·[[caching-strategy]]와 결합해 전체 검색 경로를 설계해야 하며, 전망으로는 디스크 기반·필터링·양자화·하드웨어 가속이 수렴하면서 ANN이 수십억 규모 실시간 의미 검색의 표준 엔진으로 자리를 굳힐 것이다. 다만 "단일 최적 인덱스는 없다"는 원칙은 유지되므로, 조직 차원의 벤치마크·튜닝 역량을 내재화하는 것이 지속 가능한 경쟁력이 된다.

다섯째, 보안·프라이버시와 갱신 일관성(위험 관리). 벡터 검색은 임베딩 자체가 원본 콘텐츠의 정보를 담으므로, 인덱스 유출 시 임베딩 역전(embedding inversion)으로 원문·개인정보가 복원될 위험이 있어 저장·접근 통제를 일반 데이터와 동일하게 적용해야 한다. 또한 삭제 요구(잊힐 권리)에 대응하려면 인덱스에서도 해당 벡터를 실제로 제거해야 하는데, 다수의 ANN 인덱스는 삭제가 지연·탐지 품질 저하를 유발하므로 소프트 삭제 후 주기적 재빌드 같은 운영 절차가 필요하다. 필터링 검색에서 권한 조건을 사후 적용하면 권한 없는 문서가 후보에 노출될 수 있으므로, 접근 제어를 인덱스 설계에 통합해 "검색 가능 범위 = 접근 허용 범위"를 보장하는 것이 중요하다.

참고자료


한 줄 요약: ANN은 재현율을 조금 양보해 고차원 벡터의 최근접 탐색을 수십~수천 배 가속하는 기법으로, 그래프 탐색(HNSW)·클러스터 분할(IVF)·벡터 압축(PQ)의 직교하는 세 축을 조합하고 재현율-지연-메모리의 절충을 목표 재현율에서 역산해 설계하는 대규모 벡터 검색의 핵심 엔진이다.