← 목록으로
보안·개인정보
#IDS#IPS#침입탐지#이상탐지#NGIPS
최종 업데이트 · 2026-10-02

침입 탐지·방지 시스템(IDS/IPS)

1. 개요

가. 정의 및 등장 배경

침입 탐지 시스템(IDS, Intrusion Detection System)은 네트워크·호스트에서 발생하는 트래픽과 이벤트를 수집·분석하여 공격·오용·정책 위반의 징후를 탐지하고 경보(alert)를 발생시키는 보안 체계이며, 침입 방지 시스템(IPS, Intrusion Prevention System)은 여기에 더해 탐지된 공격을 실시간으로 차단·격리하는 능동적 대응까지 수행하는 체계이다. 요약하면 IDS는 '보고 알리는' 탐지자, IPS는 '보고 막는' 차단자이며, IPS는 흔히 'IDS에 인라인 차단 능력을 더한 진화형'으로 설명된다.

IDS/IPS가 등장한 근본 배경은 '통로를 여닫는 통제만으로는 침입을 막을 수 없다'는 방화벽의 한계 인식에 있다. 전통적 네트워크 방화벽은 출발지·목적지 IP와 포트를 기준으로 접근을 허용하거나 차단한다. 그러나 일단 허용된 포트(예: 웹 서비스의 443)를 통해 들어오는 트래픽 안에 공격 페이로드가 숨어 있으면 방화벽은 이를 정상 트래픽과 구별하지 못한다. 즉 방화벽은 '누가 어느 문으로 들어오는가'는 통제하지만 '그 사람이 안에서 무슨 짓을 하는가'는 보지 못한다. 이 사각지대, 즉 허용된 통신 내부에서 벌어지는 악의적 행위를 감시하기 위해 침입 탐지라는 개념이 태어났다.

역사적으로 IDS는 1980년 도로시 데닝(Dorothy Denning)이 제시한 침입 탐지 모델에서 이론적 뿌리를 두었고, 1990년대 Snort 같은 오픈소스 시그니처 기반 IDS가 보급되며 대중화되었다. 그러나 초기 IDS는 공격을 '탐지하고 경보만' 할 뿐 차단은 사람이 사후에 해야 했기 때문에, 공격이 이미 성공한 뒤에야 대응하는 한계가 드러났다. 네트워크 속도가 빨라지고 자동화 공격이 초(秒) 단위로 전개되면서, 탐지와 동시에 차단하는 인라인(in-line) 능동 대응의 필요성이 커졌고, 이것이 2000년대 IPS의 등장으로 이어졌다. 오늘날에는 애플리케이션 식별·사용자 인지·위협 인텔리전스를 결합한 차세대 IPS(NGIPS)로 발전하여, 차세대 방화벽(NGFW)의 핵심 기능으로 흡수되는 흐름을 보인다.

나. 필요성

현대 침해사고는 외부 경계 돌파 이후 내부에서 수평 이동(lateral movement)하며 장기간 잠복하는 양상을 띤다. 경계 방화벽 하나로는 이미 내부로 들어온 공격이나 내부자의 오용을 탐지할 수 없으므로, 트래픽과 호스트 이벤트를 상시 감시하는 IDS/IPS가 심층 방어(Defense in Depth)의 필수 계층이 된다. 규제 측면에서도 ISMS-P, PCI-DSS, 전자금융감독규정 등은 네트워크 침입 탐지·차단 수단의 운영과 로그 보존을 요구하며, IDS/IPS의 탐지 로그는 사고 발생 시 원인 규명과 책임 소명의 핵심 근거가 된다.

실제로 보안 업계의 침해조사 보고서들은 공격자가 내부에 침투한 뒤 탐지되기까지의 체류 시간(dwell time)이 수십 일에 이른다고 반복적으로 지적해 왔다. 경계만 지키는 방어로는 이 긴 잠복 기간 동안 내부에서 벌어지는 정찰·권한 상승·데이터 반출을 전혀 포착하지 못한다. IDS/IPS는 바로 이 '경계를 통과한 뒤의 시간'을 감시하여 체류 시간을 단축하고, 공격 사슬(kill chain)이 완성되기 전 중간 단계에서 끊어낼 기회를 제공한다는 점에서, 단순한 경보 장치를 넘어 탐지·대응 시간 단축의 핵심 수단으로 자리한다.

다. 핵심 특징

IDS/IPS의 특징은 세 가지로 압축된다. 첫째는 콘텐츠·행위 수준의 심층 분석으로, 패킷 헤더뿐 아니라 페이로드를 재조립하고 프로토콜 문맥을 해석해 공격 여부를 판단한다. 둘째는 탐지(IDS)와 차단(IPS)의 역할 분화로, 탐지 전용 장비는 가용성 부담 없이 폭넓게 관찰하고, 차단 장비는 경로 위에서 즉시 대응하되 오탐 시 정상 통신까지 끊을 위험을 감수한다. 셋째는 지속적 룰·모델 갱신 의존성으로, 새로운 공격이 끊임없이 등장하므로 시그니처 업데이트와 이상 행위 기준선(baseline) 재학습이 운영의 성패를 좌우한다. 이 세 특징이 결합해 IDS/IPS는 '설치로 끝나는 장비'가 아니라 '운영으로 완성되는 통제'로 기능한다.

2. IDS/IPS의 전체 구조와 배치 방식

IDS/IPS는 단일 알고리즘이 아니라, 데이터 수집(센서)→분석(엔진)→대응→관리의 파이프라인으로 이해해야 한다. 아래는 전체 구성요소와 데이터 흐름을 나타낸 구조도이다.

flowchart LR
  SRC["트래픽·호스트 이벤트"] --> SEN["센서(수집·정규화)"]
  subgraph ENG["분석 엔진"]
    MIS["오용 탐지(시그니처)"]
    ANO["이상 탐지(행위·통계)"]
  end
  SEN --> ENG
  ENG --> DEC["판정(정상·공격·의심)"]
  DEC -->|IDS| AL["경보·로깅"]
  DEC -->|IPS| BLK["차단·세션종료·격리"]
  AL --> MGR["관리 콘솔·SIEM 연계"]
  BLK --> MGR
  MGR --> TI["위협 인텔리전스·룰 갱신"]
  TI --> ENG

이 구조의 출발점은 센서(Sensor)이다. 센서는 네트워크 구간의 패킷을 스니핑하거나 호스트의 로그·시스템 콜을 수집하여, 분석에 앞서 단편화된 패킷을 재조립(reassembly)하고 프로토콜 단위로 정규화한다. 공격자는 패킷을 잘게 쪼개거나 TTL을 조작해 탐지를 회피하려 하므로, 센서의 재조립·정규화 품질이 그 위의 모든 탐지 정확도를 좌우하는 숨은 토대가 된다. 이어 분석 엔진이 오용 탐지와 이상 탐지를 병행해 판정하고, IDS는 경보·로깅으로, IPS는 세션 차단·리셋·격리로 대응하며, 모든 결과는 관리 콘솔과 SIEM으로 수렴해 상관분석과 룰 갱신에 활용된다.

가. 네트워크 기반(NIDS/NIPS)과 호스트 기반(HIDS/HIPS)

IDS/IPS를 관통하는 첫 번째 설계 축은 '어디에서 관찰하는가'이다. 네트워크 기반(NIDS/NIPS)은 네트워크 세그먼트에 센서를 두고 통과하는 패킷 전체를 감시한다. 한 대로 다수 호스트를 포괄해 가시성이 넓고 호스트 성능에 영향을 주지 않지만, 암호화된 트래픽의 내부는 복호화 없이는 볼 수 없고, 스위칭 환경에서는 미러 포트(SPAN)나 네트워크 TAP을 통해 트래픽 복사본을 받아야 한다. 대규모 트래픽 구간에서는 센서의 처리 성능이 병목이 되어 일부 패킷을 놓치는 드롭(drop)이 발생할 수 있어, 회선 속도에 맞춘 성능 설계가 중요하다.

호스트 기반(HIDS/HIPS)은 개별 서버·단말에 에이전트를 설치해 파일 무결성 변화, 레지스트리·시스템 콜, 로그인 이력, 프로세스 행위를 감시한다. 암호화가 풀린 종단에서 실제 실행을 보므로 네트워크가 보지 못하는 내부 오용·권한 상승을 정확히 탐지하지만, 호스트마다 에이전트를 배포·관리해야 하고 호스트 자원을 소비하며, 공격자가 호스트를 장악하면 에이전트 자체가 무력화될 수 있다. 대표적으로 파일 무결성 검사 도구 OSSEC·Wazuh, 윈도 이벤트 기반 탐지가 HIDS 범주에 든다.

실무에서는 둘을 상호보완적으로 결합한다. 예컨대 DMZ 구간과 내부 코어 스위치에는 NIDS/NIPS로 트래픽을 넓게 감시하고, 결제·인증 서버처럼 중요도가 높은 호스트에는 HIDS를 추가해 네트워크가 보지 못하는 내부 변조를 정밀 보강하는 식이다. 최근에는 호스트 기반 탐지가 EDR(Endpoint Detection and Response)로, 네트워크 기반 탐지가 NDR(Network Detection and Response)로 각각 발전하여, 이 둘을 통합하는 XDR로 수렴하고 있다.

나. 패시브(IDS) 배치와 인라인(IPS) 배치

두 번째 축은 '트래픽 경로에 끼어드는가'이다. 패시브(Passive) 배치는 센서가 트래픽 경로 바깥에서 미러링된 복사본만 받아 탐지·경보한다. 원본 트래픽에 지연을 주지 않고 장비 장애가 서비스 중단으로 직결되지 않으므로 가용성 부담이 없으나, 공격을 '발견'할 뿐 '차단'하지 못해 탐지와 대응 사이에 시간 간극이 생긴다. 전형적인 IDS가 이 방식이다.

인라인(In-line) 배치는 센서가 트래픽 경로 위에 놓여 모든 패킷이 장비를 통과하므로, 공격으로 판정된 세션을 즉시 폐기(drop)하거나 TCP 리셋으로 끊을 수 있다. IPS가 이 방식을 취한다. 대신 장비가 곧 단일 장애점(SPOF)이자 지연 요인이 되고, 오탐이 발생하면 정상 통신까지 차단되어 서비스 장애로 번진다. 이 때문에 인라인 장비는 장애 시 트래픽을 통과시킬지(fail-open) 차단할지(fail-close)를 서비스 특성에 맞게 미리 결정하고, 이중화·바이패스 스위치를 함께 설계해야 한다. 가용성이 최우선인 공용 포털은 fail-open을, 금융·기밀망은 fail-close를 택하는 식으로 조직의 우선순위가 반영된다.

다. 탐지·대응의 처리 흐름

아래는 하나의 의심 트래픽이 센서에서 판정·대응까지 이르는 프로세스 세부도이다.

sequenceDiagram
  participant N as 공격자·내부자
  participant S as 센서 NIPS
  participant E as 분석 엔진
  participant T as 대상 서버
  participant M as SIEM·관리자
  N->>S: 패킷 유입 세션
  S->>S: 재조립·정규화
  S->>E: 정규화 스트림 전달
  E->>E: 시그니처 매칭 + 이상 점수 산정
  alt 공격으로 판정 - 인라인
    E-->>N: 세션 차단·TCP Reset
    E->>M: 경보·로그 - 룰ID·페이로드
  else 정상
    S->>T: 트래픽 전달
  end
  M->>E: 상관분석 후 룰·임계치 갱신

3. 탐지 기법 — 오용 탐지와 이상 탐지

IDS/IPS의 심장은 '무엇을 근거로 공격이라 판단하는가'이며, 이는 크게 두 갈래로 나뉜다.

가. 오용 탐지(Misuse / Signature-based Detection)

오용 탐지는 '알려진 나쁜 것을 막는다'는 접근으로, 이미 분석된 공격의 특징(시그니처·패턴·규칙)을 데이터베이스에 등록해 두고 트래픽이 이와 일치하면 공격으로 판정한다. 예컨대 Snort 룰은 alert tcp any any -> 192.168.0.0/24 80 (content:"/etc/passwd"; ...)처럼 특정 문자열·포트·방향을 조건으로 기술한다. 이 방식은 알려진 공격에 대한 탐지 정확도가 높고 오탐이 적으며 판정 근거가 명확하다는 장점이 있어, 현장 IDS/IPS의 1차 방어선으로 널리 쓰인다.

그러나 오용 탐지는 본질적으로 '과거에 본 공격'만 탐지할 수 있어, 시그니처에 없는 신종·변형·제로데이 공격을 놓치는 미탐(false negative)이 구조적 한계다. 공격자는 페이로드를 인코딩하거나 순서를 바꾸는 작은 변형만으로 시그니처를 우회하며, 이를 막으려면 시그니처를 끊임없이 추가해야 해 룰셋이 비대해지고 성능이 저하된다. 2017년 워너크라이(WannaCry) 랜섬웨어가 급속히 확산될 당시, 해당 SMB 취약점(EternalBlue) 시그니처가 배포되기 전까지의 짧은 공백기에 피해가 집중된 것은 오용 탐지의 시차 한계를 보여준 대표 사례다.

나. 이상 탐지(Anomaly-based Detection)

이상 탐지는 정반대로 '정상의 기준선을 세우고 거기서 벗어나는 것을 의심한다'는 접근이다. 평상시의 트래픽량·프로토콜 분포·접속 시간대·사용자 행위 등을 학습해 정상 프로파일(baseline)을 만들고, 통계적으로 유의하게 이탈하는 행위에 이상 점수를 매긴다. 이 방식의 가장 큰 가치는 시그니처가 없는 신종·제로데이 공격과 내부자 이상 행위까지 탐지할 수 있다는 점이다. 예컨대 평소 업무시간에만 소량 접속하던 계정이 새벽에 대량 데이터를 외부로 전송하면, 시그니처에는 걸리지 않아도 이상 탐지는 이를 포착한다.

이상 탐지의 약점은 오탐(false positive)이 많다는 것이다. 정상 트래픽이 급변하는 상황(프로모션으로 접속 폭증, 신규 서비스 배포)을 공격으로 오인하기 쉽고, 기준선 학습 데이터에 이미 공격이 섞여 있으면 공격을 정상으로 학습하는 오류도 발생한다. 따라서 이상 탐지는 도입 초기 일정 기간 차단 없이 관찰하는 학습 모드로 운영하며 기준선을 정교화하고, 임계치를 보수적으로 조정하는 튜닝이 필수다. 최근에는 머신러닝·딥러닝을 적용해 다차원 특징에서 미묘한 이상을 포착하는 UEBA(User and Entity Behavior Analytics)로 고도화되고 있으나, 판단 근거를 설명하기 어려운 블랙박스 문제와 설명가능성(XAI) 확보라는 숙제를 함께 안고 있다.

다. 두 기법·IDS/IPS 유형 비교

현장의 IDS/IPS는 두 기법을 병행해, 알려진 위협은 오용 탐지로 빠르고 정확하게 막고 미지의 위협은 이상 탐지로 보완한다. 아래 표는 핵심 축을 비교 정리한 것이되, 차이가 생기는 이유를 함께 이해해야 한다.

구분 오용 탐지(시그니처) 이상 탐지(행위)
판단 근거 알려진 공격 패턴 일치 정상 기준선 이탈
신종·제로데이 탐지 못함(미탐) 탐지 가능
오탐률 낮음 높음
근거 설명 명확(룰 ID) 어려움(통계·모델)
운영 부담 룰 지속 갱신 기준선 학습·튜닝
비교축 IDS IPS
주 기능 탐지·경보 탐지·차단
배치 패시브(미러·TAP) 인라인
지연·SPOF 없음 있음
오탐 영향 경보 과다 정상 통신 차단
대표 제품 Snort(IDS 모드), Zeek Suricata, NGIPS, Snort(인라인)

IPS가 IDS보다 항상 우월한 것은 아니다. 차단 능력은 강력하지만 오탐 한 건이 곧 서비스 장애로 직결되므로, 탐지 신뢰도가 충분히 검증되기 전에는 차단 없이 탐지만 하는 IDS 모드로 운영하는 것이 안전하다. 즉 IDS와 IPS는 세대 교체 관계가 아니라, 같은 엔진을 가용성·보안 우선순위에 따라 다른 모드로 운영하는 선택지로 보는 것이 정확하다.

라. 탐지 성능 지표 — 오탐·미탐의 수치적 이해

IDS/IPS의 운영 성패는 결국 탐지 정확도를 어떻게 측정·관리하는가로 귀결되므로, 혼동행렬(confusion matrix) 기반 지표를 정량적으로 이해해야 한다. 공격을 공격으로 맞히면 참양성(TP), 정상을 공격으로 오인하면 거짓양성(FP, 오탐), 공격을 놓치면 거짓음성(FN, 미탐)이다. 핵심 지표는 실제 공격을 얼마나 놓치지 않는가를 보는 탐지율(재현율, Recall=TP/(TP+FN))과, 경보 중 실제 공격의 비율인 정밀도(Precision=TP/(TP+FP))이며, 둘을 조화평균한 F1이 균형 척도로 쓰인다.

예를 들어 하루 100만 건의 세션 중 실제 공격이 1,000건인 환경에서, 탐지율 99%·오탐률(FP rate) 0.1%인 IPS를 가정하자. 공격 990건을 잡지만(TP=990), 정상 99만 9,000건의 0.1%인 약 999건을 오탐한다(FP≈999). 이때 정밀도는 990/(990+999)≈49.7%로, '경보의 절반이 헛경보'가 된다. 이것이 보안에서 악명 높은 기저율의 오류(base-rate fallacy)다. 정상 트래픽이 공격보다 압도적으로 많으므로, 아무리 오탐률이 낮아 보여도 절대 오탐 건수가 공격 건수를 압도해 운영팀을 '경보 피로'에 빠뜨린다. 따라서 IPS 튜닝의 목표는 단순히 탐지율을 높이는 것이 아니라, 위험도 기반으로 경보에 우선순위를 매기고 SIEM 상관분석으로 정밀도를 끌어올려 실제 대응해야 할 경보만 남기는 것이어야 한다.

4. 심화 — NGIPS·우회 기법·실무 적용

전통 IPS는 포트·프로토콜·시그니처에 의존해, 비표준 포트로 우회하거나 애플리케이션 계층에서 변형되는 공격에 취약했다. 이를 극복하기 위해 등장한 차세대 IPS(NGIPS)는 ①포트와 무관하게 실제 애플리케이션을 식별하는 애플리케이션 인지(App-ID), ②IP가 아닌 사용자 단위로 정책을 적용하는 사용자 인지, ③외부 평판·IoC(침해지표)를 실시간 반영하는 위협 인텔리전스 연계, ④악성 의심 파일을 격리 환경에서 실행해 보는 샌드박싱을 통합했다. 오늘날 NGIPS는 독립 장비보다 차세대 방화벽(NGFW)의 통합 모듈로 제공되는 경우가 많아, 방화벽·IPS·애플리케이션 제어가 한 장비에서 수렴하는 추세다.

한편 공격자는 탐지를 피하기 위해 다양한 우회(evasion) 기법을 구사한다. 패킷을 잘게 쪼개 재조립을 방해하는 프래그먼트 공격, TTL을 조작해 센서와 대상 서버의 재조립 결과를 다르게 만드는 기법, 페이로드를 다중 인코딩·난독화하는 기법, 그리고 트래픽을 암호화해 아예 센서가 내용을 보지 못하게 하는 방법이 대표적이다. 특히 오늘날 트래픽의 대부분이 TLS로 암호화되면서, IPS가 내용을 보려면 SSL/TLS 복호화(가시성 확보)가 필요하지만, 이는 성능 부담과 함께 복호화 지점에 평문 민감정보가 노출되는 새로운 위험을 낳는다. 복호화 범위·키 관리·개인정보 영향평가를 함께 설계해야 하는 이유다.

개방형 생태계 측면에서도 IDS/IPS는 성숙해 있다. 사실상 업계 표준이 된 Snort는 룰 문법과 커뮤니티 룰셋으로 신규 위협에 빠르게 대응할 수 있게 했고, 멀티스레드 아키텍처로 고속 회선을 처리하는 Suricata는 동일 룰 문법을 공유하면서 프로토콜 자동 식별·파일 추출·TLS 메타데이터 로깅을 더했으며, Zeek(구 Bro)는 시그니처가 아닌 네트워크 행위 로그 중심의 분석으로 위협 헌팅에 널리 쓰인다. 이처럼 상용·오픈소스가 혼재하는 환경에서, 룰셋을 코드처럼 버전관리·테스트·배포하는 룰 관리 체계(Policy as Code)가 운영 품질을 좌우한다.

실무 적용 사례로, 금융권은 인터넷 구간과 내부망 경계에 NIPS를 인라인으로 두어 외부 공격을 차단하고, 내부 중요 서버에는 HIPS를 얹어 권한 상승·파일 변조를 탐지하며, 모든 경보를 SIEM으로 모아 SOAR 플레이북으로 자동 대응(IP 차단·세션 격리)하는 다층 체계를 운영한다. 예상 출제 방향으로는 ▲오용 탐지와 이상 탐지의 트레이드오프와 상황별 선택을 논하라 ▲IDS와 IPS의 배치·운영상 차이를 서술하라 ▲암호화 트래픽 증가가 IPS에 주는 영향과 대응을 제시하라 ▲IPS·WAF·EDR·방화벽을 비교하고 심층 방어 설계를 제시하라 등이 유력하다.

5. 고려사항 및 시사점(기술사 관점)

IDS/IPS를 성공적으로 정착시키려면 '장비 도입'이 아니라 '운영 역량과 프로세스'의 관점에서 접근해야 한다. 기술사 답안에서는 다음 트레이드오프와 전략을 함께 논해야 한다.

  • 오탐·미탐의 균형(보안-가용성 트레이드오프): 차단을 강하게 걸수록 미탐은 줄지만 오탐으로 정상 통신이 끊겨 서비스 장애와 운영팀의 '경보 피로(alert fatigue)'를 부른다. 신규 룰은 반드시 IDS(탐지 전용) 모드에서 충분히 관측해 오탐을 튜닝한 뒤 IPS(차단) 모드로 단계적 전환하는 점진적 성숙 전략이 필요하며, IDS/IPS는 '설치로 끝'이 아니라 지속 튜닝이 전제된 운영형 통제임을 인식해야 한다.

  • 암호화 트래픽과 가시성 확보: 트래픽의 대부분이 암호화된 오늘날, 복호화 없이는 IPS가 페이로드를 검사할 수 없다. 전면 복호화는 성능·프라이버시 부담을 낳으므로, 중요도 높은 구간만 선별 복호화하고 키를 HSM으로 보호하며, 복호화하지 않는 구간은 JA3 핑거프린트·메타데이터 기반 암호 트래픽 분석(ETA)으로 보완하는 설계가 필요하다.

  • 성능·확장성과 SPOF 대응: 인라인 IPS는 회선 속도에 맞춰 무중단으로 처리해야 하므로, 처리 성능 초과 시 패킷 드롭·지연이 발생한다. 이중화·오토스케일링·하드웨어 바이패스와 fail-open/fail-close 정책을 서비스 특성에 맞게 명확히 정의해야 하며, 이는 가용성과 보안 중 무엇을 우선할지에 대한 경영적 판단이다.

  • SIEM·SOAR 연계와 대응 자동화: IDS/IPS의 경보는 그 자체로 완결되지 않으며, SIEM으로 수집·상관분석하고 SOAR 플레이북으로 차단·격리·티켓 발행을 자동화해야 탐지에서 대응까지의 시간(MTTR)을 줄일 수 있다. MITRE ATT&CK 프레임워크에 경보를 매핑하면 공격 단계별 탐지 공백을 체계적으로 식별·보강할 수 있다.

  • 연계 기술·전망: IDS/IPS는 방화벽·WAF·EDR·NDR과 역할을 분담하며 심층 방어를 이루고, 호스트·네트워크 탐지를 통합하는 XDR과 ML 기반 UEBA로 진화하고 있다. 다만 생성형 AI를 활용한 공격 자동 변형이 늘면서 방어 측도 적응형 탐지를 강화해야 하며, AI 기반 탐지의 블랙박스 문제에 대응하는 설명가능성(XAI) 확보가 향후 과제로 남는다. 또한 제로 트러스트 아키텍처에서는 경계 중심 IPS를 넘어 내부 동서(East-West) 트래픽까지 감시하는 마이크로세그멘테이션과의 결합이 중요해진다.

참고자료


한 줄 요약: IDS/IPS는 방화벽이 보지 못하는 허용 트래픽 내부의 공격을 센서→분석(오용·이상 탐지)→대응의 파이프라인으로 감시하는 심층 방어 계층으로, IDS는 패시브 탐지·경보, IPS는 인라인 차단을 담당하며 NGIPS·XDR·UEBA로 진화하되 오탐·미탐 균형, 암호화 가시성, SPOF, SIEM/SOAR 연계가 운영의 핵심 과제다.