사용자·엔티티 행위 분석(UEBA, User and Entity Behavior Analytics)

1. 개요

정의: UEBA(User and Entity Behavior Analytics)는 사용자(User)와 단말·서버·서비스계정 등 엔티티(Entity)의 정상 행위를 기계학습으로 학습해 행동 기준선(Baseline)을 수립하고, 이 기준선에서 통계적으로 벗어나는 이상 징후(Anomaly)를 위험 점수로 환산하여 내부자 위협과 탈취된 계정을 탐지하는 보안 분석 기술을 말한다.

UEBA가 등장한 배경은 "규칙(Rule) 기반 탐지의 한계"와 "경계(Perimeter)의 붕괴"라는 두 흐름에서 출발한다. 전통적인 SIEM·IDS는 "실패한 로그인 5회 이상", "업무시간 외 접속" 같은 사전에 정의된 규칙(Signature)에 맞는 사건만 탐지했다. 그러나 공격자가 정상 계정의 자격증명을 탈취해 정당한 권한으로 로그인하면, 그 행위 자체는 어떤 규칙도 위반하지 않는다. 마찬가지로 권한을 가진 내부 직원이 평소와 다른 양의 데이터를 반출해도 규칙으로는 걸러지지 않는다. 즉 "누가 접속했는가(인증)"가 아니라 "그 사람이 평소와 다르게 행동하는가"를 봐야 한다는 인식이 UEBA의 출발점이다.

또 하나의 배경은 보안 경계의 소멸이다. 클라우드·원격근무·BYOD가 보편화되면서 "내부망 안이면 신뢰"라는 전제가 무너졌고, 신원(Identity)이 새로운 경계가 되었다. 데이터 유출의 상당수가 외부 침입이 아니라 내부자 또는 탈취된 내부 계정에서 비롯된다는 업계 보고가 누적되면서, 방화벽 바깥을 막는 것만으로는 부족하고 내부에서 벌어지는 비정상 행위를 지속 관찰해야 한다는 요구가 커졌다. UEBA는 이 요구에 대한 데이터 분석적 응답이다.

이러한 전환은 탐지의 책임을 "사람이 규칙을 얼마나 잘 쓰는가"에서 "데이터가 정상을 얼마나 잘 대표하는가"로 옮긴다. 규칙 기반 탐지가 알려진 공격의 사전(Dictionary)을 넓히는 군비 경쟁이었다면, UEBA는 정상의 모델을 정교화해 그 밖의 모든 것을 의심하는 접근이다. 이 발상의 전환 덕분에 UEBA는 시그니처가 없는 신종 공격이나 정당한 권한을 악용하는 위협처럼, 규칙으로는 원리적으로 포착 불가능했던 영역을 겨냥할 수 있게 되었다. 다만 "정상"을 데이터로 정의하는 순간, 그 데이터의 편향·불완전성이 곧 탐지의 사각지대가 된다는 새로운 책임도 함께 생긴다.

UEBA의 본질적 특징은 네 가지로 요약된다. 첫째, 기준선 학습(Baselining) — 규칙을 사람이 미리 쓰는 대신, 개인·그룹·엔티티별 정상 패턴을 데이터로 학습한다. 둘째, 엔티티 확장(Entity-centric) — 분석 대상을 사람뿐 아니라 서버·IoT·서비스계정으로 넓혀 비인격 주체의 이상도 포착한다. 셋째, 위험 점수화(Risk Scoring) — 개별 이상을 참/거짓 이분법이 아니라 누적 위험 점수로 환산해 우선순위를 매긴다. 넷째, 맥락 상관(Contextualization) — 여러 약한 신호를 시간·주체 단위로 묶어 하나의 위협 서사로 재구성한다. 이 네 특징은 UEBA가 단순한 탐지 규칙의 추가가 아니라 탐지 패러다임의 전환임을 보여준다.

2. UEBA 전체 구조와 구성요소

UEBA는 다양한 로그 소스에서 데이터를 수집해 정규화하고, 기준선을 학습한 뒤 이상 점수를 산출하여 SOC·SOAR로 흘려보내는 계층형 분석 파이프라인으로 구성된다. 아래 개념도는 데이터 수집에서 대응 연계까지의 전체 구조를 나타낸다.

flowchart TB
  subgraph SRC["데이터 소스 계층"]
    IDP["인증 로그(IAM/AD)"]
    EP["엔드포인트(EDR)"]
    NW["네트워크 흐름(NetFlow)"]
    APP["애플리케이션/DB 감사"]
    CL["클라우드 활동 로그"]
  end
  subgraph CORE["UEBA 분석 코어"]
    ING["수집·정규화·엔티티 해석"]
    BASE["기준선 모델(ML 학습)"]
    DET["이상 탐지 엔진"]
    RISK["위험 점수 집계(Risk Engine)"]
  end
  subgraph OUT["대응·운영 계층"]
    ALERT["우선순위 경보"]
    SOAR["SOAR 자동 대응"]
    SOC["SOC 분석가 조사"]
  end
  IDP --> ING
  EP --> ING
  NW --> ING
  APP --> ING
  CL --> ING
  ING --> BASE
  BASE --> DET
  DET --> RISK
  RISK --> ALERT
  ALERT --> SOAR
  ALERT --> SOC
  SOC -->|피드백| BASE

데이터 소스 계층은 UEBA의 원재료를 공급한다. 인증 로그(로그인 시각·위치·성공/실패), 엔드포인트 프로세스 실행 기록, 네트워크 흐름, 애플리케이션·DB 접근 감사, 클라우드 API 호출 로그가 대표적이다. UEBA의 탐지 품질은 입력 데이터의 폭과 정합성에 비례하므로, 소스가 넓고 시간·주체가 정확히 식별될수록 기준선이 정교해진다. 특히 여러 로그에 흩어진 식별자(계정명·IP·호스트명)를 하나의 엔티티로 귀속(Entity Resolution)시키는 작업이 핵심 전처리다.

엔티티 해석 품질은 UEBA 전체의 토대다. 한 사람이 여러 계정·단말·IP로 나타나고, 하나의 IP를 여러 사람이 공유하기도 하므로, 흩어진 식별자를 올바른 주체로 귀속시키지 못하면 기준선 자체가 오염된다. 따라서 성숙한 UEBA는 IAM·자산관리(CMDB)·HR 시스템과 연계해 계정-사람-역할-단말의 관계를 지속 동기화하며, 조직 변경이 발생할 때마다 엔티티 매핑을 갱신한다.

분석 코어는 UEBA의 두뇌다. 수집·정규화 단계에서 이질적 로그를 공통 스키마로 변환하고 엔티티를 해석한 뒤, 기준선 모델이 각 주체의 정상 범위를 학습한다. 이상 탐지 엔진은 신규 이벤트를 기준선과 대조해 편차를 계산하고, 위험 점수 엔진은 개별 편차들을 시간·주체 단위로 누적해 종합 위험도를 산출한다. 중요한 점은 단일 이상 하나로 경보를 내지 않고, 여러 약한 신호가 동일 주체에 누적될 때 점수가 임계치를 넘는 구조라는 것이다. 이는 오탐(False Positive)을 억제하면서도 은밀한 공격을 포착하기 위한 설계다.

대응·운영 계층은 분석 결과를 행동으로 옮긴다. 위험 점수가 높은 주체를 우선순위 경보로 제시하고, SOAR 플레이북과 연계해 계정 비활성화·세션 종료·추가 인증 요구 같은 자동 대응을 수행하거나, SOC 분석가에게 조사 과업으로 전달한다. 분석가의 판정 결과(정탐/오탐)는 다시 기준선 모델로 피드백되어 탐지 정확도를 점진적으로 개선한다.

구성요소를 관통하는 설계 원칙은 "넓게 모으고, 좁게 경보한다"로 요약된다. 수집은 가능한 한 많은 소스에서 폭넓게 하되, 경보는 여러 신호를 누적해 확신이 섰을 때만 좁게 발령한다. 이 비대칭 구조는 가시성(Visibility)을 극대화하면서도 분석가의 인지 부하를 통제하기 위한 것으로, UEBA 파이프라인이 단순한 탐지기의 나열이 아니라 신호 대 잡음비(Signal-to-Noise Ratio)를 최적화하는 분석 체계임을 드러낸다. 따라서 어느 한 계층만 고도화해서는 효과가 제한적이며, 수집 폭·학습 정교함·점수 집계 논리·대응 자동화가 균형 있게 성숙해야 비로소 가치가 발현된다.

3. 탐지 메커니즘과 유형

UEBA의 핵심은 "정상을 학습하고 비정상을 측정하는" 통계·기계학습 파이프라인이다. 아래 프로세스 상세도는 하나의 이벤트가 기준선과 대조되어 위험 점수로 환산되고 대응으로 이어지는 흐름을 보여준다.

sequenceDiagram
  participant E as 이벤트(로그)
  participant N as 정규화/엔티티해석
  participant B as 기준선 모델
  participant S as 위험 점수 엔진
  participant R as 대응(SOAR/SOC)
  E->>N: 원시 로그 수집
  N->>B: 엔티티별 특징 벡터 생성
  B->>B: 기준선과 편차 계산(통계/ML)
  B->>S: 개별 이상 신호 전달
  S->>S: 시간·주체 단위 점수 누적
  alt 임계치 초과
    S->>R: 고위험 경보 발령
    R->>B: 분석가 판정 피드백
  else 임계치 이하
    S->>S: 점수 감쇠(시간 경과)
  end

탐지 기법은 크게 세 유형으로 구분되며, 각각 탐지 범위와 오탐률의 트레이드오프가 다르다. 첫째, 통계적 이상 탐지는 평균·표준편차·분위수 같은 통계량으로 "평소 대비 몇 배" 편차를 측정한다. 예컨대 평소 하루 50MB를 내려받던 사용자가 갑자기 5GB를 내려받으면 100배 편차로 즉시 포착된다. 구현이 단순하고 설명 가능성이 높지만, 정상 분포가 계절성을 띠면 오탐이 늘 수 있다.

둘째, 비지도 기계학습(Unsupervised ML)은 라벨 없는 데이터에서 군집(Clustering)·고립 수준(Isolation Forest)·오토인코더 재구성오차 등으로 드문 패턴을 찾아낸다. 사전 라벨이 없어도 미지의 공격을 포착할 수 있어 내부자 위협 같은 "알려지지 않은 정상 이탈"에 강하지만, 왜 이상인지 설명하기 어려워 분석가 신뢰 확보가 과제다. 셋째, 동료 그룹 분석(Peer Group Analysis)은 직무·부서가 유사한 집단의 평균 행위와 대조해 "같은 팀 누구도 접근하지 않는 시스템에 혼자 접근"하는 식의 상대적 이상을 포착한다. 개인의 과거만 보는 자기 기준선과 달리 집단 대비 이탈을 잡는다는 점에서 보완적이다.

세 기법은 배타적이지 않고 앙상블(Ensemble)로 결합될 때 가장 강력하다. 실무에서는 통계적 기법으로 명백한 극단값을 빠르게 걸러내고, 비지도 ML로 미묘한 패턴 이탈을 보완하며, 동료 그룹 분석으로 개인 기준선의 사각지대를 메우는 식으로 다층 방어를 구성한다. 각 기법이 산출한 편차는 공통 척도로 정규화되어 위험 점수 엔진에 모이는데, 이때 시간 가중치가 중요하다. 최근 이탈일수록 큰 가중치를 주고 오래된 신호는 감쇠시킴으로써, 과거의 일회성 이상이 영구히 주체를 고위험으로 낙인찍는 부작용을 방지한다. 또한 위험 점수는 절대값보다 추세가 중요하므로, 짧은 시간 창에서 점수가 급상승하는 주체를 우선 조사 대상으로 삼는 운영 원칙이 널리 쓰인다.

탐지 대상 시나리오 측면에서 UEBA는 네 가지 축을 커버한다 — 탈취 계정(비정상 로그인 지리·시간), 내부자 위협(권한 남용·대량 반출), 권한 상승(Lateral Movement), 데이터 유출(비정상 데이터 접근). 아래 표는 각 유형의 보조 비교다.

탐지 기법	핵심 원리	강점	한계
통계적 이상	평균·표준편차 편차	설명 용이, 경량	계절성·추세에 취약
비지도 ML	군집·고립·재구성오차	미지 공격 포착	설명가능성 낮음
동료 그룹 분석	집단 평균 대비 이탈	상대적 이상 포착	그룹 정의 품질 의존

네 가지 탐지 시나리오를 조금 더 풀어보면 각각의 특징이 선명해진다.

가. 탈취 계정(Compromised Account): 정상 자격증명으로 로그인하지만 접속 지리·시간·단말·속도가 평소와 다른 경우다. 예컨대 서울에서 로그인한 지 10분 뒤 지구 반대편에서 같은 계정이 접속하는 불가능한 이동(Impossible Travel)은 대표적 신호다. 인증은 성공했으므로 규칙 기반으로는 탐지가 어렵고, 기준선 대비 맥락 이탈로만 포착된다.
나. 내부자 위협(Insider Threat): 권한을 정당하게 보유한 직원이 평소 범위를 넘어 데이터를 열람·반출하는 경우다. 악의적 내부자뿐 아니라, 실수나 정책 무지로 인한 비의도적 유출도 포함한다. 개인 기준선과 동료 그룹 분석을 결합해야 효과적으로 포착된다.
다. 권한 상승·횡적 이동(Lateral Movement): 침투에 성공한 공격자가 내부에서 더 높은 권한과 더 중요한 자산으로 이동하는 단계다. 평소 접근하지 않던 호스트·서비스로의 연쇄 접근 패턴이 핵심 신호이며, 그래프 기반 분석이 특히 강점을 보인다.
라. 데이터 유출(Data Exfiltration): 민감 데이터를 외부로 반출하는 최종 단계다. 비정상적 대용량 전송, 외부 저장소로의 업로드, 비업무 시간대의 대량 다운로드가 기준선 대비 이탈로 측정된다.

4. SIEM·UEBA 비교와 적용 사례

UEBA는 종종 SIEM과 혼동되지만 지향이 다르다. SIEM은 광범위한 로그를 수집·보관하고 규칙과 상관분석으로 알려진 위협을 탐지하는 데 강하며 규정준수(Compliance) 증적에 최적화되어 있다. 반면 UEBA는 학습된 기준선 대비 이탈에 초점을 두어 규칙으로 표현하기 어려운 미지·내부 위협을 겨냥한다. 둘은 경쟁 관계라기보다 보완 관계이며, 실제로 다수 상용 SIEM은 UEBA 모듈을 흡수해 "차세대 SIEM"으로 통합되는 추세다. 차이가 생기는 근본 이유는 탐지 지식의 출처에 있다 — SIEM은 사람이 작성한 규칙(명시적 지식)에 의존하고, UEBA는 데이터에서 귀납된 기준선(암묵적 지식)에 의존한다. 따라서 SIEM은 "무엇을 찾을지 아는" 위협에, UEBA는 "무엇을 찾을지 모르는" 위협에 각각 강하다.

이 차이는 운영 모델에도 반영된다. SIEM 중심 SOC는 "규칙을 정비하고 새로운 위협에 맞춰 규칙을 추가하는" 선제적 지식관리가 핵심 역량인 반면, UEBA 중심 SOC는 "모델이 산출한 이상을 해석·검증하고 그 판정을 모델에 환류하는" 데이터 사이언스적 역량이 핵심이 된다. 따라서 조직이 UEBA를 도입할 때는 도구만 들여오는 것이 아니라, 이상 신호를 조사·판정할 수 있는 분석가 역량과 피드백 프로세스를 함께 갖추어야 한다. 이 역량이 없으면 UEBA의 경보는 또 하나의 해석 불가능한 잡음으로 전락한다.

구체 사례로, 한 금융기관이 영업시간 외 새벽 시간대에 특정 서비스계정이 평소 접근하지 않던 고객 DB에 수백 건의 쿼리를 던진 사건을 들 수 있다. 개별 쿼리는 모두 권한 범위 내여서 SIEM 규칙에는 걸리지 않았지만, UEBA는 "해당 서비스계정의 시간대·대상·빈도"가 기준선에서 동시에 이탈한 점을 누적해 고위험 경보를 냈고, 조사 결과 자동화 스크립트에 심어진 자격증명이 탈취된 사례로 드러났다. 또 다른 사례로, 퇴사를 앞둔 직원이 평소 10여 개이던 문서 다운로드를 하루에 400여 개로 늘린 경우, 동료 그룹 평균 대비 40배 이상의 이탈로 포착되어 데이터 반출 시도를 사전에 차단한 사례가 보고된다. 이처럼 UEBA의 가치는 "규칙 없이도 평소와 다름"을 수치로 증명한다는 데 있다.

세 번째 사례로, 제조업 OT(운영기술) 환경에서 특정 엔지니어링 워크스테이션이 평소와 달리 야간에 다수의 PLC(제어장치)로 설정 변경 명령을 송신한 경우를 들 수 있다. 사람이 아닌 엔티티(워크스테이션)의 행위 기준선 이탈로 포착되어, 감염된 단말이 제어망으로 횡적 이동을 시도하던 초기 단계에서 차단된 것으로 보고된다. 이 사례는 UEBA의 분석 대상이 사람을 넘어 비인격 엔티티로 확장될 때 OT·IoT처럼 사용자 계정 개념이 희박한 환경에서도 유효함을 보여준다.

5. 심화 — 최신 동향과 ITDR·제로 트러스트 연계

최근 UEBA는 독립 제품에서 벗어나 XDR·SIEM·ITDR(Identity Threat Detection and Response)에 내장되는 분석 엔진으로 진화하고 있다. 특히 신원이 공격의 핵심 표적이 되면서, 아이덴티티 계층의 행위를 집중 분석하는 ITDR의 심장부로 UEBA가 자리 잡았다. 기존 EDR·NDR이 단말·네트워크를 보았다면, ITDR은 "계정·토큰·세션"의 비정상 사용을 UEBA 기법으로 탐지해 탈취·권한상승을 조기 차단한다.

UEBA는 제로 트러스트(Zero Trust) 아키텍처의 핵심 입력으로도 재조명된다. 제로 트러스트의 "지속 검증(Continuously Verify)" 원칙은 1회 인증으로 끝내지 않고 세션 내내 신뢰를 재평가할 것을 요구하는데, UEBA의 실시간 위험 점수가 바로 그 재평가 신호가 된다. 예컨대 로그인 후 행위가 기준선을 이탈하면 위험 점수가 상승하고, 이를 받은 정책 엔진이 적응형 접근 제어(Adaptive Access)로 추가 인증을 요구하거나 세션을 격리한다. 즉 UEBA는 "누구에게 얼마만큼의 신뢰를 지금 부여할지"를 동적으로 조정하는 근거를 제공한다.

기술적 진화 축에서는 그래프 기반 분석과 실시간 스트리밍 처리가 두드러진다. 전통적 UEBA가 개별 주체의 시계열을 보았다면, 그래프 UEBA는 사용자-단말-자원 간 접근 관계를 그래프로 모델링해 "평소 연결되지 않던 노드들이 짧은 시간에 연쇄로 이어지는" 횡적 이동(Lateral Movement) 경로를 구조적으로 탐지한다. 또한 배치(Batch) 학습에서 스트리밍 추론으로 무게중심이 옮겨가면서, 로그가 발생한 지 수초 내에 위험 점수가 갱신되어 실시간 적응형 대응이 가능해지고 있다. 이는 평균 탐지·대응 시간(MTTD/MTTR) 단축이라는 SOC의 근본 목표와 직결된다.

생성형 AI의 부상도 UEBA에 양면으로 작용한다. 방어 측면에서는 LLM이 복잡한 이상 서사를 자연어로 요약·설명해 분석가의 조사 시간을 단축하고 비지도 ML의 설명가능성 약점을 보완한다. 공격 측면에서는 AI가 정상 행위를 더 정교하게 모방해 기준선을 회피하려 시도하므로, UEBA도 적대적 강건성(Adversarial Robustness)과 기준선 재학습 주기를 함께 설계해야 한다. 아울러 서비스계정·봇·AI 에이전트 등 비인격 엔티티(NHI, Non-Human Identity)가 급증하면서, 사람 중심이던 UEBA가 머신 엔티티 행위 분석으로 무게중심을 옮기는 것도 뚜렷한 흐름이다.

6. 고려사항 및 시사점

기술사 관점에서 UEBA 도입은 단순 솔루션 구매가 아니라 데이터·조직·프라이버시·운영을 아우르는 전략적 과제로 접근해야 한다.

데이터 품질과 기준선 안정화 전략: UEBA의 성패는 입력 데이터의 폭·정합성과 엔티티 해석 품질에 좌우된다. 도입 초기 2~8주의 학습(Warm-up) 기간 동안은 오탐이 많으므로, 점진적 소스 확장과 기준선 성숙도를 전제로 한 단계적 전개 로드맵이 필요하다. 조직 개편·업무 변화가 잦으면 기준선이 흔들리므로 재학습 주기와 드리프트(Drift) 모니터링을 병행한다.
오탐·경보 피로와 운영 트레이드오프: 민감도를 높이면 미탐은 줄지만 오탐이 폭증해 SOC가 마비되고, 낮추면 반대가 된다. 위험 점수 임계치·점수 감쇠(Decay)·동료 그룹 정의를 조직 맥락에 맞게 튜닝하고, 분석가 피드백 루프로 지속 보정하는 운영 체계가 성패를 가른다. UEBA는 "설치형"이 아니라 "운영형" 솔루션임을 인식해야 한다.
프라이버시·노동감시 리스크와 거버넌스: 직원 행위를 상시 분석하는 특성상 개인정보보호법·근로자 감시 규제와 충돌할 수 있다. 수집 최소화·가명처리·목적 제한·접근통제 원칙을 적용하고, 노사 합의와 투명한 고지를 통해 감시가 아닌 보안 목적임을 제도적으로 보장해야 한다. 거버넌스 없는 UEBA는 법적·윤리적 역풍을 부른다.
설명가능성과 분석가 신뢰 확보: 비지도 ML 기반 UEBA는 "왜 이상인가"를 설명하기 어려워, 분석가가 경보를 신뢰하지 못하면 아무리 정확해도 현장에서 외면받는다. 따라서 위험 점수에 기여한 신호를 역추적해 제시하는 근거 제시(Explainability) 기능과, 생성형 AI 기반 자연어 요약을 함께 갖추어 분석가의 조사 신뢰도를 높이는 것이 도입 성공의 숨은 조건이다. 기술은 정확도뿐 아니라 수용성(Adoption)으로 평가되어야 한다.
아키텍처 연계와 전망: UEBA는 단독으로는 가치가 제한적이며 SIEM·SOAR·EDR·ITDR·IAM과 통합될 때 비로소 폐루프 대응이 완성된다. 향후에는 제로 트러스트의 실시간 신뢰 평가 엔진이자 비인격 엔티티 관리의 중심으로 역할이 확대될 전망이다. 따라서 보안 아키텍처 설계 시 UEBA를 독립 제품이 아닌 공통 분석 계층으로 포지셔닝하고, 표준 로그 스키마(OCSF 등)와 API 연계를 전제로 선정하는 것이 바람직하다.

참고자료

Gartner, "Market Guide for User and Entity Behavior Analytics", https://www.gartner.com/en/documents
NIST SP 800-207, "Zero Trust Architecture", https://csrc.nist.gov/publications/detail/sp/800-207/final
MITRE ATT&CK, "Insider Threat & Valid Accounts (T1078)", https://attack.mitre.org/techniques/T1078/
OCSF(Open Cybersecurity Schema Framework), https://schema.ocsf.io/

한 줄 요약: UEBA는 사용자·엔티티의 정상 행위를 기계학습으로 학습한 기준선과의 이탈을 위험 점수로 환산해, 규칙으로 못 잡는 탈취 계정·내부자 위협을 탐지하는 행위 기반 보안 분석 기술로서 제로 트러스트·ITDR의 핵심 분석 엔진으로 진화하고 있다.