← 목록으로
보안·개인정보
#암호화DNS#DoH#DoT#DoQ#ODoH
최종 업데이트 · 2026-11-20

암호화 DNS(Encrypted DNS): DoH·DoT·DoQ

1. 개요

암호화 DNS(Encrypted DNS)란 종래 평문 UDP/TCP 53번으로 오가던 DNS 질의·응답을 TLS 또는 QUIC로 암호화된 전송 채널 안에 실어 중간 경로에서의 도청(eavesdropping)과 변조를 차단하는 일련의 표준(DoT·DoH·DoQ·ODoH)을 가리킨다. DNSSEC가 응답 데이터의 출처 인증과 무결성을 겨냥한다면, 암호화 DNS는 질의 자체의 기밀성(privacy)과 전송 구간 보호를 겨냥한다는 점에서 목표 축이 다르다.

암호화 DNS가 등장한 배경에는 DNS가 인터넷에서 가장 마지막까지 평문으로 남아 있던 핵심 프로토콜이었다는 사실이 있다. 웹 트래픽은 HTTPS로, 메일은 STARTTLS로, 전송계층은 TLS 1.3으로 빠르게 암호화되어 갔지만, 정작 "어떤 사이트에 접속하려 하는가"를 그대로 드러내는 DNS 질의는 1983년 설계 당시의 평문 단문 구조를 오래 유지했다. 그 결과 사용자가 www.hospital.example을 조회하는 순간, 그 이름은 가입자망의 ISP, 공용 와이파이의 관리자, 경로상의 중간자 누구에게나 열람 가능한 메타데이터로 노출되었다. HTTPS로 본문을 가려도 "어디에 접속했는지"는 DNS와 TLS ClientHello의 SNI를 통해 새어 나갔고, 이 비대칭이 암호화 DNS의 직접적 동기가 되었다.

필요성은 세 방향에서 분명해진다. 첫째는 프라이버시 보호로, 이용자의 열람 이력이 ISP의 로그나 광고 프로파일링, 국가 단위 감시의 재료로 쓰이는 것을 구조적으로 차단한다. 둘째는 무결성·보안으로, 평문 DNS를 노린 캐시 포이즈닝과 중간자의 응답 위·변조, 그리고 특정 도메인만 골라 가짜 IP로 돌리는 DNS 기반 검열·하이재킹을 전송 암호화와 인증으로 막는다. 셋째는 신뢰 모델의 이동으로, "경로상 모두가 볼 수 있는 질의"를 "오직 선택한 리졸버와만 공유하는 질의"로 바꾼다. 다만 이 세 번째가 곧 뒤에서 다룰 "리졸버로의 신뢰 집중"이라는 새로운 논점을 낳는다.

실제로 공용 와이파이·호텔·공항처럼 신뢰할 수 없는 네트워크에서의 위험이 이 필요성을 체감하게 한다. 공격자는 동일 네트워크에서 평문 DNS 응답을 가로채 가짜 로그인 페이지로 유도하거나(파밍), 금융 도메인을 공격자 서버로 리다이렉트할 수 있다. 암호화 DNS는 이러한 로컬 네트워크 수준의 중간자 공격을 전송 암호화와 리졸버 인증으로 차단하므로, 모바일 이동성이 큰 현대 이용 환경일수록 그 효용이 커진다. 이 점에서 암호화 DNS는 '프라이버시 기술'이자 동시에 '피싱·파밍 방어 기술'이라는 이중 성격을 갖는다.

암호화 DNS를 규정짓는 본질적 특징은 전송계층 보호, DNSSEC와의 보완성, 그리고 신뢰 주체의 이동으로 요약된다. TLS/QUIC로 전송 구간을 가리므로 캐시된 데이터 자체를 검증하지는 못하고(그 역할은 DNSSEC가 맡는다), 따라서 둘은 경쟁이 아니라 상호 보완이다. 또한 "누가 질의를 보는가"를 ISP에서 특정 리졸버 사업자로 옮기므로, 기술적 이득과 거버넌스 쟁점을 동시에 품는다는 점이 이 기술의 양면성을 설명하는 열쇠다.

표준화 흐름도 이 양면성을 반영하며 진화해 왔다. 2016년 전용 포트 기반의 DoT(RFC 7858)가 먼저 나와 '관제 가능한 암호화'를 제시했고, 2018년 웹 트래픽에 녹아드는 DoH(RFC 8484)가 '검열 저항형 암호화'로 논쟁을 촉발했으며, 2022년에는 저지연을 노린 DoQ(RFC 9250)와 발신자·질의를 분리하는 ODoH(RFC 9230)가 같은 해에 나란히 표준화되었다. 한 기술이 다음 기술을 대체하는 방식이 아니라, 서로 다른 신뢰 모델과 성능 목표를 가진 방식들이 공존하며 선택지를 넓혀 온 것이 암호화 DNS 표준사의 특징이다.

2. 암호화 DNS의 전체 구조와 위협 모델

암호화 DNS를 이해하는 핵심은 "스텁 리졸버(단말)와 재귀 리졸버(공용 DNS) 사이의 마지막 구간을 암호 터널로 감싼다"는 구간 한정성에 있다. 권한 네임서버까지의 상위 구간(authoritative 방향)은 여전히 평문인 경우가 많으므로, 암호화 DNS가 가리는 것은 '이용자가 무엇을 물었는지'가 가장 민감하게 노출되는 접속 단말~리졸버 사이다. 아래 전체 구조도는 평문 DNS의 노출면과 암호화 DNS가 보호하는 구간을 대비해 보여 준다.

flowchart TB
  subgraph PLAIN["평문 DNS(Do53)의 노출"]
    U1["단말 스텁 리졸버"] -- "평문 UDP/TCP 53" --> R1["재귀 리졸버"]
    MITM["경로상 ISP·중간자: 질의 열람·변조 가능"]
    U1 -.노출.-> MITM
  end
  subgraph ENC["암호화 DNS가 보호하는 구간"]
    U2["단말 스텁 리졸버"] -- "TLS/QUIC 암호 터널" --> R2["재귀 리졸버(DoT/DoH/DoQ)"]
    R2 -- "평문 또는 암호(상위)" --> AUTH["권한 네임서버"]
  end

위협 모델 관점에서 암호화 DNS가 막는 것과 막지 못하는 것을 구분하는 일이 중요하다. 막는 것은 접속 단말~리졸버 구간의 수동적 도청(누가 무엇을 조회하는지 수집)과 능동적 변조(응답 위조·주입)다. 반면 막지 못하는 것은, 선택한 리졸버 사업자 자신의 질의 열람(리졸버는 평문으로 질의를 보게 된다), 그리고 목적지 IP와 TLS SNI를 통한 사후 추론이다. 예컨대 DoH로 DNS를 가려도, 이어지는 TLS 핸드셰이크의 ClientHello에 담긴 SNI가 평문이면 "어느 사이트인지"는 여전히 드러난다. 이 때문에 암호화 DNS는 ECH(Encrypted Client Hello)와 짝을 이룰 때 비로소 접속 프라이버시가 완성되며, 둘 중 하나만으로는 반쪽짜리라는 점을 답안에서 반드시 짚어야 한다.

한 가지 더 유의할 점은, 암호화 DNS가 보호하는 것이 '단말~리졸버' 구간에 한정된다는 사실이다. 재귀 리졸버가 권한 네임서버 체인을 따라 올라가며 보내는 상위 질의는 여전히 평문일 수 있고, 이 구간의 권한 서버들은 질의의 일부를 보게 된다. 이를 보완하는 것이 QNAME 최소화(QNAME Minimization, RFC 9156)로, 리졸버가 각 권한 서버에 전체 도메인(a.b.example.com) 대신 그 단계에 꼭 필요한 레이블만(예: 루트에는 com, TLD에는 example.com만) 노출하는 기법이다. 암호화 DNS가 '경로상 제3자'로부터 질의를 가린다면, QNAME 최소화는 '상위 권한 서버'에 대한 노출을 최소화하므로, 둘을 함께 적용해야 DNS 프라이버시가 종단 간에 걸쳐 완성된다. 기술사 답안에서는 암호화 DNS를 단일 기술이 아니라 DNSSEC·ECH·QNAME 최소화와 함께 엮인 프라이버시 스택으로 조망하는 시야가 변별력을 만든다.

sequenceDiagram
  participant S as 단말 스텁
  participant R as 재귀 리졸버
  participant A as 권한 네임서버
  S->>R: TLS/QUIC 세션 수립(인증서 검증)
  S->>R: 암호화된 질의(QNAME)
  R->>A: 반복 질의(iterative)
  A-->>R: 응답(RRset)
  R-->>S: 암호화된 응답
  Note over S,R: 경로상 중간자는 세션 내용을 볼 수 없음

위 흐름에서 확인되듯, 암호화 DNS의 보안 효과는 전적으로 스텁~리졸버 세션의 수립과 인증에 달려 있다. 세션이 한 번 수립되면 이후 다수 질의는 같은 터널을 재사용(연결 유지)해 핸드셰이크 비용을 분산하며, 이때 리졸버는 복호화된 평문 질의를 처리한다. 바로 이 지점이 암호화 DNS의 신뢰 경계가 '경로상 제3자'에서 '리졸버 운영자'로 좁혀지는 핵심 순간이다. 따라서 어떤 리졸버를 신뢰 종단으로 삼을지(공용 글로벌 사업자, 국내 신뢰 사업자, 자체 운영)가 기술 선택만큼이나 중요한 거버넌스 결정이 된다.

3. 주요 방식: DoT · DoH · DoQ · ODoH

암호화 DNS는 "무엇으로 감싸고, 어떤 포트를 쓰며, 어떻게 섞이는가"에 따라 방식이 갈린다. 각 방식은 관리 가시성 대 이용자 프라이버시라는 긴장 위에서 서로 다른 지점을 택했다. 아래에서는 네 방식을 표준·포트·전송·신뢰 모델의 차이를 중심으로 각각 살핀 뒤, 선택 기준을 종합한다.

네 방식에 공통으로 적용되는 보안 전제는 리졸버 인증이다. 암호 터널만 세우고 상대가 누구인지 검증하지 않으면 중간자가 자신을 리졸버로 위장할 수 있으므로, 각 방식은 리졸버의 TLS 인증서를 검증한다. 이때 신뢰 수준은 두 프로파일로 나뉜다. 엄격(Strict) 모드는 리졸버의 이름·인증서를 반드시 검증하고 실패하면 질의를 거부해 다운그레이드를 원천 차단하며, 기회적(Opportunistic) 모드는 암호화가 가능하면 쓰되 실패 시 평문으로 되돌아가 가용성을 우선한다. 보안 등급이 높은 환경일수록 엄격 모드를, 호환성이 중요한 환경일수록 기회적 모드를 택하는 트레이드오프가 존재한다.

가. DoT(DNS over TLS, RFC 7858)

DoT는 DNS 메시지를 TLS 세션 위에 그대로 실어 전용 853번 포트로 주고받는 방식이다(2016년 표준화). 구조가 단순하고 포트가 분리되어 있어, 기업·통신사 입장에서는 DNS 트래픽을 식별·관제하기 쉽다는 장점이 있다. 방화벽에서 853 포트를 열고 닫는 것만으로 정책을 적용할 수 있고, 보안 모니터링 도구가 DNS 흐름을 구분해 추적할 수 있기 때문이다. 안드로이드가 '비공개 DNS(Private DNS)' 기능으로 시스템 차원에서 DoT를 지원하면서 모바일 환경에 비교적 널리 퍼졌다. 또한 전용 포트 덕분에 리졸버 운영자 입장에서 DNS 전용 TLS 서버를 두어 운영·용량 산정이 명확하다는 이점도 있다. 반대로 단점은, 평문 Do53과 명확히 구분되는 만큼 통신 사실 자체가 숨겨지지 않아 프라이버시의 '관측 불가성'이 DoH보다 낮다는 데 있다.

그러나 바로 그 '식별 용이성'이 프라이버시 관점에서는 약점이 된다. 853 포트의 트래픽은 그 존재만으로 "이 이용자가 암호화 DNS를 쓰고 있다"는 사실을 드러내며, 검열 환경에서는 853 포트를 통째로 차단하는 손쉬운 표적이 된다. 실제로 일부 네트워크는 853을 막아 DoT를 무력화하고 평문 DNS로 되돌리는(fallback) 방식을 쓴다. 즉 DoT는 '관리 친화적이지만 차단·식별이 쉬운' 절충점에 서 있다.

나. DoH(DNS over HTTPS, RFC 8484)

DoH는 DNS 질의를 HTTPS 요청(/dns-query 경로)에 담아 일반 웹 트래픽과 동일한 443번 포트로 보내는 방식이다(2018년 표준화). 핵심 차이는, DoH 트래픽이 다른 모든 HTTPS 트래픽에 섞여 구분이 거의 불가능하다는 점이다. 프라이버시·검열 저항 측면에서는 가장 강력하다. 443만 열려 있으면 동작하고, DNS만 골라 막기가 사실상 불가능하기 때문이다. Firefox가 'DoH by default'를, Chrome이 'Secure DNS'를 탑재하면서 브라우저를 통해 대중화되었다.

바로 이 강점이 기업 보안 관점에서는 심각한 가시성 상실로 이어진다. 전통적으로 조직은 DNS 로그로 악성 도메인 접속·데이터 유출(DNS 터널링)·멀웨어 C2 통신을 탐지해 왔는데, 애플리케이션이 운영체제의 DNS 설정을 우회(bypass)해 외부 DoH 리졸버로 직접 질의하면 이 모든 통제가 무력화된다. 그래서 다수 기업은 알려진 공용 DoH 엔드포인트를 차단하거나, 브라우저의 엔터프라이즈 정책으로 DoH를 비활성화·내부 리졸버로 고정하는 식으로 대응한다. DoH는 '이용자에게는 최상의 프라이버시, 관리자에게는 최대의 통제 상실'이라는 양극단을 극명하게 보여 주는 사례다.

한편 DoH에는 전송 방식에서 비롯되는 미묘한 약점도 있다. DNS 질의를 HTTP 요청에 담으므로 메시지당 오버헤드가 Do53보다 크고, HTTP 헤더·메서드(GET/POST) 처리 비용이 더해진다. 또한 DoH 트래픽이 일반 HTTPS에 섞인다는 특성은, 역설적으로 트래픽 분석(패킷 크기·타이밍 패턴)을 통한 식별 시도의 대상이 될 수 있다. 즉 '포트로는 못 막아도 통계적 지문으로는 추정 가능'하다는 점에서 완전한 익명성을 보장하지는 않으며, 이 때문에 패딩(padding)으로 메시지 길이 분포를 평탄화하는 보완책이 함께 논의된다.

다. DoQ(DNS over QUIC, RFC 9250)

DoQ는 DNS를 QUIC(UDP 기반) 전송 위에 직접 매핑한 방식으로, 2022년 표준화되었고 UDP 853번을 쓴다(53번 사용 금지). QUIC는 TLS 1.3을 내장해 연결 수립 지연을 크게 줄이고(0-RTT/1-RTT), 패킷 손실 시 다른 스트림이 영향을 받지 않는(HoL 블로킹 회피) 특성을 지닌다. DoT가 TCP의 선두 지연과 TLS 핸드셰이크 왕복에 묶이는 반면, DoQ는 DoT에 준하는 프라이버시를 제공하면서도 평문 UDP DNS에 가까운 낮은 지연을 달성한다는 것이 표준이 내세우는 강점이다. 각 질의를 별도 스트림으로 처리하므로 다수 질의의 병렬성도 좋다. HTTP/3 위의 DoH가 QUIC 이점의 '일부'를 얻는 것과 달리, DoQ는 QUIC에 직접 매핑해 더 가볍다는 점이 설계 의도다. 다만 UDP 853이라는 전용 포트를 쓰므로 식별·차단 용이성 측면에서는 DoT와 비슷한 위치에 있다.

DoQ가 특히 주목받는 영역은 권한 서버 간(recursive-to-authoritative) 구간과 모바일이다. QUIC의 연결 이동성(connection migration)은 단말의 IP가 바뀌어도(와이파이↔셀룰러 전환) 세션을 유지하므로, 이동이 잦은 환경에서 재핸드셰이크 비용을 줄인다. 또한 UDP 기반이라 평문 DNS와 전송 특성이 유사해, 대규모 리졸버·권한 서버 간 고성능 암호 전송 대안으로 검토된다. 반면 UDP를 막는 보수적 네트워크에서는 동작하지 못해 TCP 기반 DoT/DoH로의 폴백 설계가 필요하다는 점이 운영상 고려사항이다.

라. ODoH(Oblivious DoH, RFC 9230)

앞선 세 방식은 공통적으로 "선택한 리졸버가 '내 IP + 내 질의'를 동시에 본다"는 한계가 있다. ODoH는 이 문제를 프록시와 타깃을 분리해 해소한다. 이용자는 질의 내용을 타깃 리졸버의 공개키로 암호화해 중계 프록시에 보내고, 프록시는 이용자 IP를 가린 채 암호문만 타깃에 전달한다. 결과적으로 프록시는 '누가 보냈는지'만 알고 질의 내용은 모르며, 타깃은 '무엇을 묻는지'만 알고 발신자는 모른다. 둘이 담합하지 않는 한 어느 쪽도 'IP+질의'를 결합할 수 없어, 리졸버로의 신뢰 집중 문제를 구조적으로 완화한다.

이 분리 원리는 단순하지만 신뢰 가정이 핵심이다. ODoH의 프라이버시는 "프록시와 타깃이 담합하지 않는다"는 비담합(non-collusion) 가정 위에 서 있으므로, 둘을 서로 다른 독립 사업자·관할에 두어야 의미가 있다. 둘을 같은 사업자가 운영하면 분리의 이점이 사라진다. 애플이 iCloud Private Relay에서 '인그레스 프록시(이용자 식별)'와 '이그레스 프록시(목적지 식별)'를 서로 다른 주체에 맡겨 둘을 분리한 것이 같은 설계 철학이다. 다만 중계 홉이 추가되어 지연·운영 복잡성이 늘고, 프록시·타깃을 모두 신뢰 가능한 독립 사업자로 확보해야 한다는 현실적 제약이 있어 아직 대중적 기본값까지는 이르지 못했다. ODoH의 데이터 흐름을 도식화하면 다음과 같다.

flowchart LR
  C["이용자: 질의를 타깃 공개키로 암호화"] -- "암호문 + 이용자 IP" --> P["중계 프록시: IP는 보되 내용은 모름"]
  P -- "암호문만(IP 가림)" --> T["타깃 리졸버: 내용은 보되 발신자는 모름"]
  T -- "암호화된 응답" --> P
  P -- "암호화된 응답" --> C
구분 DoT DoH DoQ ODoH
표준 RFC 7858 RFC 8484 RFC 9250 RFC 9230
전송 TLS/TCP HTTPS/TCP·H3 QUIC/UDP HTTPS(이중 홉)
포트 853 443 853(UDP) 443
식별·차단 쉬움 매우 어려움 쉬움 어려움
관리 가시성 높음 낮음 높음 낮음
특장점 관제 용이 검열 저항 저지연·병렬 IP·질의 분리

위 표의 '식별·차단'과 '관리 가시성' 항목이 사실상 하나의 스펙트럼 위에서 반대 방향으로 움직인다는 점에 주목해야 한다. 관리 가시성이 높다는 것은 곧 트래픽이 식별·차단되기 쉽다는 뜻이고, 검열 저항이 강하다는 것은 곧 조직의 통제도 어렵다는 뜻이다. 이 상충 관계(trade-off)를 인정한 위에서, 네트워크의 성격(공개망 대 기업망)과 보호 대상에 맞춰 방식을 조합·고정하는 것이 현실적 설계 원칙이다.

4. 도입·발견 메커니즘과 비교

암호화 DNS의 실제 확산에는 "단말이 어떤 암호화 리졸버를 쓸지 어떻게 알아내는가"라는 발견(discovery) 문제가 따른다. 초기에는 브라우저·OS가 공용 리졸버를 하드코딩(예: 특정 퍼블릭 DNS)해 쓰는 방식이 많았는데, 이는 네트워크 운영자의 의도(스플릿 호라이즌 DNS, 사내 도메인 해석)를 무시하고 질의를 외부로 빼돌린다는 반발을 샀다. 이를 완화하기 위해 DDR(Discovery of Designated Resolvers, RFC 9462)와 DNR(Discovery of Network-designated Resolvers, RFC 9463) 같은 표준이 제정되어, 네트워크가 자신이 지정한 암호화 리졸버의 존재를 단말에 알려 평문에서 암호 터널로 자연스럽게 승격(upgrade)하도록 돕는다. 이로써 "이용자 프라이버시"와 "네트워크 운영자의 정당한 DNS 통제"를 절충하려는 흐름이 생겼다.

세 방식의 차이가 생기는 근본 이유는 "암호화 DNS 트래픽을 다른 트래픽과 얼마나 섞느냐"라는 설계 선택에 있다. 전용 포트(853)를 쓰는 DoT/DoQ는 트래픽이 눈에 띄므로 기업 관제에는 유리하나 검열·차단에 취약하고, 웹 트래픽에 녹아드는 DoH는 그 반대다. 실무적 함의는 분명하다. 자율성·검열 저항이 중요한 개인 이용자에게는 DoH(+ECH)가, 로그 기반 보안 탐지가 필수인 기업 내부망에는 '내부 리졸버로 고정된 DoT/DoH'가 적합하다. 즉 어느 방식이 '우월'한 것이 아니라, 보호하려는 자산과 신뢰 경계가 무엇이냐에 따라 최적점이 달라진다는 것이 비교의 핵심이다.

또 하나 중요한 비교 축은 신뢰 집중의 정도다. DoT·DoH·DoQ는 모두 '선택한 단일 리졸버가 질의+IP를 본다'는 점에서 신뢰가 한 주체에 모이는 반면, ODoH는 이를 프록시·타깃으로 분산한다. 따라서 민감 분야(의료·금융·공공)에서 '리졸버 사업자가 이용자 열람 이력을 축적할 위험'을 구조적으로 낮추려면 단순 전송 암호화를 넘어 분리형(oblivious) 아키텍처를 함께 저울질해야 한다. 이는 '전송 구간만 가리면 충분한가, 리졸버 자체도 믿지 못할 대상으로 볼 것인가'라는 위협 모델 수준의 결정으로, 암호화 DNS 방식 선택이 단순 성능 비교가 아니라 신뢰 가정의 선택임을 보여 준다.

구체 사례로, 한 글로벌 브라우저는 미국에서 DoH를 기본 활성화하면서 '카나리 도메인(canary domain)' 조회로 네트워크의 콘텐츠 필터링 여부를 먼저 탐지해, 가정용 필터링이나 기업 관리 환경이 감지되면 DoH를 켜지 않도록 설계했다. 이는 기술 도입이 순수 기술 문제가 아니라 가정 보호·기업 통제·이용자 프라이버시 사이의 거버넌스 타협임을 보여 주는 대표적 예다. 또한 국내에서도 특정 사이트 차단을 SNI 필드 감청으로 수행하던 방식이 ESNI/ECH 확산으로 무력화되는 논쟁이 있었는데, 이는 암호화 DNS·ECH가 검열 인프라와 정면으로 충돌하는 기술임을 드러낸다.

성능 측면의 비교도 실무 선택에 영향을 준다. 평문 Do53은 보통 1-RTT 안에 응답을 받지만 보호가 없고, DoT는 최초 연결에서 TCP 3-way 핸드셰이크 + TLS 핸드셰이크로 수 왕복(round-trip)의 지연이 더해진다. DoH는 HTTP 계층 오버헤드가 있으나 연결 재사용(keep-alive)과 HTTP/2 멀티플렉싱으로 이를 상당 부분 흡수한다. DoQ는 QUIC의 1-RTT(재접속 시 0-RTT) 수립과 스트림 독립성 덕분에, 패킷 손실률이 높은 모바일·무선 환경에서 특히 유리하다. 예컨대 손실이 잦은 셀룰러 망에서 DoT는 한 패킷 손실이 TCP 전체 스트림을 지연시키는 반면, DoQ는 영향을 받은 스트림만 재전송해 체감 지연을 줄인다. 다만 최초 핸드셰이크 비용은 캐싱과 연결 유지로 분산되므로, 실제 이용자 체감 차이는 '최초 1회'보다 '연결 재사용 전략'에 더 크게 좌우된다는 점을 함께 고려해야 한다.

5. 심화: 기업 보안 가시성과 표준·동향

이 절에서는 암호화 DNS가 보안 운영과 표준 생태계에 미치는 심화 쟁점을 다룬다. 암호화 DNS가 보안 실무에 던진 가장 큰 숙제는 "DNS 가시성의 상실"이다. 전통적 보안운영센터(SOC)는 DNS 질의 로그를 멀웨어 C2 탐지, DNS 터널링을 통한 데이터 유출 탐지, 신규 생성 악성 도메인(NRD) 차단의 핵심 신호로 삼아 왔다. 그런데 엔드포인트의 애플리케이션이 OS 설정을 우회해 외부 DoH로 직접 질의하면 이 신호가 통째로 사라진다. 이에 대한 실무 대응은 세 갈래로 수렴한다. 첫째, 엔드포인트 정책으로 브라우저·OS의 DoH를 비활성화하거나 조직이 운영하는 내부 암호화 리졸버로 강제 고정한다. 둘째, 네트워크 정책으로 알려진 공용 DoH/DoT 엔드포인트를 차단하고, DDR/DNR로 조직 리졸버를 '지정'해 승격을 유도한다. 셋째, 보호 DNS(Protective DNS) 서비스를 내부에 두어 암호화 터널의 종단을 조직이 쥐고, 그 지점에서 위협 인텔리전스 기반 필터링과 로깅을 수행한다. 국가 사이버보안 기관들도 조직용 '보호 DNS' 운영을 권고하는 추세다.

DNS 터널링 탐지의 관점에서도 암호화 DNS는 양날의 칼이다. 공격자는 DNS 질의의 서브도메인 레이블에 데이터를 인코딩해 방화벽을 우회하는 DNS 터널링으로 데이터를 유출하거나 C2 통신을 숨기는데, 평문 DNS 시대에는 질의 길이·엔트로피·빈도 등을 로그에서 분석해 이를 탐지했다. 암호화 DNS는 이 분석 대상 자체를 가려 버리므로, 조직은 탐지 지점을 네트워크 로그에서 종단 리졸버·엔드포인트 에이전트로 이동시켜야 한다. 즉 암호화 터널의 '종단'을 조직이 소유하고 그 지점에서 복호화된 질의를 분석하거나, EDR이 프로세스 수준에서 비정상 DNS 호출을 포착하는 방식으로 탐지 아키텍처를 재설계해야 한다. 이는 '암호화가 프라이버시를 높이는 만큼 방어자의 가시성을 낮춘다'는 구조적 긴장을 보여 주는 대표 사례다.

표준·기술 동향 측면에서는 세 흐름이 두드러진다. 첫째, ECH(Encrypted Client Hello)의 성숙이다. 암호화 DNS가 질의를 가려도 뒤이은 TLS SNI가 평문이면 목적지가 드러나므로, SNI까지 암호화하는 ECH가 확산되어야 접속 프라이버시가 완결된다. 둘째, DoQ와 HTTP/3 기반 DoH의 부상으로, QUIC의 저지연·연결 이동성(connection migration) 이점이 모바일 환경의 DNS 성능을 끌어올린다. 셋째, 발신자·질의 분리(ODoH 계열)와 relay 기반 프라이버시의 제도화로, 리졸버 사업자에 대한 신뢰를 암호학적으로 최소화하려는 시도가 이어진다. 장기적으로는 QUIC·TLS 1.3이 PQC(양자내성암호) 키 교환으로 전환됨에 따라 암호화 DNS의 세션 수립도 PQC 하이브리드로 이행할 전망이다.

국내 관점에서도 시사점이 크다. 그간 SNI 기반 차단으로 운영되던 유해정보 차단 체계는 ECH·암호화 DNS의 확산으로 기술적 실효성이 점차 약해지고 있어, 차단 정책과 이용자 프라이버시·망 중립성 사이의 사회적 합의가 과제로 떠오른다. 동시에 공공·금융기관은 외부 글로벌 리졸버 의존이 데이터 주권·감사 추적성 측면에서 바람직하지 않을 수 있으므로, 국가·기관이 신뢰할 수 있는 암호화 리졸버를 자체 또는 국내 사업자 기반으로 확보하는 전략이 요구된다. 즉 암호화 DNS는 기술 도입 문제인 동시에 디지털 주권·규제 설계의 문제이기도 하다.

6. 고려사항 및 시사점

  • 상호 보완 설계(DNSSEC + 암호화 DNS + ECH + QNAME 최소화): 암호화 DNS는 전송 기밀성을, DNSSEC는 데이터 무결성·출처 인증을, ECH는 SNI 은닉을, QNAME 최소화는 상위 권한 서버 노출 최소화를 담당한다. 어느 하나만으로는 프라이버시도 무결성도 불완전하므로, 기술사는 이들을 단일 통제가 아닌 계층적 조합으로 설계·권고해야 한다. 암호화만 믿고 무결성을 방치하면 악성 리졸버의 응답 위조에 그대로 노출되고, DNSSEC만으로는 질의 내용이 평문으로 샌다. 각 기술이 서로 다른 위협을 담당한다는 '역할 분담'을 명확히 하는 것이 설계의 출발점이다.

  • 신뢰 경계의 재정의와 거버넌스 트레이드오프: 암호화 DNS는 질의 열람 주체를 ISP에서 특정 리졸버 사업자로 이동시킬 뿐 '제거'하지 않는다. 소수 글로벌 리졸버로의 집중은 단일 장애점·검열점·데이터 독점 우려를 낳으므로, 공공·금융 등 민감 분야는 자체 운영 또는 국내 신뢰 리졸버와 ODoH식 분리 아키텍처를 검토해야 한다. 프라이버시 강화가 곧 중앙집중 심화로 귀결되지 않도록 경계하는 관점이 필요하다.

  • 보안 가시성과 프라이버시의 균형: 기업 환경에서는 '이용자 보호'와 '위협 탐지를 위한 가시성'이 충돌한다. DoH를 전면 차단하기보다 조직 리졸버로의 승격(DDR/DNR) + 보호 DNS + 종단 로깅으로 "암호화는 유지하되 통제점은 조직이 쥐는" 설계가 현실적 해법이다. 단, 이는 '내부 리졸버에 대한 신뢰'를 전제하므로 그 리졸버의 보안·감사 체계 강화가 선행되어야 한다.

  • 성능·가용성·폴백 리스크: TLS/QUIC 세션 수립 비용, 리졸버 장애 시의 영향 확대, 그리고 암호 터널 실패 시 평문으로 되돌아가는(fallback) 과정에서의 다운그레이드 공격 위험을 함께 관리해야 한다. 캐싱·연결 재사용·0-RTT 활용으로 지연을 흡수하되, '실패하면 평문으로'가 아니라 '실패하면 거부(strict mode)'하는 정책을 보안 등급에 맞춰 선택한다.

  • 규제·검열과의 긴장: 암호화 DNS·ECH는 SNI 감청 기반 차단을 무력화하므로 국가 콘텐츠 정책과 충돌할 수 있다. 기술사는 합법적 차단(아동 보호 등)과 이용자 프라이버시 사이의 균형, 그리고 국내법·개인정보보호 요구사항을 함께 고려한 도입 전략을 제시해야 한다.

  • 표준 기반 발견·승격 체계 정착: 하드코딩된 외부 리졸버 강제 사용은 스플릿 호라이즌 DNS와 사내 도메인 해석을 깨뜨리므로, DDR(RFC 9462)·DNR(RFC 9463) 같은 네트워크 지정 리졸버 발견 표준을 활용해 '네트워크가 지정한 신뢰 리졸버로의 자동 승격'을 유도하는 것이 바람직하다. 이는 프라이버시와 운영자 통제를 양립시키는 현실적 절충이며, 단말·브라우저·네트워크 삼자의 정책을 일관되게 설계해야 효과가 난다.

  • 마이그레이션·호환성 전략: 레거시 Do53과 암호화 DNS가 공존하는 과도기에는, 리졸버 미지원·방화벽 차단 시의 폴백 동작을 보안 정책과 일치시키고, 모니터링 공백을 메우는 보완 통제(EDR·종단 로깅)를 병행 도입해야 한다. 전면 전환보다 핵심 자산·민감 도메인부터 단계적으로 적용하고 효과를 측정하며 확대하는 접근이 리스크를 줄인다.

  • PQC·장기 전망: 암호화 DNS의 세션은 TLS 1.3/QUIC의 키 교환에 의존하므로, 양자컴퓨팅 위협에 대비한 PQC 하이브리드 키 교환으로의 전환 로드맵을 함께 수립해야 한다. 아울러 소수 글로벌 리졸버 집중을 완화하기 위한 국내 신뢰 리졸버 육성, ODoH식 분리 아키텍처의 단계적 도입, 그리고 '암호화는 기본, 통제점은 조직'이라는 원칙의 정책화가 중장기 과제가 된다.

참고자료


한 줄 요약: 암호화 DNS(DoT·DoH·DoQ·ODoH)는 평문으로 남아 있던 DNS 질의를 TLS/QUIC로 감싸 전송 구간의 기밀성을 확보하는 기술로, DNSSEC(무결성)·ECH(SNI 은닉)와 계층적으로 결합될 때 접속 프라이버시가 완성되며, 그 대가로 '리졸버 신뢰 집중'과 '기업 보안 가시성 상실'이라는 거버넌스 과제를 남긴다.