영상 코덱과 비디오 압축(H.264·HEVC·AV1·VVC)

1. 개요

가. 정의

영상 코덱(Video Codec)이란 디지털 비디오를 부호화(Encoding)로 압축하여 저장·전송 비용을 줄이고, 재생 시 복호화(Decoding)로 복원하는 알고리즘·규격의 총칭으로, 인간 시각의 한계와 영상 신호의 중복성을 수학적으로 제거하여 지각 품질을 유지하면서 데이터량을 수십~수백 배 줄이는 손실 압축(lossy compression) 기술이다.

코덱(Codec)이라는 말 자체가 부호화기(Coder)와 복호화기(Decoder)의 합성어다. 비디오는 1초에 24~60장의 프레임이, 각 프레임이 수백만 화소로, 화소마다 색을 가진 거대한 3차원(가로×세로×시간) 신호다. 예컨대 4K(3840×2160) 영상을 압축 없이 초당 60프레임, 화소당 24비트로 표현하면 약 11.9 Gbps(3840×2160×60×24)에 달해 어떤 인터넷 회선으로도 실시간 전송이 불가능하다. 영상 코덱은 이 원시 신호에서 "사람이 거의 인지하지 못하는" 정보를 걸러내고 남은 핵심만 효율적으로 부호화하여, 동일 체감 품질을 수십 Mbps 이하로 끌어내린다. 즉 코덱은 "무엇을 버려도 사람은 모르는가"라는 지각 모형과 "남은 것을 어떻게 가장 짧게 표현하는가"라는 정보이론이 결합된 공학적 산물이다.

나. 등장 배경 및 필요성

영상 트래픽의 폭증이 코덱 고도화의 근본 동인이다. 전 세계 인터넷 트래픽의 과반이 비디오이며, OTT 스트리밍·영상회의·CCTV·숏폼·클라우드 게이밍이 모두 영상 전송에 의존한다. 여기에 해상도는 FHD에서 4K·8K로, 프레임률은 30fps에서 120fps로, 명암 표현은 SDR에서 HDR로 계속 확장되어 왔다. 원시 데이터량은 해상도의 제곱과 프레임률에 비례해 늘어나는데, 네트워크 대역폭과 저장 매체의 성장 속도는 이를 따라가지 못한다. 이 간극을 메우는 유일한 수단이 압축 효율의 지속적 향상이며, 그래서 대략 10년 주기로 "직전 세대 대비 절반의 비트레이트로 같은 품질"을 목표로 한 새 표준이 등장해 왔다.

경제적 동기도 명확하다. Netflix·YouTube 같은 초대형 사업자에게 비트레이트 1%의 절감은 곧 막대한 CDN·대역폭 비용 절감과 버퍼링 감소로 직결된다. 반대로 이용자 입장에서는 같은 요금제·회선에서 더 높은 화질을, 모바일에서는 데이터 소모를 줄이며 볼 수 있다. 방송·위성처럼 할당 대역이 고정된 영역에서는 더 효율적인 코덱이 곧 더 많은 채널 또는 더 높은 화질을 의미한다. 이처럼 코덱 효율은 단순한 기술 지표가 아니라 서비스의 원가 구조와 사용자 경험을 동시에 좌우하는 핵심 변수다.

압축의 가능성은 근본적으로 영상 신호의 엔트로피(불확실성)가 낮다는 사실에서 나온다. 자연 영상은 인접 화소·연속 프레임이 강하게 상관되어 있어, 실제 담긴 정보량은 원시 비트 수보다 훨씬 작다. 정보이론의 섀넌 한계(Shannon limit)는 "무손실로는 엔트로피 이하로 줄일 수 없다"는 하한을 규정하지만, 비디오는 사람이 못 느끼는 부분을 버리는 손실 압축을 허용하므로 그 한계를 훨씬 밑도는 비트레이트가 가능하다. 코덱 설계란 결국 "주어진 비트 예산에서 지각 왜곡을 최소화하는" 공학적 최적화이며, 이것이 뒤에서 설명할 율-왜곡 최적화의 이론적 배경이다.

다. 핵심 특징

영상 코덱의 성격은 네 가지로 요약된다. 첫째 비대칭 연산 — 부호화는 최적 예측 모드와 움직임 벡터를 탐색하므로 복호화보다 훨씬 무겁다(실시간 송출 시 하드웨어 가속 필수). 둘째 율-왜곡 절충(Rate-Distortion trade-off) — 비트를 적게 쓸수록 왜곡이 커지므로 모든 설계는 이 곡선 위의 최적점을 찾는 문제로 귀결된다. 셋째 표준과 구현의 분리 — 표준은 "복호화기가 어떻게 해석할지(비트스트림 문법)"만 규정하고, 부호화 품질은 구현(인코더)에 맡겨 경쟁을 유도한다. 넷째 라이선스 종속성 — 특허 로열티 구조가 채택률을 좌우하며, 이것이 로열티-프리 코덱(AV1) 등장의 직접 배경이 되었다.

이 네 특징은 서로 얽혀 코덱의 실제 성패를 결정한다. 아무리 율-왜곡 효율이 뛰어나도 비대칭 연산 부담 탓에 하드웨어 디코더가 없으면 모바일에서 외면받고, 라이선스가 불투명하면 생태계가 움직이지 않는다. 따라서 코덱을 평가할 때는 압축률이라는 단일 축이 아니라 효율·복잡도·라이선스·생태계의 4차원에서 종합적으로 바라보는 시각이 기술사 관점에서 특히 중요하다.

2. 비디오 압축의 기본 원리와 하이브리드 코덱 구조

가. 네 가지 중복성(Redundancy) 제거 원리

영상 압축은 "버려도 되는 정보"를 네 가지 중복성으로 나누어 제거한다. 공간적 중복(spatial redundancy) 은 한 프레임 내 인접 화소들이 대체로 비슷하다는 성질이며, 화면내 예측과 변환 부호화로 제거한다. 시간적 중복(temporal redundancy) 은 연속된 프레임이 거의 같고 일부만 움직인다는 성질로, 움직임 보상 예측으로 제거한다 — 이것이 비디오 압축이 정지영상(JPEG)보다 훨씬 높은 압축비를 얻는 핵심이다. 통계적 중복(statistical redundancy) 은 특정 심볼이 자주 등장한다는 성질이며 엔트로피 부호화로 제거한다. 심리시각적 중복(psycho-visual redundancy) 은 인간 눈이 밝기에는 민감하나 색차·고주파 디테일에는 둔감하다는 지각 특성으로, 크로마 서브샘플링(4:2:0)과 양자화로 활용한다.

이 네 원리는 독립적이지 않고 파이프라인으로 결합된다. 예측으로 시간·공간 중복을 제거해 잔차(residual, 예측과 실제의 차이)만 남기고, 잔차를 변환·양자화해 심리시각 중복을 제거하며, 마지막에 엔트로피 부호화로 통계 중복을 제거한다. 세대를 거듭한 코덱 발전의 본질은 이 각 단계를 "더 정교하지만 더 비싸게" 만들어 압축 효율을 끌어올린 것이다.

flowchart LR
  IN["입력 프레임"] --> PRED["예측<br/>(화면내/화면간)"]
  PRED --> RES["잔차 신호<br/>(원본 - 예측)"]
  RES --> T["변환(DCT/DST)"]
  T --> Q["양자화"]
  Q --> ENT["엔트로피 부호화<br/>(CABAC 등)"]
  ENT --> BS["압축 비트스트림"]
  Q --> IQ["역양자화·역변환"]
  IQ --> REC["복원 프레임"]
  REC --> ILF["인루프 필터<br/>(디블로킹/SAO/ALF)"]
  ILF --> DPB["복원 프레임 버퍼<br/>(참조 프레임)"]
  DPB --> PRED

나. 하이브리드 블록 기반 부호화 구조

1990년대 이후 거의 모든 상용 코덱(H.26x, MPEG, AV1)은 하이브리드 블록 기반 부호화(hybrid block-based coding) 라는 동일한 뼈대를 공유한다. "하이브리드"란 예측(predictive coding)과 변환(transform coding)을 결합했다는 뜻이고, "블록 기반"이란 프레임을 사각형 블록으로 나누어 블록 단위로 처리한다는 뜻이다. 프레임은 먼저 큰 부호화 단위로 분할된 뒤 영상 특성에 따라 재귀적으로 더 작게 쪼개진다. H.264는 16×16 매크로블록(MB)을, HEVC는 최대 64×64 CTU(Coding Tree Unit)를 쿼드트리로, VVC는 최대 128×128 블록을 쿼드트리+멀티타입트리(QTMT) 로 더 유연하게 분할한다. 복잡한 영역은 잘게, 평탄한 영역은 크게 나누어 비트를 효율적으로 배분하는 것이 분할 구조 진화의 핵심이다.

인코더는 각 블록마다 수많은 선택지(예측 모드, 분할 깊이, 변환 크기, 참조 프레임)를 놓고 율-왜곡 최적화(RDO, Rate-Distortion Optimization) 로 최적 조합을 고른다. RDO는 비용함수 J = D + λ·R(D는 왜곡, R은 비트량, λ는 라그랑주 승수)를 최소화하는 선택을 찾는 과정으로, 코덱 세대가 올라갈수록 선택지 수가 폭증해 인코더 연산량이 기하급수적으로 늘어난다. 바로 이 "더 많은 도구와 더 깊은 탐색"이 압축 효율 향상의 대가로 인코딩 복잡도를 수 배~수십 배 높이는 근본 이유다.

flowchart TB
  F["한 프레임"] --> SPLIT["블록 분할<br/>(CTU/CU 쿼드트리)"]
  SPLIT --> DEC{"블록 유형 결정<br/>(RDO)"}
  DEC -->|화면내| INTRA["Intra 예측<br/>(방향성 모드)"]
  DEC -->|화면간| INTER["Inter 예측<br/>(움직임 추정·보상)"]
  INTRA --> R["잔차 생성"]
  INTER --> R
  R --> TQ["변환·양자화"]
  TQ --> E["엔트로피 부호화"]
  INTER -.참조.-> REFBUF["참조 프레임 버퍼"]

다. 색공간과 크로마 서브샘플링

심리시각 중복은 색 표현에서 가장 먼저 활용된다. 코덱은 입력을 RGB가 아니라 휘도(Y)와 색차(Cb, Cr) 로 분리된 YCbCr 색공간으로 다룬다. 인간의 눈은 밝기(Y)에는 매우 민감하지만 색(CbCr)의 공간 해상도에는 둔감하므로, 색차 성분의 해상도를 절반으로 줄이는 크로마 서브샘플링을 적용해도 체감 저하가 거의 없다. 가장 널리 쓰이는 4:2:0은 색차를 가로·세로 모두 절반으로 줄여 색 정보량을 1/4로 압축하며, 이것만으로도 부호화 전에 데이터량을 상당히 줄인다.

방송·일반 스트리밍은 대부분 4:2:0를 쓰지만, 자막·그래픽의 색 경계가 중요한 편집·마스터링 워크플로우나 화면 공유에서는 색 번짐을 막기 위해 4:2:2 나 4:4:4(서브샘플링 없음)를 쓴다. 즉 서브샘플링 선택은 "사람 눈의 둔감함을 어디까지 활용할 것인가"와 "용도상 색 정밀도가 얼마나 중요한가" 사이의 절충이며, 같은 코덱이라도 프로파일에 따라 지원 범위가 다르다. 이 단계는 예측·변환 이전에 이미 큰 압축 이득을 주는, 코덱 파이프라인의 암묵적 첫 관문이다.

라. 프레임 유형과 GOP 구조

시간적 중복 제거는 프레임을 세 유형으로 나누어 수행한다. I-프레임(Intra) 은 다른 프레임을 참조하지 않고 자체 압축되어 임의 접근·오류 복원의 기준점이 되지만 용량이 크다. P-프레임(Predictive) 은 앞선 프레임을 단방향 참조해 차이만 부호화하고, B-프레임(Bi-directional) 은 과거와 미래 프레임을 양방향 참조해 가장 높은 압축비를 얻는다. 이들의 반복 단위가 GOP(Group of Pictures) 이며, 예컨대 I B B P B B P … 구조로 배열된다. GOP 길이를 늘리면 압축 효율은 좋아지지만 임의 접근 지점이 줄고 오류 전파 위험이 커지므로, 스트리밍에서는 세그먼트 경계마다 I-프레임을 두는 식으로 절충한다. 실제 Netflix·YouTube의 적응형 스트리밍(ABR)은 2~6초 세그먼트의 시작을 I-프레임으로 정렬해 화질 전환 시 끊김이 없도록 설계한다.

3. 핵심 부호화 기술

가. 예측(Prediction): 화면내·화면간

화면내 예측(Intra prediction) 은 같은 프레임 내 이미 복원된 주변 화소로 현재 블록을 추정한다. H.264가 9개 방향 모드를 제공한 반면 HEVC는 35개, VVC는 67개 각도 모드에 더해 행렬 기반 인트라 예측(MIP) 같은 학습형 도구까지 도입했다. 방향 모드가 늘수록 경계·질감의 방향을 더 정확히 좇아 잔차를 줄이지만, 모드 탐색 비용도 함께 증가한다.

화면간 예측(Inter prediction) 은 비디오 압축의 심장이다. 현재 블록과 가장 비슷한 영역을 참조 프레임에서 찾아(움직임 추정, Motion Estimation) 그 위치 차이를 움직임 벡터(MV) 로 표현하고, 참조 블록을 가져와 예측값으로 삼은 뒤(움직임 보상, Motion Compensation) 잔차만 부호화한다. 세대가 올라가며 MV 정밀도는 1/4화소에서 VVC의 1/16화소로, 참조 프레임 수와 블록 크기는 더 유연해졌고, HEVC의 Merge 모드, VVC의 아핀 움직임 보상(affine motion, 확대·회전까지 표현) 과 양방향 광류(BDOF) 등 고급 도구가 추가됐다. 예를 들어 카메라가 줌·회전하는 장면에서 종전의 평행이동 MV는 예측이 어긋났지만, 아핀 모델은 블록의 변형까지 근사해 잔차를 크게 줄인다 — 이것이 VVC가 특정 콘텐츠에서 HEVC 대비 두드러진 이득을 내는 한 요인이다.

움직임 추정은 인코더 연산량의 대부분을 차지하는 가장 무거운 단계다. 이론적으로는 참조 프레임의 모든 후보 위치를 검사하는 전역 탐색(full search)이 최적이지만 비현실적으로 비싸므로, 실제 인코더는 다이아몬드·육각 탐색 같은 고속 탐색 휴리스틱으로 후보를 줄인다. 또한 정수 화소 단위로 대략 찾은 뒤 보간을 거쳐 부화소(sub-pel) 단위로 정밀화하는 2단계 구조를 쓴다. 부화소 정밀도를 높이면 작은 움직임도 정확히 보상해 잔차가 줄지만, 보간 필터 연산과 MV 시그널링 비용이 늘어난다. 인접 블록의 MV를 예측값으로 삼아 차이만 부호화하는 MV 예측(MVP) 역시 MV 자체의 통계적 중복을 제거하는 중요한 최적화다. 결국 화면간 예측의 품질은 "얼마나 넓고 정밀하게 탐색하느냐"에 비례하며, 이 탐색 깊이가 인코딩 속도와 품질을 가르는 핵심 손잡이가 된다.

나. 변환(Transform)과 양자화(Quantization)

예측 후 남은 잔차는 이산코사인변환(DCT)(일부 블록은 DST)으로 주파수 영역으로 옮긴다. 자연 영상의 에너지는 저주파에 집중되므로, 변환 후에는 소수의 큰 계수와 다수의 작은 계수로 나뉜다. 이어 양자화가 각 계수를 양자화 스텝(QP)으로 나눠 반올림하는데, 이 단계에서 정보가 실제로 버려진다(손실 압축의 원천). 고주파 계수를 거칠게 양자화하면 사람이 잘 못 느끼면서 비트를 크게 아낄 수 있다 — 이것이 심리시각 중복 제거가 구체적으로 작동하는 지점이다. QP를 높이면 비트레이트는 내려가지만 블록 노이즈·흐림이 늘어나므로, 인코더는 장면별로 QP를 적응 조절(adaptive QP)해 체감 품질을 지킨다. VVC는 큰 블록을 위한 64점 변환, 다중 변환 선택(MTS), 저주파 비분리 변환(LFNST) 등으로 변환 효율을 한층 끌어올렸다.

다. 엔트로피 부호화(Entropy Coding)

양자화된 계수·MV·모드 정보는 마지막으로 통계적 중복을 제거하는 엔트로피 부호화로 압축된다. H.264는 CAVLC(가변길이)와 CABAC(문맥 적응 이진 산술부호화)를 선택적으로 제공했고, HEVC·VVC는 효율이 높은 CABAC로 일원화했다. CABAC는 각 심볼의 출현 확률을 문맥에 따라 실시간 갱신하며 산술부호화로 심볼당 1비트 미만까지 압축하는데, 이 높은 효율의 대가로 비트 간 의존성이 커져 병렬화가 어렵다. AV1은 유사한 다중심볼 산술부호화를 사용한다. 엔트로피 부호화는 전체 이득의 상당 부분을 담당하지만 본질적으로 순차적이라, 고해상도 실시간 처리에서 디코더 병목이 되기도 한다.

라. 인루프 필터(In-loop Filter)

블록 단위 처리는 필연적으로 블록 경계의 불연속(블로킹 아티팩트)과 링잉을 낳는다. 이를 완화하기 위해 복원 프레임에 디블로킹 필터를 적용하고, HEVC는 추가로 SAO(Sample Adaptive Offset), VVC는 ALF(Adaptive Loop Filter) 까지 얹는다. 핵심은 이 필터링이 부호화 루프 안에서 이뤄져 필터링된 프레임이 다음 프레임의 참조로 쓰인다는 점이다. 따라서 인코더와 디코더가 똑같은 복원 결과를 공유해 드리프트가 생기지 않는다.

필터가 정교해질수록 참조 품질이 높아져 이후 예측이 좋아지는 선순환이 생기지만, 디코더 연산 부담도 함께 늘어난다. 특히 ALF는 위너 필터(Wiener filter) 계수를 프레임별로 적응 산출해 복원 신호를 원본에 가깝게 되돌리는데, 이 계수 자체를 비트스트림에 실어 보내야 하므로 "필터 이득 대 시그널링 비용"의 절충이 또 한 번 발생한다. 이처럼 코덱의 모든 신규 도구는 예외 없이 얻는 압축 이득과 추가 연산·시그널링 비용 사이의 저울질로 채택 여부가 결정된다.

마. 비트레이트 제어(Rate Control): CBR·VBR·CRF

같은 코덱·같은 도구를 쓰더라도 비트를 시간축에 어떻게 배분하는가(rate control)가 최종 품질과 전송 적합성을 좌우한다. CBR(고정 비트레이트) 은 초당 비트량을 일정하게 유지해 대역폭이 고정된 방송·실시간 송출에 적합하지만, 복잡한 장면에서 품질이 급락하는 단점이 있다. VBR(가변 비트레이트) 은 복잡한 장면에 비트를 더 쓰고 단순한 장면에서 아껴 평균 품질을 높이며, 저장·VOD에 유리하다. CRF(Constant Rate Factor) 는 비트레이트가 아니라 "목표 품질"을 고정하고 비트는 그에 맞춰 변동시키는 방식으로, x264·x265·AV1 인코더에서 널리 쓰인다.

실무에서는 이들이 2-pass 인코딩(1차에서 복잡도 분석, 2차에서 비트 배분)이나 VBV(Video Buffering Verifier) 제약과 결합된다. 예를 들어 OTT는 세그먼트별 peak 비트레이트 상한을 두어 디코더 버퍼 언더런을 막으면서도, 장면 복잡도에 따라 비트를 유연하게 배분하는 capped VBR 를 흔히 채택한다. 결국 rate control은 "네트워크·버퍼라는 현실 제약 안에서 율-왜곡 곡선의 최적점을 어떻게 시간축에 분배하느냐"의 문제이며, 코덱 효율 못지않게 체감 품질에 직접적인 영향을 준다.

바. 품질 측정(Quality Metrics): PSNR·SSIM·VMAF

"압축을 잘했다"를 판단하려면 왜곡을 객관적으로 재야 한다. 전통적으로 PSNR(최대신호대잡음비) 은 원본과 복원의 화소 차이를 계산해 간단하지만, 인간 지각과의 상관이 낮아 "숫자는 좋은데 눈에는 나쁜" 경우가 잦다. SSIM(구조적 유사성) 은 밝기·대비·구조를 함께 비교해 지각에 더 가깝고, Netflix가 공개한 VMAF(Video Multimethod Assessment Fusion) 는 여러 품질 특징을 기계학습으로 융합해 사람 평가(MOS)와 높은 상관을 보인다.

이 지표들은 율-왜곡 최적화의 왜곡 항(D)과 인코딩 사다리 설계의 품질 목표로 직접 쓰인다. 예컨대 per-title 인코딩은 "VMAF 93점을 최소 비트레이트로 달성"하는 식으로 콘텐츠별 비트레이트를 정한다. 다만 어떤 단일 지표도 완벽하지 않아, 실무에서는 복수 지표와 주관 평가(골든아이) 를 병행하고, 세대 간 효율 비교에도 지표 의존성을 명시해야 신뢰할 수 있다. 품질 측정의 정교화 자체가 "코덱을 바꾸지 않고 품질을 올리는" 또 하나의 지렛대인 셈이다.

4. 코덱 세대별 비교와 선택

코덱의 역사는 "약 10년마다 효율 2배"의 흐름으로 요약된다. H.264/AVC(2003)는 인터넷 비디오를 대중화했고, H.265/HEVC(2013)는 4K 시대를 열며 H.264 대비 약 50% 비트레이트 절감을 달성했다. 2018년 Alliance for Open Media(AOMedia)가 내놓은 AV1은 로열티-프리를 표방하며 VP9·HEVC보다 높은 효율을 제공했고, 2020년 JVET(ITU-T·MPEG 공동)이 표준화한 H.266/VVC는 HEVC 대비 다시 약 50% 절감을 목표로 설계됐다. 다만 세대 간 효율 비교 수치는 해상도·콘텐츠·인코더 성숙도에 따라 편차가 크므로 단일 백분율로 단정하기 어렵고, 일반적으로 고해상도일수록 신세대 코덱의 이득이 커지는 경향이 있다.

로열티-프리 진영의 계보도 중요하다. Google이 인수한 On2 기술을 기반으로 공개한 VP8·VP9는 웹·YouTube에서 HEVC 특허 부담을 피하려는 대안으로 자리 잡았고, 이 흐름이 Google·Amazon·Microsoft·Netflix·Intel 등이 결성한 AOMedia의 AV1로 수렴했다. 즉 AV1은 단일 기업의 산물이 아니라, HEVC의 라이선스 불확실성에 대한 산업계의 집단적 대응으로 태어난 것이다. 이 배경을 이해해야 "왜 효율이 최고가 아닌 코덱이 더 빨리 퍼지는가"라는 역설이 설명된다.

여기서 중요한 분기점은 기술 효율과 보급 사이의 괴리다. VVC는 효율이 가장 높지만 HEVC의 복잡했던 특허 풀 경험 탓에 라이선스 불확실성이 보급의 최대 걸림돌로 지목되며, 하드웨어 디코딩 지원도 더디게 확산 중이다(예: Intel Lunar Lake가 PC용으로 네이티브 VVC 디코딩을 지원하기 시작). 반대로 AV1은 효율은 VVC에 다소 못 미치거나 콘텐츠에 따라 비슷한 수준이지만, 로열티-프리라는 결정적 이점과 YouTube·Netflix 등 플랫폼의 대규모 채택, 주요 브라우저·모바일 SoC의 하드웨어 디코딩 확산으로 실질 보급에서 앞서 나가고 있다. 즉 "가장 좋은 코덱"이 아니라 "라이선스·생태계·하드웨어가 갖춰진 코덱"이 승리한다는 교훈을, HEVC의 더딘 확산과 AV1의 부상이 동시에 보여준다.

코덱	표준화(연도)	주관	효율(직전 대비)	라이선스	비고
H.264/AVC	2003	ITU-T/MPEG	기준	로열티	최광범위 호환
H.265/HEVC	2013	ITU-T/MPEG	~50%↓	복잡한 특허풀	4K 방송·UHD
VP9	2013	Google	HEVC 유사	로열티-프리	YouTube
AV1	2018	AOMedia	VP9/HEVC 상회	로열티-프리	OTT·웹 확산
H.266/VVC	2020	JVET	HEVC 대비 ~50%↓	불확실성 상존	고효율, 보급 초기

코덱 선택은 단순 효율이 아니라 대상 기기의 하드웨어 디코딩 유무, 라이선스 비용, 지연(실시간성) 요구, 생태계 성숙도를 종합한 의사결정이다. 소프트웨어 디코딩은 신세대 코덱일수록 전력·발열이 커 모바일에서 불리하므로, 실무에서는 "하드웨어 가속이 되는 가장 효율적인 코덱"을 고르고, 미지원 기기를 위해 H.264 폴백을 함께 제공하는 다중 코덱 인코딩 전략이 일반적이다.

효율 차이를 구체적으로 체감하기 위한 예시를 들면, 앞서 계산한 4K60 원시 영상 약 11.9Gbps는 H.264로 대략 2030Mbps 수준까지 압축되어 약 400600배의 압축비를 얻는다. 동일 체감 품질을 HEVC는 대략 그 절반인 10~15Mbps로, VVC·AV1 계열은 상황에 따라 더 낮은 비트레이트로 전달할 수 있다(실제 수치는 콘텐츠·인코더 설정에 크게 좌우되므로 범위로 이해해야 한다). 이 절감폭이 수억 명 규모의 스트리밍에서 CDN 비용과 버퍼링률로 환산되기 때문에, 대형 사업자가 막대한 인코딩 연산을 감수하면서까지 신세대 코덱과 콘텐츠 적응 인코딩에 투자하는 것이다. 반대로 소규모 서비스는 인코딩 비용·호환성을 고려해 H.264 중심에 머무르는 경우가 많아, 동일 기술이라도 사업 규모에 따라 최적 선택이 달라진다.

5. 심화: 최신 동향과 인코딩 고도화

하드웨어 인코딩의 진화도 빼놓을 수 없다. 초대형 플랫폼은 소프트웨어 인코딩의 전력·연산 한계를 넘기 위해 전용 인코딩 ASIC(예: YouTube의 Argos VCU, 전용 트랜스코딩 가속기)과 GPU 인코더를 대규모로 투입해, 수억 시간 분량의 업로드를 경제적으로 신세대 코덱으로 변환한다. 가속기는 처리량·전력 효율이 뛰어나지만 소프트웨어 대비 압축 효율이 다소 낮은 절충이 있어, 콘텐츠 인기도에 따라 "자주 보는 영상만 느리고 정교한 소프트웨어 인코딩으로 재처리"하는 계층적 전략을 쓴다. 이는 코덱 선택이 인코딩 인프라 설계와 분리될 수 없음을 보여주는 대표적 사례다.

코덱 자체의 세대 교체와 별개로, 인코딩 방식의 지능화가 실질 품질을 크게 끌어올리고 있다. Netflix가 주도한 콘텐츠 적응 인코딩(per-title / CAE) 은 모든 콘텐츠에 고정 비트레이트 사다리를 쓰는 대신, 애니메이션처럼 압축이 쉬운 콘텐츠에는 낮은 비트레이트를, 복잡한 액션에는 높은 비트레이트를 할당해 동일 체감 품질에서 대역폭을 크게 절감한다. 나아가 장면(shot) 단위로 최적화하는 shot-based encoding과 VMAF 같은 지각 품질 지표 기반 최적화가 결합되며, "코덱을 바꾸지 않고도" 상당한 효율 개선을 얻는다.

여기서 흔히 혼동되는 개념이 코덱과 컨테이너(container)의 구분이다. 코덱은 "영상 비트스트림을 어떻게 압축하는가"의 규격이고, MP4·MKV·WebM 같은 컨테이너는 "압축된 영상·음성·자막 트랙과 동기 정보를 어떻게 하나의 파일로 담는가"의 규격이다. 같은 AV1 비트스트림이 MP4에도 WebM에도 담길 수 있으므로, 재생 호환성 문제는 코덱 미지원과 컨테이너 미지원을 구분해 진단해야 한다. 또한 HDR(High Dynamic Range)은 코덱과 별개로 색 메타데이터(전달함수 PQ/HLG, 색역 BT.2020) 를 비트스트림에 실어 전달하는데, HDR10·Dolby Vision·HDR10+ 는 이 메타데이터 체계의 차이이지 코덱 자체가 아니다. 따라서 "4K HDR AV1" 같은 조합은 코덱·컨테이너·HDR 메타데이터·색공간이 각각 호환되어야 비로소 정상 재생된다.

가장 주목할 흐름은 AI 기반(뉴럴) 비디오 압축이다. 오토인코더로 영상을 잠재표현으로 압축하거나, 전통 코덱의 특정 단계(예측·필터)를 신경망으로 대체하는 연구가 활발하다. MPEG은 NNVC(Neural Network-based Video Coding) 와 특징 압축 표준(VCM, Video Coding for Machines)을 추진 중이며, 이는 사람이 보는 화질이 아니라 기계가 분석할 특징을 압축한다는 새 패러다임을 연다(예: CCTV에서 사람 검출에 필요한 정보만 전송). 차세대 표준으로는 AOMedia의 AV2와 JVET의 실험 모델 ECM이 개발 중이며, 두 진영의 효율·라이선스 경쟁 구도가 2020년대 후반 코덱 지형을 결정할 전망이다.

지연 특성에 따른 분화도 뚜렷하다. 영상회의·화면공유(WebRTC)나 클라우드 게이밍·XR처럼 초저지연이 필수인 영역에서는 B-프레임처럼 지연을 유발하는 도구를 피하고, 압축 효율보다 지연·복잡도·오류 내성을 선택 기준으로 삼는다. 이 때문에 효율이 다소 낮아도 가벼운 프로파일이나 저지연 설정이 채택되는 역전 현상이 나타나며, 네트워크 손실에 대비한 참조 구조(예: 롱텀 참조, SVC 계층 부호화)가 함께 쓰인다. 반대로 VOD는 시간을 들여 2-pass·장면 단위 최적화를 수행할 수 있으므로 효율을 극한까지 추구한다. 요컨대 "실시간이냐 비실시간이냐"가 코덱 도구 집합과 설정을 근본적으로 가른다.

6. 고려사항 및 시사점

영상 코덱 도입·전환은 다음을 종합해 전략적으로 판단해야 한다.

• 하드웨어 디코딩 종속성(적용 전략): 신세대 코덱의 효율 이득은 대상 단말에 하드웨어 디코더가 있을 때만 실현된다. 전환 로드맵은 SoC·TV·브라우저의 하드웨어 지원 보급 곡선에 맞춰 수립하고, 미지원 단말을 위한 하위 코덱 폴백을 반드시 병행해야 한다.
• 효율-복잡도-지연의 삼각 절충(트레이드오프): 압축 효율을 높이면 인코딩 복잡도와 지연이 커진다. VOD는 효율을, 실시간 방송·영상회의·클라우드 게이밍은 저지연·저복잡도를 우선하는 식으로, 용도별로 코덱·프로파일을 분리하는 것이 합리적이다.
• 라이선스·생태계 리스크(전망): HEVC의 분열된 특허 풀이 보급을 지연시킨 전례는, 코덱 선택이 기술 지표가 아니라 총소유비용(TCO)과 법적 리스크 문제임을 보여준다. 로열티-프리(AV1/AV2)와 표준 코덱(VVC) 간 선택 시 특허 구조·예측 가능성을 핵심 변수로 삼아야 한다.
• 인코딩 지능화로의 투자 이동(연계 기술): 코덱 교체 주기가 10년으로 긴 만큼, 단기 효율 개선은 per-title·shot-based·VMAF 기반 인코딩 최적화와 ABR 사다리 튜닝에서 나온다. 코덱 전환과 별개로 인코딩 파이프라인·품질지표에 대한 투자가 즉각적 비용 절감 효과가 크다.
• 신규 패러다임 대비(전망): VCM(기계용 비디오 부호화)·뉴럴 코덱은 "사람이 보는 화질" 중심의 기존 가정을 흔든다. AI 분석이 소비의 중심이 되는 CCTV·자율주행·산업 영상에서는 지각 품질이 아닌 분석 정확도 기준의 압축이 요구되므로, 중장기 아키텍처 설계 시 이 흐름을 선반영해야 한다.
• 상호운용성·표준 준수(적용 전략): 코덱은 비트스트림 문법만 표준화하고 인코더 구현은 자유이므로, 특정 인코더에 종속되면 품질·호환성 리스크가 생긴다. 표준 적합성 검증(conformance), 컨테이너·DRM·HDR 메타데이터의 end-to-end 상호운용 테스트를 전환 전 반드시 수행하고, 다단말 환경에서는 코덱·해상도·HDR 조합별 재생 매트릭스를 사전 검증해야 한다.

참고자료

• ITU-T H.266 / ISO-IEC 23090-3 (Versatile Video Coding): https://www.itu.int/rec/T-REC-H.266
• Alliance for Open Media — AV1: https://aomedia.org/av1/
• Fraunhofer HHI — VVC(H.266) 개요: https://www.hhi.fraunhofer.de/en/departments/vca/technologies-and-solutions/h266-versatile-video-coding.html
• Netflix Tech Blog — Per-Title/Dynamic Optimization: https://netflixtechblog.com/dynamic-optimizer-a-perceptual-video-encoding-optimization-framework-e19f1e3a277f

---

한 줄 요약: 영상 코덱은 공간·시간·통계·심리시각 중복을 하이브리드 블록 기반 부호화(예측→변환·양자화→엔트로피→인루프 필터)로 제거하는 손실 압축 기술이며, H.264→HEVC→VVC/AV1로 효율은 10년마다 약 2배 올랐으나 실제 채택은 하드웨어 디코딩·라이선스·생태계가 좌우한다.