정보관리기술사 학습 노트
← 목록으로
AI·데이터
#EU AI Act#인공지능 규제#AI 거버넌스#위험기반#고위험 AI#GPAI#투명성
최종 업데이트 · 2026-09-28

EU AI Act 기반 인공지능 위험 분류와 준수 설계

1. 개요

가. 정의

EU AI Act는 인공지능 시스템을 위험 수준과 사용 맥락에 따라 분류하고, 금지행위·투명성·범용 AI 모델·고위험 시스템에 차등 의무를 부과하는 유럽연합의 인공지능 규제 체계이다.

EU AI Act의 핵심은 인공지능을 일괄 금지하거나 동일한 체크리스트로 관리하는 것이 아니다. 사람의 안전·건강·기본권에 미치는 영향과 시스템의 자율성을 기준으로 위험을 나누고, 위험이 클수록 사전 검증·기록·인간 감독·사후 감시를 강화한다. 따라서 정보관리기술사는 법률 조항을 그대로 복사하는 것보다, 업무의 AI 사용 사례를 시스템 목록으로 만들고 각 시스템의 공급자·배포자·운영 책임·증적을 설계해야 한다.

이 법은 유럽 내 사업자만의 문제가 아니다. 유럽연합 시장에 AI 시스템이나 범용 AI 모델을 제공하거나, 유럽연합 안에서 결과를 사용하는 조직은 공급망과 서비스 형태에 따라 적용 여부를 검토해야 한다. 한국 기업도 유럽 고객을 대상으로 채용, 고객응대, 제조, 금융, 의료 서비스를 제공하면 계약·조달·제품 설계 단계에서 규제 영향을 받을 수 있다. 다만 영토 적용과 예외는 시스템의 제공 방식, 사업자 지위, 연구 목적, 국가안보 목적 등에 따라 달라지므로 법률 자문과 함께 확인해야 한다.

나. 등장 배경과 필요성

생성형 AI와 자동화 의사결정이 확산되면서 모델 정확도만으로는 사회적 위험을 설명하기 어려워졌다. 같은 분류 모델이라도 사진 정리에는 낮은 영향일 수 있지만, 채용 후보를 배제하거나 복지 수급 자격을 판단하는 데 쓰이면 차별과 구제권 침해의 가능성이 커진다. 이처럼 위험은 알고리즘 이름보다 목적, 대상, 사용 환경, 인간의 개입 수준에 의해 결정된다.

기존 정보보호 체계는 기밀성·무결성·가용성과 개인정보 처리에 강점을 갖지만, 모델의 설명가능성·공정성·데이터셋 대표성·결과의 인간 검토까지 충분히 다루지는 못했다. EU AI Act는 조직 거버넌스와 기술 통제를 결합해, AI 시스템을 설계·개발·제공·배포·사용하는 전체 생애주기의 책임을 요구한다. 따라서 AI 목록, 데이터 계보, 모델 버전, 시험 결과, 사용자 안내, 사고 기록을 서로 연결해야 규제 대응과 운영 품질을 동시에 얻을 수 있다.

다. 적용 관점

실무에서는 먼저 “우리 회사가 법의 어느 역할에 해당하는가”를 묻고, 다음으로 “어떤 AI 사용 사례가 어느 위험군인가”를 판정한다. 그 뒤 역할별 의무를 요구사항·아키텍처·개발 파이프라인·조달 계약·운영 모니터링에 배치한다. 이 순서를 지키지 않고 법무팀의 문서만 만들면, 실제 시스템의 버전 변경이나 외부 모델 교체를 놓치게 된다.

2. 위험기반 규제 구조

EU AI Act는 위험에 비례한 계층 구조로 이해하는 것이 효과적이다. 금지되는 AI 관행은 원칙적으로 시장에 제공하거나 사용하는 것을 막고, 제한적 위험 시스템은 사람에게 AI 상호작용과 합성 콘텐츠 여부를 알리는 투명성 의무를 둔다. 고위험 시스템은 품질관리·기술문서·기록·인간 감독·정확성·강건성·사이버보안 같은 요구사항을 충족해야 한다. 범용 AI 모델은 시스템에 내장되기 전 단계에서 모델 제공자에게 별도의 문서화·저작권·평가·사고보고 의무를 부과한다.

flowchart TB
  A[AI 사용사례·영향 분석] --> B{위험 판정}
  B -->|금지 관행| C[시장 제공·사용 금지]
  B -->|투명성 위험| D[AI 상호작용·합성물 표시]
  B -->|고위험| E[품질관리·기술문서·인간감독]
  B -->|범용 AI 모델| F[모델 문서·저작권·평가·사고보고]
  B -->|최소 위험| G[자율규약·일반 통제]
  E --> H[적합성 평가·등록·사후 모니터링]
  F --> H

이 계층은 “고위험이 아니면 아무 통제도 필요 없다”는 뜻이 아니다. 최소 위험 시스템도 개인정보, 보안, 차별, 저작권, 안전 요구사항의 영향을 받을 수 있으며 조직의 내부 AI 정책과 계약상 통제를 적용해야 한다. 반대로 고위험 판정은 모델이 복잡해서가 아니라 법에서 정한 목적·제품·영향 영역과 시스템 기능이 결합될 때 발생한다.

가. 금지되는 AI 관행

금지 영역은 사람의 취약성을 악용하거나, 조작으로 행동을 중대하게 왜곡하거나, 사회적 점수처럼 기본권을 침해할 가능성이 큰 사용을 중심으로 구성된다. 실무자는 제품 기획 단계에서 금지 목록과 유사한 기능을 확인하고, 데이터 처리 동의서만으로 허용된다고 판단하지 않아야 한다. 특히 조직이 외부 API를 사용하면 공급자의 정책과 모델 기능을 검토해 금지된 활용이 서비스 흐름에 포함되지 않도록 해야 한다.

금지 여부가 불명확하면 기능을 먼저 출시하고 나중에 해석하는 방식보다, 목적·대상·결정의 효과·대체 수단을 문서화하고 법무·윤리 검토를 거치는 편이 안전하다. 정책 엔진에 금지 사용사례를 등록하면 프롬프트 검사, 애플리케이션 권한, 모델 라우팅 단계에서 반복적으로 차단할 수 있다.

나. 투명성 위험

사람이 AI와 상호작용한다는 사실을 알지 못하면 결과의 신뢰도와 책임 주체를 잘못 판단할 수 있다. 챗봇은 적절한 시점에 AI임을 알리고, 합성된 이미지·영상·음성·텍스트는 표시와 기계 판독 가능한 표식 등 요구사항을 검토해야 한다. 표시 의무의 구현은 화면 문구 하나에 그치지 않고, API 응답의 메타데이터·콘텐츠 생성 이력·수정 여부·사용자 알림을 함께 설계해야 한다.

투명성은 모델 내부 비밀을 모두 공개하라는 의미가 아니다. 사용자가 누구와 상호작용하는지, 어떤 콘텐츠가 생성되었는지, 중요한 결과를 사람이 재검토할 수 있는지를 이해할 수 있도록 정보를 제공하는 것이다. 따라서 사용자 인터페이스, 접근성, 다국어 안내, 로그 보존과 신고 채널까지 서비스 요구사항에 포함한다.

다. 고위험 시스템

고위험은 핵심 인프라, 교육, 고용, 필수 서비스, 법집행, 이민·국경관리, 사법·민주적 절차 등 사람의 권리와 안전에 큰 영향을 줄 수 있는 영역과 연결된다. 제품에 내장되는 시스템과 특정 민감 영역의 시스템은 분류 근거와 전환 시점을 별도로 검토해야 한다. 단순한 내부 자동화인지 외부인의 권리·접근·기회를 결정하는지에 따라 동일 모델도 통제 수준이 달라진다.

고위험 시스템의 설계는 요구사항 문서에 위험관리와 인간 감독을 포함하는 방식으로 시작한다. 학습·검증 데이터의 품질과 대표성을 기록하고, 오류와 성능을 추적할 수 있는 로그를 남기며, 운영자가 결과를 이해하고 개입할 수 있는 인터페이스를 제공해야 한다. 또한 정확성만 높이는 최적화가 다른 집단의 오류와 과도한 자동화를 초래하지 않는지 확인한다.

3. 역할과 책임 설계

법의무는 모델이나 코드가 아니라 경제적 역할에 귀속되므로, 조직도와 공급망 계약을 함께 그려야 한다. 공급자는 AI 시스템 또는 범용 AI 모델을 개발해 시장에 제공하는 주체이고, 배포자는 자신의 권한으로 시스템을 사용하거나 운용하는 주체로 이해할 수 있다. 수입자·유통자·제품 제조자·권한 있는 대리인 등 중간 역할도 계약과 제공 방식에 따라 책임이 발생할 수 있다.

flowchart LR
  P[모델·시스템 공급자] --> Q[기술문서·평가·품질관리]
  Q --> R[수입자·유통자·조달 담당]
  R --> U[배포자·업무 운영자]
  U --> V[사용자·영향 받는 사람]
  U --> W[사용 로그·사고·불만]
  W --> X[공급자 개선·시정·보고]
  X --> Q

공급자는 의도된 목적과 제한사항, 모델 버전, 평가결과, 사용 지침을 전달해야 한다. 배포자는 현장 목적과 입력 데이터, 사용자를 관리하고, 운영자가 지침에 맞게 사용하도록 교육하며, 이상 징후와 사고를 보고한다. 조직이 외부 모델을 API로 연결했다면 “우리는 모델을 만들지 않았다”는 이유만으로 책임이 사라지지 않는다. 업무 시스템의 최종 의사결정 방식과 사용자에게 제공되는 결과를 분석해 공급자와 배포자의 책임 경계를 계약에 명확히 해야 한다.

역할 설계 시 확인할 사항 대표 증적
공급자 목적, 데이터, 성능, 한계, 변경 통지 기술문서, 모델 카드
배포자 사용 맥락, 인간 감독, 교육, 로그 운영절차, 교육기록
수입·유통 주체 적합성·표시·문서의 보유와 전달 계약, 납품검사
조직의 AI 책임자 위험 분류, 승인, 예외, 사고 대응 AI 목록, 승인대장
감사·법무 적용범위와 증적의 충분성 영향평가, 감사보고서

역할 표는 책임 회피를 위한 서류가 아니라 실제 권한과 자원의 배치도여야 한다. 운영자가 모델을 중지할 권한이 없거나 공급자가 변경 정보를 제공하지 않으면, 문서상 책임을 부여해도 통제는 작동하지 않는다. 고위험 시스템은 승인자·운영자·검증자의 독립성을 분리하고, 사고 시 연락망과 의사결정 시간을 런북에 기록한다.

4. 고위험 시스템의 생애주기 통제

가. 위험관리와 데이터 거버넌스

고위험 시스템은 사용 목적, 예상 오용, 영향 받는 집단, 잔여 위험과 완화책을 생애주기 동안 갱신해야 한다. 위험관리는 출시 전 평가로 끝나지 않고, 변경·새로운 데이터·새로운 시장·사고와 불만이 발생할 때 다시 수행한다. 위험 수용 기준과 중지 기준을 정량·정성으로 구분해 운영자가 판단할 수 있도록 한다.

데이터 거버넌스는 데이터셋의 출처·수집 목적·라벨 기준·대표성·오류·결측·편향을 기록하는 활동이다. 개인정보와 민감한 속성은 최소수집·접근통제·보존기간·비식별 또는 가명처리와 연결하고, 데이터 사용권과 저작권의 근거도 확인한다. 데이터시트, 계보, 품질지표를 모델 버전과 연결하면 오류가 발생했을 때 데이터와 모델 중 어느 지점이 변했는지 추적할 수 있다.

나. 기술문서와 자동 기록

기술문서는 시스템의 목적, 구조, 알고리즘, 데이터, 학습·검증 방법, 성능, 한계, 예상 위험과 변경 이력을 재현 가능한 수준으로 설명해야 한다. 문서를 수기로 한 번 만들고 방치하면 코드·모델·데이터 변경을 따라가지 못하므로, 소스 저장소·모델 레지스트리·데이터 카탈로그에서 주요 항목을 자동으로 수집한다. 다만 자동 생성 문서도 업무 목적과 위험의 의미를 설명하는 사람의 검토가 필요하다.

이벤트 로그는 입력·출력·시각·사용자·모델 버전·정책 버전·사람의 개입·오류를 법적 보존과 개인정보 원칙에 맞춰 기록한다. 모든 원문을 장기간 저장하면 개인정보 위험이 커지므로, 식별자 분리·마스킹·접근권한·보존기간을 로그 설계에 포함한다.

다. 인간 감독과 정확성

인간 감독은 결과를 무조건 승인하는 절차가 아니다. 운영자는 모델의 한계와 불확실성을 이해하고, 결과를 무시하거나 설명을 요구하거나 중지·대체할 수 있어야 한다. 자동화 편향을 줄이려면 고위험 사례를 의도적으로 표본 추출해 사람이 독립 판단하고 모델 결과와 비교해야 한다.

정확성·강건성·사이버보안은 운영 환경에서 검증한다. 정상 입력뿐 아니라 결측·오래된 데이터·적대적 입력·경계값·장애 상황을 시험하고, 성능 저하와 공격을 탐지하면 안전한 버전으로 롤백한다. 모델 임계값은 평균 점수만으로 정하지 않고 오탐·미탐 비용과 집단별 영향을 함께 반영한다.

5. 준수 아키텍처와 운영 프로세스

AI 준수 아키텍처는 법무 문서 저장소가 아니라 제품 개발과 운영 파이프라인에 통제를 삽입하는 구조다. AI 카탈로그가 모델·데이터·프롬프트·도구·사용사례를 식별하고, 위험 판정 서비스가 영향도와 역할을 평가한다. 정책 엔진은 금지 기능과 권한을 차단하며, 검증 게이트는 배포 전 시험결과와 승인자를 확인한다. 운영 모니터는 드리프트·오류·공정성·보안 이벤트·사용자 불만을 수집하고, 사고관리 시스템과 연결한다.

flowchart TB
  A[AI 카탈로그] --> B[위험·역할 판정]
  B --> C[정책·금지사용 차단]
  C --> D[데이터·모델 검증 게이트]
  D --> E[승인·적합성 기록]
  E --> F[단계적 배포]
  F --> G[로그·성능·공정성 모니터]
  G --> H{이상·사고·변경}
  H -->|아니오| G
  H -->|예| I[중지·시정·보고·재평가]
  I --> B

개발자는 커밋과 모델 버전을 연결하고, 데이터 파이프라인은 품질검사와 승인된 목적을 확인한다. 배포 파이프라인은 위험등급에 따라 필요한 시험과 사람 승인을 다르게 적용하며, 모델·프롬프트·검색 인덱스의 조합을 릴리스 단위로 기록한다. 운영자는 결과의 오류뿐 아니라 사용자가 AI임을 알았는지, 인간 검토가 제공되었는지, 신고가 처리되었는지도 관리한다.

6. 비교와 적용 사례

가. EU AI Act와 기존 관리체계

개인정보보호 영향평가는 개인정보 처리의 필요성·비례성·권리 침해를 다루고, 정보보안 관리체계는 자산·위협·통제를 다룬다. AI 영향평가는 여기에 모델 목적·성능·공정성·설명·인간 감독·구제 절차를 더한다. 세 체계를 별도 양식으로 만들면 같은 데이터와 시스템을 반복 조사하므로, AI 카탈로그에서 공통 식별자를 사용해 연결하는 것이 효율적이다.

구분 핵심 질문 AI 준수와의 연결
개인정보 영향평가 개인의 권리와 자유에 미치는 영향은 무엇인가 데이터 목적·최소수집·구제
정보보안 관리 자산을 위협으로부터 어떻게 보호하는가 모델·데이터·로그의 기밀성·무결성
AI 영향평가 모델의 오류·편향·자동화가 누구에게 어떤 영향을 주는가 위험 분류·인간 감독·설명
품질·안전관리 요구 품질과 장애를 어떻게 검증하는가 강건성·사고·시정조치

나. 채용 추천 시스템 사례

채용 추천 시스템이 이력서를 점수화해 면접 후보를 제안한다고 하자. 모델은 합격 여부를 직접 결정하지 않는다고 설명할 수 있지만, 담당자가 상위 후보만 검토한다면 실제로는 기회 접근을 제한하는 영향이 발생한다. 따라서 사용 목적·영향받는 사람·대체 절차·이의제기와 인간 검토를 먼저 정의하고, 데이터의 대표성과 과거 채용 편향을 검토해야 한다.

검증에서는 직무별·경력별·성별 등 적절한 그룹에서 오류와 추천률을 비교하고, 설명 가능한 근거와 수동 재검토를 제공한다. 운영 중에는 모델 점수와 최종 결정이 어떻게 달라지는지, 특정 그룹의 탈락률이 변하는지, 담당자가 이의를 실제로 처리하는지 모니터링한다. 모델이 새 이력서 형식이나 외부 평가자료를 사용하도록 바뀌면 기존 승인에 포함된 변경인지 재평가한다.

다. 고객센터 생성형 AI 사례

고객센터 AI가 답변 초안을 생성하고 상담원이 승인하는 경우, 상담원의 승인만으로 정확성이 보장되지는 않는다. 최신 약관과 승인된 지식베이스를 검색하게 하고, 근거가 없거나 권리·환불·안전과 관련한 답변은 사람에게 전환한다. 챗봇임을 표시하고, 대화 이력에는 모델 버전과 검색 문서의 기준일을 남겨 잘못된 답변의 원인을 재현한다.

공급자 모델이 업데이트되면 동일한 프롬프트도 결과가 달라질 수 있다. 따라서 회귀 테스트 세트, 위험 질문 세트, 개인정보 재현 테스트, 도구 권한 테스트를 새 버전 승인 조건으로 만든다.

7. 심화: 2026년 시행 일정과 기술사 답안 연계

EU 공식 안내에 따르면 AI Act는 2024년 8월 발효 후 단계적으로 적용되며, 2026년 8월부터 투명성 의무와 집행 체계가 본격화되었다. 2026년 9월 현재 고위험 시스템 의무의 적용 시점은 일반적인 민감 영역과 제품 내장형 시스템을 구분해 확인해야 하며, 2026년 개정·전환 규정의 최신 문언을 기준으로 판단해야 한다. 범용 AI 모델 제공자 의무와 금지 관행의 세부 적용도 제품 출시일과 시스템 유형에 따라 전환 규칙이 달라질 수 있다. 시험 답안에서는 날짜를 단정하기보다 “기준일 현재 공식 일정과 개정 규정을 확인한다”고 쓰고, 조직이 일정 변화에 대응하도록 규제 모니터링 책임을 두는 것이 안전하다.

기술사 답안은 법 조항 나열보다 다음 흐름으로 구성하면 설계 관점이 드러난다. 첫째, 업무 목적과 영향받는 이해관계자를 식별한다. 둘째, 공급자·배포자·유통자 역할과 위험군을 판정한다. 셋째, 데이터·모델·소프트웨어·조직 통제를 생애주기에 배치한다. 넷째, 로그·문서·평가·사고 대응을 증적으로 연결한다. 마지막으로 혁신 속도와 기본권·안전·비용 사이의 트레이드오프와 지속 개선을 제시한다.

8. 고려사항 및 시사점

가. 법률과 기술의 동기화

AI 규제는 개정·가이드·표준·판례에 따라 해석이 달라질 수 있다. 규제 모니터링 담당자를 지정하고, 변경된 의무를 요구사항·정책·테스트·계약에 반영하는 추적성을 유지한다.

나. 위험 기반 자동화

모든 모델에 최고 수준의 승인 절차를 적용하면 현업이 비공식 AI를 사용하게 될 수 있다. 영향·자율성·민감도·복구 가능성을 기준으로 등급을 만들고, 고위험에는 독립 검증과 사람의 결정을 집중한다.

다. 공급망과 변경관리

외부 모델의 버전·학습데이터·서비스 수준·지역별 처리·사고통지·종료 조건을 계약에 포함한다. 모델 업데이트, 프롬프트 변경, 검색 인덱스 교체도 재검증을 유발하는 변경으로 분류한다.

라. 기본권과 성능의 균형

정확도 상승이 공정성·설명·사생활·안전 저하와 교환되는지 확인한다. 단일 평균지표 대신 그룹별 성능·오류 비용·구제 가능성·인간 감독의 실효성을 함께 평가한다.

마. 증적과 개인정보 최소화

감사를 위해 모든 입력 원문을 무기한 저장하면 새로운 개인정보 위험이 생긴다. 이벤트의 목적과 보존기간을 정하고, 식별자 분리·마스킹·암호화·접근기록으로 증적과 최소수집을 함께 달성한다.

바. 업무 연속성과 구제

모델 중지 시 수동 절차·대체 규칙·이전 버전으로 전환할 수 있어야 한다. 영향받는 사람에게 결과의 의미와 이의제기 방법을 알리고, 정정·재심·사람의 판단이 실제로 작동하는지 주기적으로 시험한다.

사. 도입 로드맵

1단계는 전사 AI 사용사례와 모델·데이터·공급자를 목록화하는 것이다. 2단계는 역할·위험등급·금지 목록·투명성 문구·승인 기준을 정책화하는 것이다. 3단계는 개발·배포 파이프라인에 품질·보안·공정성 시험과 로그를 연결하는 것이다. 4단계는 사고·민원·드리프트를 재평가와 교육에 환류하고, 규제 변경에 맞춰 통제를 지속 개선하는 것이다.

참고자료

한 줄 요약: EU AI Act 준수의 핵심은 AI 사용사례를 위험과 역할로 분류하고, 데이터·모델·인간 감독·증적·사고 대응을 생애주기 통제로 연결하는 것이다.