AI 공정성(Fairness)과 알고리즘 편향 완화
1. 개요
가. 정의
AI 공정성(Fairness)은 기계학습 모델의 예측·결정이 성별·연령·인종·장애·지역 등 법적·윤리적으로 보호되어야 할 민감 속성(protected attribute)에 근거해 특정 집단에 부당한 불이익을 주지 않도록 하는 성질이며, 알고리즘 편향 완화(Bias Mitigation)는 데이터·학습·출력의 전 과정에서 이러한 불공정의 원인을 식별하고 통계적·기술적으로 교정하는 일련의 활동이다.
공정성은 단순히 "정확도가 높은 모델"과는 다른 축의 품질이다. 평균 정확도가 95%인 채용 선별 모델이라도 오류가 특정 성별에 집중되면 그 모델은 기술적으로는 우수하지만 사회적으로는 수용될 수 없다. 즉 공정성은 전체 성능 지표가 숨기는 집단 간 성능 격차를 드러내는 문제이며, 모델의 "누구에게 틀리는가"를 묻는 관점이다.
알고리즘 편향은 의도적 차별만을 뜻하지 않는다. 오히려 대부분의 편향은 과거 데이터에 축적된 사회적 불평등이 모델에 그대로 학습되거나, 표본의 대표성이 부족하거나, 대리 변수(proxy)가 민감 속성과 상관되어 간접 차별을 일으키는 비의도적 편향이다. 따라서 편향 완화는 "나쁜 개발자를 걸러내는 일"이 아니라 데이터·모델의 구조적 결함을 공학적으로 통제하는 일로 접근해야 한다.
나. 등장 배경과 필요성
첫째, AI 의사결정이 채용, 신용평가, 보험 인수, 의료 진단, 형사 사법, 복지 수급 등 고영향(high-stakes) 영역으로 급속히 확대되었다. 이들 영역에서 잘못된 결정은 개인의 생계·건강·자유에 직접 영향을 주므로, 평균 정확도만으로는 서비스의 정당성을 입증할 수 없고 "오류의 분포"까지 설명해야 한다.
둘째, 실제 피해 사례가 누적되었다. 미국의 재범 위험 예측 도구 COMPAS가 흑인 피고인에게 위양성(false positive)을 과다 부여했다는 2016년 ProPublica의 분석, 2018년 공개된 한 대형 IT 기업의 채용 AI가 여성 지원자를 체계적으로 감점한 사례, 여러 안면인식 시스템이 유색인종 여성에서 현저히 높은 오류율을 보인 연구(Gender Shades) 등이 알고리즘 차별을 사회적 의제로 끌어올렸다.
셋째, 규제가 공정성을 의무로 전환하고 있다. EU AI Act(2024년 발효)는 채용·신용·교육 등을 고위험(high-risk) AI로 분류하고 데이터 품질·편향 점검·문서화를 요구한다. 국내에서도 개인정보보호위원회의 자동화된 결정에 대한 권리 규정, 「인공지능 기본법」(2025년 공포, 2026년 시행 예정) 등이 신뢰·공정 요건을 제도화하는 방향으로 전개되고 있다. 사실관계가 변할 수 있는 입법 일정은 일반화하여 서술하되, 기술사는 이를 요구사항·통제·증적으로 번역할 수 있어야 한다.
다. 공정성 확보의 목표
공정성 활동의 첫 번째 목표는 집단 간 형평(group equity)이다. 보호 집단과 비보호 집단 사이에서 수용률·오류율·기회의 격차를 허용 가능한 범위로 관리하는 것이다. 두 번째 목표는 개인 수준의 일관성(individual consistency)으로, 유사한 개인은 유사한 결정을 받아야 한다는 원칙이다. 세 번째 목표는 투명성과 책무성이며, 어떤 공정성 기준을 왜 선택했고 어떤 트레이드오프를 수용했는지를 문서화·검증 가능하게 남기는 것이다.
2. 알고리즘 편향의 발생 원천과 생애주기
편향은 특정 단계에서 한 번에 생기는 것이 아니라 데이터 수집부터 운영까지 생애주기 전반에 스며든다. 따라서 완화 전략도 단일 지점이 아니라 다층 방어(defense in depth)로 설계해야 한다. 아래 구조도는 편향이 유입되는 지점과 그에 대응하는 통제 지점을 함께 보여준다.
flowchart TB
subgraph SRC["편향 유입 경로"]
H["역사적 편향(과거 사회 불평등)"]
R["표본 편향(대표성 부족)"]
L["라벨 편향(주관적 레이블)"]
P["대리변수 편향(proxy 상관)"]
F["피드백 루프(결과가 데이터로 재유입)"]
end
H --> DATA["학습 데이터"]
R --> DATA
L --> DATA
P --> DATA
DATA --> MODEL["모델 학습"]
MODEL --> OUT["예측·결정"]
OUT --> USER["사용자·사회"]
USER -. "재학습 데이터" .-> F
F --> DATA
DATA --> C1["전처리 통제"]
MODEL --> C2["학습중 통제"]
OUT --> C3["후처리 통제"]
가. 역사적 편향과 표본 편향
역사적 편향(historical bias)은 데이터 자체는 현실을 정확히 반영하지만 그 현실이 이미 불평등할 때 발생한다. 예컨대 과거 10년간 특정 직군의 채용이 남성 중심으로 이루어졌다면, 그 데이터로 학습한 모델은 "남성다움"을 유능함의 신호로 잘못 학습한다. 이 경우 데이터는 "틀리지 않았지만" 그대로 쓰면 차별을 재생산한다.
표본 편향(sampling/representation bias)은 특정 집단의 데이터가 부족하거나 품질이 낮을 때 발생한다. 안면인식에서 밝은 피부·남성 이미지가 과대표집되면 어두운 피부·여성에서 오류율이 급등한다. Gender Shades 연구에서 일부 상용 시스템은 밝은 피부 남성의 오류율이 1% 미만인 반면 어두운 피부 여성에서는 30%를 넘기도 했는데, 이는 전형적인 표본 편향의 결과다.
나. 라벨 편향과 대리변수 편향
라벨 편향(label bias)은 정답 레이블이 인간의 주관·편견을 담을 때 생긴다. "우수 직원"을 과거 관리자의 주관적 평가로 라벨링하면 그 평가에 내재한 편견이 그대로 목표 변수가 된다. 대리변수 편향(proxy bias)은 민감 속성을 직접 쓰지 않아도 그와 강하게 상관된 변수(거주지 우편번호, 모교, 통근 거리 등)가 간접적으로 차별을 매개하는 현상이다. 민감 속성 컬럼을 제거하는 "무지에 의한 공정성(fairness through unawareness)"이 실패하는 핵심 이유가 바로 이 대리변수 때문이며, 실제로 우편번호 하나가 인종·소득의 강력한 대리변수로 작동할 수 있다.
다. 피드백 루프 편향
운영 단계에서 모델의 결정이 다시 데이터가 되어 편향을 증폭하는 것이 피드백 루프(feedback loop) 편향이다. 예측적 치안(predictive policing)에서 특정 지역에 순찰을 집중하면 그 지역의 체포 기록이 늘고, 늘어난 기록이 다시 "범죄 다발 지역"이라는 예측을 강화해 악순환을 만든다. 추천 시스템에서도 노출이 클릭을 낳고 클릭이 다시 노출을 결정하면서 소수 취향·소수 집단이 점점 배제될 수 있다. 피드백 루프는 정적 평가에서 보이지 않으므로 운영 중 지속 모니터링이 필수다.
이 다섯 가지 편향 원천은 서로 독립적이지 않고 결합·증폭된다. 표본 편향으로 소수 집단 데이터가 적으면 그 집단에 대한 모델 불확실성이 커지고, 불확실한 예측이 보수적 결정(거절)으로 이어지며, 그 결정이 피드백 루프로 재유입되어 격차가 누적되는 식이다. 따라서 편향 진단은 단일 원인 탐색이 아니라 데이터 계보를 따라 "어느 단계에서 무엇이 유입되었는가"를 추적하는 구조적 분석이어야 한다.
3. 공정성 지표와 측정
공정성은 "정의"가 하나로 고정되지 않는다. 무엇을 공정으로 볼 것인가에 따라 서로 다른, 때로는 양립 불가능한 수학적 기준이 존재한다. 아래 흐름도는 공정성 평가·완화의 전체 파이프라인을 보여준다.
flowchart LR
A["민감 속성·보호집단 정의"] --> B["기준 지표 선택"]
B --> C["집단별 지표 산출"]
C --> D{"격차가 임계치 이내?"}
D -- "아니오" --> E["완화 기법 적용"]
E --> F["재학습·재보정"]
F --> C
D -- "예" --> G["공정성 문서화·모델카드"]
G --> H["운영 모니터링·드리프트 감시"]
H -. "격차 재발" .-> C
가. 집단 공정성(Group Fairness) 지표
가장 널리 쓰이는 집단 공정성 지표는 세 가지다. 첫째, 인구통계학적 동등성(Demographic Parity)은 보호 집단과 비보호 집단의 긍정 예측 비율이 같아야 한다는 기준으로, 수식으로는 P(Ŷ=1│A=a) = P(Ŷ=1│A=b)로 표현한다. 둘째, 기회 균등(Equal Opportunity)은 실제 양성자 중 양성으로 예측될 확률(진양성률, TPR)이 집단 간 같아야 한다는 기준이다. 셋째, 동등 공산(Equalized Odds)은 진양성률과 위양성률(FPR)이 모두 집단 간 같아야 한다는 더 엄격한 기준이다.
실무에서는 미국 고용평등위원회(EEOC)의 "80% 규칙"에서 유래한 불평등 영향 비율(Disparate Impact Ratio, DIR)도 많이 쓴다. 이는 소수 집단의 수용률을 다수 집단의 수용률로 나눈 값으로, 통상 0.8 미만이면 불공정의 적신호로 본다. 예를 들어 남성 합격률 50%, 여성 합격률 30%이면 DIR은 0.6으로 명백한 불평등 영향에 해당한다.
| 지표 | 핵심 조건 | 적합 상황 | 한계 |
|---|---|---|---|
| 인구통계학적 동등성 | 긍정 예측률 동일 | 기회 배분(채용·광고) | 실제 자격 차이 무시 가능 |
| 기회 균등 | 진양성률 동일 | 놓치면 안 되는 양성(질병 선별) | 위양성 격차는 미통제 |
| 동등 공산 | TPR·FPR 동일 | 사법·신용 등 양방향 오류 중요 | 매우 엄격, 정확도 손실 |
| 불평등 영향 비율 | 수용률 비 ≥ 0.8 | 법적 차별 스크리닝 | 임계값의 자의성 |
나. 개인 공정성과 반사실적 공정성
집단 공정성이 "집단 평균"을 보는 반면, 개인 공정성(Individual Fairness)은 "유사한 개인은 유사한 결정을 받아야 한다"는 원칙으로, 적절한 유사도 척도의 정의가 핵심 난제다. 한편 반사실적 공정성(Counterfactual Fairness)은 인과추론을 활용해 "만약 이 사람의 민감 속성만 바뀌었다면 결정이 달라졌을까"를 묻는다. 결정이 달라진다면 그 속성이 부당하게 작용한 것이다. 이는 대리변수를 통한 간접 차별까지 포착할 수 있어 이론적으로 강력하지만, 정확한 인과 그래프 구축이 어렵다는 실무적 제약이 있다.
다. 공정성의 불가능성 정리
공정성 지표들은 동시에 만족될 수 없는 경우가 많다. Kleinberg·Chouldechova 등이 정리한 불가능성 정리(impossibility theorem)에 따르면, 집단 간 기저율(base rate)이 다를 때 보정(calibration), 진양성률 동등, 위양성률 동등을 모두 동시에 만족하는 것은 일반적으로 불가능하다. 즉 공정성은 순수 기술 문제가 아니라 "어떤 공정을 우선할 것인가"라는 가치 판단을 포함한다. 기술사는 이 트레이드오프를 숨기지 말고 명시적으로 드러내, 이해관계자가 선택하도록 지원해야 한다.
4. 편향 완화 기법
편향 완화는 적용 시점에 따라 전처리·학습중·후처리의 세 범주로 나뉜다. 어느 하나가 항상 우월하지 않으며, 데이터 접근성·모델 수정 가능성·규제 요건에 따라 조합한다.
가. 전처리(Pre-processing) 기법
전처리는 데이터 자체를 교정하는 접근으로, 모델에 독립적이고 투명하다는 장점이 있다. 대표 기법으로 재가중(reweighing)은 과소대표 집단의 샘플에 더 큰 가중치를 부여해 균형을 맞춘다. 재표본추출(resampling)은 소수 집단을 오버샘플링(예: SMOTE)하거나 다수 집단을 언더샘플링한다. 공정 표현 학습(Learning Fair Representations)은 민감 속성 정보를 제거하면서 과업 정보는 보존하는 잠재 표현을 학습한다. 예컨대 대출 데이터에서 여성 승인 사례가 부족하면 재가중으로 그 영향력을 키워 모델이 해당 패턴을 충분히 학습하게 한다.
전처리의 한계는 다운스트림 모델이 데이터를 어떻게 쓸지 완전히 통제할 수 없다는 점이다. 또한 대리변수가 복잡하게 얽혀 있으면 단순 재가중만으로 간접 차별을 제거하기 어렵다.
나. 학습중(In-processing) 기법
학습중 기법은 모델의 목적함수에 공정성 제약을 직접 통합한다. 공정성 정규화(fairness regularization)는 손실함수에 집단 간 격차 페널티 항을 더해 정확도와 공정성을 함께 최적화한다. 적대적 편향 제거(adversarial debiasing)는 예측기와 별도로 "출력에서 민감 속성을 맞히려는 적대자"를 두고, 적대자가 실패하도록 예측기를 학습시켜 출력에서 민감 정보를 제거한다. 제약 최적화(constrained optimization)는 동등 공산 등의 공정성 조건을 제약식으로 걸고 정확도를 최대화한다.
학습중 기법은 가장 근본적인 교정이 가능하지만, 모델 구조에 접근할 수 있어야 하고 수렴 안정성·계산 비용이 커질 수 있다. 외부 사전학습 모델(API 기반 LLM 등)에는 적용이 제한된다. 적대적 편향 제거의 직관은 이렇다. 만약 모델의 출력(또는 중간 표현)만 보고도 지원자의 성별을 높은 정확도로 맞힐 수 있다면, 그 출력에는 성별 정보가 여전히 새어 들어 있다는 뜻이다. 적대자의 성별 추정 정확도가 무작위 수준(이진 속성이면 약 50%)에 수렴하도록 예측기를 학습시키면, 출력에서 민감 정보의 흔적을 제거하면서도 본래 과업 성능은 유지할 수 있다.
다. 후처리(Post-processing) 기법
후처리는 학습이 끝난 모델의 출력 또는 결정 임계값을 조정한다. 집단별 임계값 조정(threshold adjustment)은 각 집단에 다른 결정 임계값을 적용해 진양성률을 맞춘다. 보정(calibration) 후처리는 집단별 점수 분포를 교정한다. 후처리는 모델을 재학습하지 않아 블랙박스 모델에도 적용 가능하고 비용이 낮다는 큰 장점이 있다. 그러나 집단별로 다른 임계값을 쓰는 것이 "역차별" 논란이나 법적 문제를 낳을 수 있고, 근본 원인은 그대로 둔다는 한계가 있다.
| 범주 | 적용 시점 | 장점 | 한계 | 대표 기법 |
|---|---|---|---|---|
| 전처리 | 학습 전 | 모델 독립, 투명 | 다운스트림 통제 약함 | 재가중, 재표본, 공정표현 |
| 학습중 | 학습 중 | 근본적 교정 | 모델 접근 필요, 비용↑ | 적대적 제거, 공정 정규화 |
| 후처리 | 추론 시 | 블랙박스 적용, 저비용 | 역차별·근본원인 미해결 | 임계값 조정, 보정 |
실무 사례로, 한 은행이 대출 모델의 DIR이 0.65로 측정되자 전처리 재가중으로 데이터 균형을 맞추고, 학습중 공정성 제약을 추가한 뒤, 운영 단계에서 집단별 보정을 적용하는 3단계 조합으로 DIR을 0.85 이상으로 끌어올리면서 전체 정확도 손실을 2%p 이내로 억제한 식의 접근이 전형적이다. 핵심은 단일 기법이 아니라 생애주기 전반의 조합이다.
5. 심화: 생성형 AI 시대의 편향과 표준 동향
전통적 분류·회귀 모델의 공정성 논의는 대규모 언어모델(LLM)과 생성형 AI에서 새로운 국면을 맞는다. LLM은 웹 규모의 비정제 코퍼스로 학습되므로 성·인종·종교·직업에 대한 사회적 고정관념을 그대로 흡수한다. "간호사"에 여성, "CEO"에 남성 이미지를 연상시키거나, 특정 집단에 대한 유해·비하 표현을 생성하는 표현적 해악(representational harm)이 대표적이다. 이는 수치 지표로 환원하기 어렵고, 레드팀·편향 벤치마크(BBQ, StereoSet 등)와 인간 평가를 병행해야 한다.
완화 수단도 달라진다. 사전학습 데이터 필터링, 인간 피드백 기반 강화학습(RLHF)과 헌법적 AI(Constitutional AI)를 통한 정렬, 시스템 프롬프트·가드레일을 통한 출력 통제, 검색증강(RAG)으로 근거를 제한하는 방법 등이 조합된다. 그러나 과도한 필터링은 특정 주제에 대한 과잉 거부(over-refusal)나 또 다른 편향을 낳을 수 있어, 공정성과 유용성 사이의 균형이 다시 과제가 된다.
표준·규제 측면에서는 NIST AI RMF(2023)가 신뢰성 특성의 하나로 공정성과 편향 관리를 제시하고, 별도 간행물에서 시스템적·통계적·인적 편향의 분류를 제공한다. ISO/IEC TR 24027은 AI 시스템의 편향 평가를 다루며, AI 경영시스템 표준인 ISO/IEC 42001(2023)은 편향 통제를 관리체계 요구사항으로 포함한다. EU AI Act는 고위험 AI에 대해 학습·검증·시험 데이터셋의 적절성과 편향 점검을 법적 의무로 규정한다. 이처럼 공정성은 "권고"에서 "감사 가능한 통제"로 이동하고 있다.
6. 고려사항 및 시사점
첫째, 공정성 기준 선택은 비즈니스·법무·윤리의 합의 사항이다. 기술사는 인구통계학적 동등성, 기회 균등, 동등 공산 중 무엇을 택할지를 개발자가 임의로 정하게 두어서는 안 되며, 도메인 위험(질병 선별은 위음성 최소화, 광고 배분은 기회 균등 등)과 규제 요건을 근거로 이해관계자가 선택하도록 의사결정 체계를 설계해야 한다. 불가능성 정리로 인해 "모든 공정성 동시 달성"은 불가능함을 명확히 전달하는 것도 기술사의 책무다.
둘째, 정확도와 공정성의 트레이드오프를 정량적으로 관리해야 한다. 공정성 제약이 전체 정확도를 일부 낮추는 것은 정상이며, 중요한 것은 그 손실이 합리적 범위인지와 손실이 누구의 이익을 위한 것인지를 문서화하는 것이다. 공정성-정확도 파레토 곡선을 제시해 의사결정자가 trade-off를 눈으로 보고 선택하게 하는 방식이 효과적이다.
셋째, 공정성은 일회성 점검이 아니라 운영 중 지속 모니터링 대상이다. 데이터 드리프트·피드백 루프로 배포 시점에는 공정했던 모델이 시간이 지나며 불공정해질 수 있다. 따라서 집단별 성능·DIR을 주기적으로 산출하고, 임계 이탈 시 재학습·재보정하는 MLOps 파이프라인(모델 카드·공정성 대시보드 포함)을 구축해야 한다.
넷째, 거버넌스·책무성과의 연계가 필요하다. 공정성 활동은 데이터 계보, 모델 카드, 영향평가(DPIA/AI 영향평가), 이의 제기 절차, 인간 감독(human-in-the-loop)과 결합될 때 실효성을 갖는다. 특히 자동화된 결정에 대한 설명 요구권·거부권이 제도화되는 흐름에 맞춰, 공정성 점검 결과를 감사 증적으로 남기고 외부 검증이 가능하도록 설계해야 한다.
다섯째, 대리변수와 교차성(intersectionality)을 간과하지 말아야 한다. 민감 속성 제거만으로는 간접 차별을 막을 수 없으므로 대리변수 상관을 능동적으로 분석해야 하며, 단일 속성이 아니라 "어두운 피부 × 여성"처럼 속성이 교차하는 지점에서 편향이 증폭될 수 있음을 평가 설계에 반영해야 한다.
참고자료
- NIST, "Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (SP 1270)": https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1270.pdf
- NIST, "AI Risk Management Framework (AI RMF 1.0)": https://www.nist.gov/itl/ai-risk-management-framework
- ISO/IEC 42001:2023 (AI management system): https://www.iso.org/standard/81230.html
- EU Artificial Intelligence Act: https://artificialintelligenceact.eu/
- IBM AI Fairness 360 (AIF360): https://aif360.res.ibm.com/
한 줄 요약: AI 공정성은 보호 집단 간 성능 격차를 통제하는 품질 축으로, 역사적·표본·라벨·대리변수·피드백 편향을 생애주기 전반에서 식별하고, 상호 양립 불가능할 수 있는 공정성 지표 중 도메인에 맞는 기준을 선택해 전처리·학습중·후처리 기법을 조합하며 운영 중 지속 모니터링·거버넌스로 뒷받침해야 한다.