기계와 신뢰: AI 편향을 완화하는 방법

2016년에 세계 경제 포럼은 우리가 산업 혁명의 네 번째 물결인 사이버-물리적 시스템을 사용한 자동화를 경험하고 있다고 주장했습니다. 이 물결의 핵심 요소에는 기계 지능, 블록체인 기반 분산 거버넌스 및 게놈 편집이 포함됩니다. 이전 물결의 경우와 마찬가지로 이러한 기술은 인간 노동의 필요성을 줄이지만 특히 인공 지능 개발 회사와 그 고객에게 새로운 윤리적 문제를 제기합니다.

이 기사의 목적은 기계 학습 모델에서 원치 않는 편향을 감지하고 완화하는 최신 아이디어를 검토하는 것입니다. 우리는 신뢰할 수 있는 AI에 대해 최근에 만들어진 가이드라인을 논의하고, 모델 선택과 근본적인 사회적 편견에서 발생하는 AI 편향의 예를 검토하고, 편향된 AI를 감지 및 완화하기 위한 비즈니스 및 기술 관행을 제안하고, GDPR에 따라 현재 존재하는 법적 의무에 대해 논의할 것입니다. 그들은 미래에 발전할 수 있습니다.

인간: 기계 학습에서 편향의 궁극적인 원인

모든 모델은 인간이 만들고 인간의 편견을 반영합니다. 기계 학습 모델은 조직 팀, 해당 팀의 디자이너, 모델을 구현하는 데이터 과학자, 데이터를 수집하는 데이터 엔지니어의 편견을 반영할 수 있습니다. 당연히 데이터 자체에 내재된 편향도 반영합니다. 우리가 인간의 의사 결정권자로부터 어느 정도의 신뢰성을 기대하는 것처럼 우리는 우리의 모델로부터도 어느 정도의 신뢰성을 기대하고 전달해야 합니다.

(가장 넓은 의미에서) 편향이 기계 학습의 중추이기 때문에 신뢰할 수 있는 모델에는 여전히 많은 편향이 포함됩니다. 유방암 예측 모델은 유방암 병력이 있는 환자가 긍정적인 결과로 편향되어 있음을 정확하게 예측합니다. 디자인에 따라 여성이 긍정적인 결과에 편향되어 있음을 알 수 있습니다. 최종 모델은 여성과 남성에 대한 정확도 수준이 다를 수 있으며 그런 식으로 편향될 수 있습니다. 질문할 핵심 질문 은 내 모델이 편향되어 있습니까? 가 아닙니다. , 대답 은 항상 예일 것이기 때문입니다.

더 나은 질문을 찾기 위해 유럽 연합 인공 지능에 대한 고급 전문가 그룹은 모델 구축에 적용할 수 있는 지침을 만들었습니다. 일반적으로 기계 학습 모델은 다음과 같아야 합니다.

1. 적법 - 모든 해당 법률 및 규정 준수
2. 윤리적 - 윤리적 원칙과 가치 존중
3. 견고함 - 사회적 환경을 고려하면서 기술적 관점 모두에서

이러한 짧은 요구 사항과 더 긴 형식은 편향 문제를 포함하거나 넘어서서 엔지니어와 팀을 위한 체크리스트 역할을 합니다. 문제 진술 및 영역의 맥락에서 불법적이거나 비윤리적이거나 강력하지 않을 수 있는 모델 내 편견을 조사하여 보다 신뢰할 수 있는 AI 시스템을 개발할 수 있습니다.

AI 편견의 역사적 사례

다음은 불법적이거나 비윤리적이거나 강력하지 않은 AI 편향으로 인해 신뢰성이 의심스러운 세 가지 역사적 모델입니다. 첫 번째이자 가장 유명한 사례인 COMPAS 모델은 가장 단순한 모델이라도 인종에 따라 얼마나 비윤리적인 차별을 가할 수 있는지를 보여줍니다. 두 번째 경우는 대부분의 자연어 처리(NLP) 모델의 결함을 보여줍니다. 즉, 인종, 성적 및 기타 편견에 강하지 않습니다. 마지막 사례인 Allegheny Family Screening Tool은 편향된 데이터로 인해 근본적으로 결함이 있는 모델의 예와 이러한 결함을 완화하는 몇 가지 모범 사례를 보여줍니다.

나침반

편향되고 신뢰할 수 없는 AI의 표준 예는 플로리다와 미국의 다른 주에서 사용되는 COMPAS 시스템입니다. COMPAS 시스템은 회귀 모델을 사용하여 가해자가 재범할 가능성이 있는지 여부를 예측했습니다. 전반적인 정확성을 위해 최적화되었지만 이 모델은 백인보다 아프리카계 미국인의 재범에 대한 오탐지 횟수를 두 배로 예측했습니다.

COMPAS 예제는 우리의 방법론이 아무리 편안하더라도 원치 않는 편향이 모델에 얼마나 침투할 수 있는지 보여줍니다. 기술적 관점에서 COMPAS 데이터에 대한 접근 방식은 매우 평범했지만 기본 조사 데이터에는 관련성이 의심스러운 질문이 포함되어 있습니다. 작은 지도 모델은 적은 수의 기능이 있는 데이터 세트에서 훈련되었습니다. (실제로 저는 데이터 과학자나 ML 엔지니어의 경우처럼 유사한 기술 절차를 수십 번 따랐습니다.) 그러나 일반적인 디자인 선택은 원치 않는 인종 차별적 편견을 포함하는 모델을 생성했습니다.

COMPAS 사건의 가장 큰 문제는 단순한 모델 선택이 아니라 데이터에 결함이 있다는 것이었습니다. 오히려 COMPAS팀은 알고리즘이 개입되지 않아도 영역(형벌), 질문(재범 여부 감지), 답변(재범률 점수)이 인종, 성, 기타 축의 불균형을 수반하는 것으로 알려져 있다는 점을 고려하지 못했다. 팀이 편견을 찾았다면 그들은 그것을 찾았을 것입니다. 이러한 인식을 바탕으로 COMPAS 팀은 다양한 접근 방식을 테스트하고 편향을 조정하면서 모델을 다시 만들 수 있었을 것입니다. 이것은 아프리카계 미국인의 불공정한 감금을 악화시키는 것이 아니라 줄이는 데 효과가 있었을 것입니다.

모든 NLP 모델은 Word2Vec 이후 Common Crawl, Google News 또는 기타 Corpus에 대해 순진하게 사전 훈련되었습니다.

사전 훈련된 대규모 모델은 대부분의 NLP 작업에 대한 기반을 형성합니다. 이러한 기본 모델이 특정 축을 따라 편향되지 않도록 특별히 설계되지 않은 한, 이러한 모델이 전혀 작동하는 것과 같은 이유로 훈련된 말뭉치의 고유한 편견이 확실히 스며들게 됩니다. 인종 및 성별에 따른 이러한 편견의 결과는 각각 Common Crawl 및 Google News에서 훈련된 Word2Vec 및 GloVe 모델에 표시되었습니다. BERT와 같은 컨텍스트 모델은 최신 기술이지만(Word2Vec 및 GloVe가 아닌) 이러한 모델이 훈련되는 말뭉치에 덜 차별적이라는 증거는 없습니다.

모든 NLP 문제에 대한 최상의 모델 아키텍처는 차별적 감정으로 가득 차 있지만 솔루션은 사전 훈련된 모델을 포기하는 것이 아니라 문제의 특정 도메인, 문제 설명 및 팀과 함께 전체 데이터를 고려하는 것입니다. 애플리케이션이 인간에 의한 차별적 편견이 중요한 역할을 하는 것으로 알려진 애플리케이션인 경우 개발자는 모델이 그러한 차별을 영속화할 가능성이 있음을 인식해야 합니다.

Allegheny Family Screening Tool: 부당하게 편향되어 있지만 잘 설계되고 완화됨

이 마지막 예에서 우리는 부당하게 차별적인 데이터로 구축된 모델에 대해 논의하지만 원치 않는 편향은 여러 가지 방법으로 완화됩니다. Allegheny Family Screening Tool은 아동이 학대적인 상황 때문에 가족과 격리되어야 하는지 여부를 결정하는 데 도움을 주기 위해 고안된 모델입니다. 이 도구는 공개 포럼과 소프트웨어의 결함과 불평등을 찾을 수 있는 기회와 함께 공개적이고 투명하게 설계되었습니다.

모델의 원치 않는 편향은 더 광범위한 사회적 편견을 반영하는 공개 데이터 세트에서 비롯됩니다. 중산층 및 상류층 가족은 민간 의료 제공자를 이용하여 학대를 "숨길" 수 있는 능력이 더 높습니다. Allegheny 카운티에 대한 소개는 백인 가족보다 아프리카계 미국인 및 혼혈 가족의 경우 3배 이상 자주 발생합니다. 버지니아 유뱅크스(Virginia Eubanks)와 엘렌 브로드(Ellen Broad)와 ​​같은 논평가들은 이와 같은 데이터 문제는 사회가 고쳐져야만 해결될 수 있다고 주장해왔습니다.

생산에서 카운티는 일선 근로자를 위한 자문 도구로만 사용하여 모델의 불평등과 싸우고 일선 근로자가 결정을 내릴 때 자문 모델의 실패를 인식할 수 있도록 교육 프로그램을 설계합니다. 편향 제거 알고리즘의 새로운 발전으로 Allegheny 카운티는 모델의 잠재적 편향을 완화할 수 있는 새로운 기회를 갖게 되었습니다.

Allegheny 도구의 개발은 데이터의 잠재적인 차별과 해당 데이터의 기초가 되는 사회적 차별을 극복하기 위한 알고리즘의 한계에 대해 엔지니어에게 많은 것을 가르쳐줍니다. 이는 엔지니어와 디자이너에게 모델에서 잠재적인 차별적 편견의 실제 영향을 완화할 수 있는 컨설팅 모델 구축의 예를 제공합니다.

AI 편향 방지 및 완화: 주요 비즈니스 인식

다행히도 편향성 제거 접근 방식과 방법이 몇 가지 있으며 그 중 많은 부분이 COMPAS 데이터 세트를 벤치마크로 사용합니다.

다양성 개선, 다양성 결핍 완화

인구 통계 및 기술 측면에서 다양한 팀을 유지하는 것은 원치 않는 AI 편향을 피하고 완화하는 데 중요합니다. 기술 경영진이 다양성에 대한 지속적인 립 서비스에도 불구하고 여성과 유색인종은 여전히 ​​과소 대표되고 있습니다.

다양한 ML 모델은 AI 업계 자체의 통계적 소수자에 대해 더 낮은 성능을 보이며 이러한 문제를 가장 먼저 알아차리는 사람들은 여성 및/또는 유색인 사용자입니다. AI 팀이 더 다양해짐에 따라 원치 않는 편향과 관련된 문제를 발견하고 프로덕션에 출시하기 전에 완화할 수 있습니다.

프록시에 주의: 모델에서 보호된 클래스 레이블을 제거하면 작동하지 않을 수 있습니다!

데이터에서 보호된 클래스(예: 성별 또는 인종)와 관련된 편견을 제거하기 위한 일반적이고 순진한 접근 방식은 모델에서 인종 또는 성별을 표시하는 레이블을 삭제하는 것입니다. 모델이 우편 번호와 같은 다른 레이블에서 이러한 보호된 클래스에 대한 이해를 구축할 수 있기 때문에 많은 경우 이 방법은 작동하지 않습니다. 일반적인 관행에는 생산 중인 모델의 결과를 개선할 뿐만 아니라 법적 요구 사항으로 인해 이러한 레이블도 제거하는 것이 포함됩니다. 아래에서 논의할 편향성 제거 알고리즘의 최근 개발은 레이블을 제거하지 않고 AI 편향을 완화하는 방법을 나타냅니다.

기술적 한계에 주의

제품 설계 및 모델 구축의 모범 사례조차도 특히 편향된 데이터의 경우 원치 않는 편향의 위험을 제거하기에 충분하지 않습니다. 우리의 데이터, 모델, 편견에 대한 기술적 솔루션의 한계를 인식하는 것은 중요합니다. 둘 다 인식을 위해 그리고 인간-인-루프(human-in-loop)와 같은 기계 학습에서 편향을 제한하는 인간의 방법을 고려할 수 있도록 하기 위해서입니다.

AI 편향 방지 및 완화: 인식 및 편향성 제거를 위한 핵심 기술 도구

데이터 과학자들은 AI 편향을 피하고 완화할 수 있는 팀의 역량을 보완하는 기술 인식 및 편향 제거 도구를 점점 더 많이 보유하고 있습니다. 현재 인식 도구는 더 정교하고 다양한 모델 선택 및 편향 측정을 포괄하는 반면 편향 제거 도구는 초기 단계에 있으며 특정 경우에만 모델의 편향을 완화할 수 있습니다.

지도 학습 알고리즘을 위한 인식 및 편향 제거 도구

IBM은 AI 공정성 프로젝트에서 바이너리 분류기를 위한 인식 및 편향성 제거 도구 제품군을 출시했습니다. AI 편향을 감지하고 완화하려면 모든 방법에 클래스 레이블(예: 인종, 성적 취향)이 필요합니다. 이 클래스 레이블에 대해 클래스의 특정 구성원에 대한 모델의 편향을 수량화하는 다양한 메트릭(예: 이질적인 영향 및 균등한 기회 차이)을 실행할 수 있습니다. 기사 하단에 이러한 측정항목에 대한 설명이 포함되어 있습니다.

편향이 감지되면 AI Fairness 360 라이브러리(AIF360)에는 단순 분류기에서 심층 신경망에 이르는 모델에 적용할 수 있는 10가지 편향 제거 접근 방식(및 카운팅)이 있습니다. 일부는 데이터 자체의 균형을 맞추는 것을 목표로 하는 전처리 알고리즘입니다. 다른 것들은 모델을 구축하는 동안 원치 않는 편향에 페널티를 주는 처리 중인 알고리즘입니다. 그러나 다른 사람들은 예측 후 유리한 결과의 균형을 맞추기 위해 후처리 단계를 적용합니다. 특정 최선의 선택은 문제에 따라 다릅니다.

AIF360은 편향 감지 및 완화 알고리즘이 이진 분류 문제를 위해 설계되었으며 다중 클래스 및 회귀 문제로 확장되어야 한다는 점에서 실질적인 한계가 있습니다. Aequitas 및 LIME과 같은 다른 라이브러리는 일부 더 복잡한 모델에 대해 좋은 메트릭을 가지고 있지만 편향만 감지합니다. 그들은 그것을 고칠 능력이 없습니다. 그러나 모델이 생산에 들어가기 전에 편향되어 있다는 사실만으로도 릴리스 전에 대체 접근 방식을 테스트해야 하므로 여전히 매우 유용합니다.

일반 인식 도구: LIME

LIME(Local Interpretable Model-agnostic Explanations) 툴킷을 사용하여 기능 중요도를 측정하고 대부분의 모델(다중 클래스 분류, 회귀 및 딥 러닝 애플리케이션 포함)의 로컬 동작을 설명할 수 있습니다. 일반적인 아이디어는 해석 가능성이 높은 선형 또는 트리 기반 모델을 편향 테스트 중인 모델의 예측에 맞추는 것입니다.

예를 들어, 이미지 인식을 위한 심층 CNN은 매우 강력하지만 해석하기 어렵습니다. 선형 모델을 훈련하여 네트워크의 동작을 에뮬레이트함으로써 작동 방식에 대한 통찰력을 얻을 수 있습니다. 선택적으로 인간 의사 결정자는 LIME를 통해 특정 경우에 모델 결정의 이유를 검토하고 그 위에 최종 결정을 내릴 수 있습니다. 의학적 맥락에서 이 과정은 아래 이미지와 함께 설명됩니다.

NLP 모델 편향성 제거

앞서 우리는 NLP 모델 훈련에 사용되는 대부분의 말뭉치에 잠재된 편향에 대해 논의했습니다. 주어진 문제에 원치 않는 편향이 존재할 가능성이 있는 경우 쉽게 사용할 수 있는 편향되지 않은 단어 임베딩을 권장합니다. 학계의 관심으로 판단할 때 BERT와 같은 최신 NLP 모델은 곧 편향된 단어 임베딩을 갖게 될 것입니다.

CNN(Convolutional Neural Networks) 편향성 제거

LIME은 개별 기능의 중요성을 설명하고 특정 이미지 입력에 대한 동작에 대한 로컬 설명을 제공할 수 있지만 LIME은 CNN의 전체 동작을 설명하거나 데이터 과학자가 원치 않는 편향을 검색하도록 허용하지 않습니다.

원치 않는 CNN 편향이 발견된 유명한 사례에서 Joy Buolamwini와 같은 대중의 구성원은 혜택을 받지 못한 그룹의 구성원 자격을 기반으로 한 편향 사례를 발견했습니다. 따라서 가장 좋은 완화 방법은 기술 및 비즈니스 접근 방식을 결합하는 것입니다. 자주 테스트하고 생산 전에 테스트를 통해 원치 않는 AI 편향을 찾을 수 있는 다양한 팀을 구성하십시오.

AI 윤리에 대한 법적 의무 및 향후 방향

이 섹션에서는 유럽 연합의 GDPR(일반 데이터 보호 규정)에 중점을 둡니다. GDPR은 전 세계적으로 데이터 보호 법률의 사실상 표준입니다. (그러나 이것이 유일한 법률은 아닙니다. 예를 들어 중국의 개인 정보 보안 사양도 있습니다.) GDPR의 범위와 의미는 매우 논쟁의 여지가 있으므로 이 기사에서는 어떤 방법으로도 법적 조언을 제공하지 않습니다. 그럼에도 불구하고 GDPR은 유럽 조직뿐만 아니라 유럽 시민 또는 거주자의 데이터를 처리하는 모든 조직에 적용되므로 준수하는 것이 전 세계 조직의 이익이라고 합니다.

GDPR 은 구속력 있는 기사 와 구속력이 없는 발표로 구분됩니다. 이 기사는 개인 데이터를 사용하는 엔지니어와 조직에 약간의 부담을 주지만, 편향 완화에 대한 가장 엄격한 조항은 Recital 71에 있으며 구속력이 없습니다. Recital 71은 입법자들이 이미 고려한 대로 가장 가능성이 높은 미래 규정 중 하나입니다. 주석은 GDPR 의무를 더 자세히 살펴봅니다.

우리는 두 가지 주요 요구 사항과 모델 빌더에게 의미하는 바를 확대할 것입니다.

1. 차별적 영향 방지

GDPR은 개인 데이터 모델링에 대한 기술적 접근 방식에 대한 요구 사항을 부과합니다. 민감한 개인 데이터를 다루는 데이터 과학자는 특히 민감한 개인 데이터(예: 인종 식별 정보)의 많은 사용을 금지하는 9조의 텍스트를 읽고 싶어할 것입니다. 보다 일반적인 요구 사항은 Recital 71에서 찾을 수 있습니다.

[. . .] 적절한 수학적 또는 통계적 절차 를 사용, [. . .] 오류의 위험이 최소화 되도록 합니다 [. . .] 인종이나 민족, 정치적 견해, 종교 또는 신념, 노동조합 가입, 유전적 또는 건강 상태, 성적 취향을 근거로 한 차별적 영향을 방지 합니다.

GDPR(강조 광산)

이 발표의 대부분은 훌륭한 모델 구축의 기본으로 받아들여지고 있습니다. 오류 위험을 줄이는 것이 첫 번째 원칙입니다. 그러나 이 발표에서 데이터 과학자들은 정확한 모델뿐만 아니라 차별하지 않는 모델을 만들 의무가 있습니다! 위에서 설명한 것처럼 모든 경우에 가능한 것은 아닙니다. 핵심은 AI 모델에서 원치 않는 편향을 감지하고 완화하기 위해 비즈니스 및 기술 리소스를 사용하여 당면한 문제와 해당 영역에서 발생할 수 있는 차별적 영향에 민감하게 유지하는 것입니다.

2. 설명을 받을 권리

자동화된 의사 결정에 "관련된 논리에 대한 의미 있는 정보"에 대한 권리는 GDPR 조항 13-15 전체에서 찾을 수 있습니다.. Recital 71은 "권리 [. . .] 자동화된 결정에 대한 설명 "(강조 광산)을 얻습니다. (그러나 설명에 대한 구속력의 범위에 대해서는 논쟁이 계속되고 있습니다.)

우리가 논의한 바와 같이, 모델 동작에 대한 설명을 제공하기 위한 일부 도구가 존재하지만 복잡한 모델(예: 컴퓨터 비전 또는 NLP와 관련된 모델)은 정확성을 잃지 않고 쉽게 설명 가능하게 만들 수 없습니다. 설명이 어떻게 생겼는지에 대한 논쟁이 계속되고 있습니다. 최소한의 모범 사례로서, 2020년까지 사용될 가능성이 있는 모델의 경우 LIME 또는 기타 해석 방법을 개발하고 생산을 위해 테스트해야 합니다.

윤리와 AI: 가치 있고 필요한 도전

이 게시물에서 우리는 우리 모델의 원치 않는 편향의 문제를 검토하고, 몇 가지 역사적 사례를 논의하고, 비즈니스 및 기술자를 위한 도구에 대한 몇 가지 지침을 제공하고, 원치 않는 편향과 관련된 주요 규정에 대해 논의했습니다.

기계 학습 모델의 지능이 인간의 지능을 능가함에 따라 인간의 이해도 능가합니다. 그러나 모델이 인간에 의해 설계되고 인간이 수집한 데이터로 훈련되는 한 인간의 편견을 물려받게 됩니다.

이러한 인간의 편견을 관리하려면 데이터에 세심한 주의를 기울여야 하며, AI를 사용하여 필요할 때 원치 않는 편견을 감지 및 퇴치하고, 충분히 다양한 팀을 구성하고, 주어진 문제 공간의 사용자와 대상에 대한 공감을 공유해야 합니다. AI의 공정성을 보장하는 것은 자동화의 근본적인 과제입니다. 그 자동화의 배후에 있는 인간과 엔지니어로서 AI가 공정성을 위한 힘으로 작용하도록 하는 것은 우리의 윤리적, 법적 의무입니다.

머신 러닝의 AI 윤리 및 편견에 대한 추가 읽기

AI 편견에 관한 책

• 인간이 만든 것: AI 조건
• 불평등 자동화: 하이테크 도구가 빈곤층을 파악하고 경찰을 조사하고 처벌하는 방법
• 디지털 막다른 골목: 정보화 시대의 사회 정의를 위한 투쟁

기계 학습 리소스

• 해석 가능한 머신 러닝: 블랙 박스 모델을 설명 가능하게 만들기 위한 가이드
• IBM의 AI 공정성 360 데모

AI 편향 조직

• 알고리즘 저스티스 리그
• AINow Institute 및 그들의 논문 Discriminating Systems - AI의 성별, 인종 및 권력

편향성 회의 논문 및 저널 기사

• 여자가 주부에게 하듯 남자는 컴퓨터 프로그래머에게? 워드 임베딩 편향 제거
• AI Fairness 360: 원치 않는 알고리즘 편향을 감지, 이해 및 완화하기 위한 확장 가능한 툴킷
• 기계 편향(긴 형식의 저널 기사)

AI 바이어스 메트릭의 정의

이질적인 영향

이질적인 영향은 "특권 없는 그룹과 특권 그룹 사이에 유리한 결과가 나올 확률의 비율"로 정의됩니다. 예를 들어, 여성이 남성보다 완벽한 신용 등급을 받을 가능성이 70%라면 이는 서로 다른 영향을 나타냅니다. 교육 데이터와 모델의 예측 모두에 서로 다른 영향이 있을 수 있습니다. 이러한 경우 기본 교육 데이터를 자세히 살펴보고 서로 다른 영향을 수용할 수 있는지 또는 완화해야 하는지 결정하는 것이 중요합니다.

평등한 기회의 차이

평등한 기회 차이는 (위에서 찾은 AI Fairness 360 기사에서) "특권이 없는 그룹과 특권을 가진 그룹 간의 참 양성률의 차이[회상]"로 정의됩니다. 높은 기회균등에 관한 논문에서 논의된 유명한 예는 COMPAS 사례입니다. 위에서 논의한 바와 같이 아프리카계 미국인은 백인 범죄자보다 더 높은 비율로 고위험군으로 잘못 평가되었습니다. 이러한 불일치는 동등한 기회 차이를 구성합니다.

GDPR 섹션에 대한 유용한 정보를 제공한 Jonas Schuett에게 특별한 감사를 전합니다.