機械と信頼：AIバイアスを軽減する方法

2016年、世界経済フォーラムは、産業革命の第4の波、サイバーフィジカルシステムを使用した自動化を経験していると主張しました。 この波の重要な要素には、機械知能、ブロックチェーンベースの分散型ガバナンス、およびゲノム編集が含まれます。 以前の波の場合と同様に、これらのテクノロジーは人的労力の必要性を減らしますが、特に人工知能開発会社とそのクライアントにとって、新しい倫理的課題をもたらします。

この記事の目的は、機械学習モデルの不要なバイアスを検出して軽減するための最近のアイデアを確認することです。 信頼できるAIに関する最近作成されたガイドラインについて説明し、モデルの選択と基礎となる社会的バイアスの両方から生じるAIバイアスの例を確認し、バイアスされたAIを検出して軽減するためのビジネスおよび技術的慣行を提案し、GDPRの下で現在存在する法的義務とその場所について説明します。それらは将来開発される可能性があります。

人間：機械学習におけるバイアスの究極の源

すべてのモデルは人間によって作成され、人間の偏見を反映しています。 機械学習モデルは、組織チーム、それらのチームの設計者、モデルを実装するデータサイエンティスト、およびデータを収集するデータエンジニアのバイアスを反映できます。 当然、それらはデータ自体に固有のバイアスも反映しています。 人間の意思決定者にある程度の信頼性を期待するのと同じように、モデルにもある程度の信頼性を期待して提供する必要があります。

バイアス（最も広い意味で）は機械学習のバックボーンであるため、信頼できるモデルには依然として多くのバイアスが含まれます。 乳がん予測モデルは、乳がんの病歴のある患者が肯定的な結果に偏っていることを正しく予測します。 デザインによっては、女性がポジティブな結果に偏っていることを学ぶかもしれません。 最終的なモデルは、女性と男性で精度のレベルが異なり、そのようにバイアスがかかる可能性があります。 重要な質問は、私のモデルに偏りがないかどうかです。 、答えは常に「はい」になるためです。

より良い質問を探して、人工知能に関する欧州連合のハイレベル専門家グループは、モデル構築に適用可能なガイドラインを作成しました。 一般に、機械学習モデルは次のようになります。

1. 合法-適用されるすべての法律および規制を尊重する
2. 倫理的—倫理的原則と価値観を尊重する
3. 堅牢-社会的環境を考慮しながら、技術的な観点からも

これらの短い要件とその長い形式には、バイアスの問題が含まれ、それを超えて、エンジニアとチームのチェックリストとして機能します。 問題の記述とドメインのコンテキストで、違法、非倫理的、または堅牢でない可能性のあるモデル内のバイアスを調べることで、より信頼できるAIシステムを開発できます。

AIバイアスの歴史的事例

以下は、AIバイアスが違法、非倫理的、または堅牢でないために、信頼性が疑わしい3つの履歴モデルです。 最初の最も有名なケースであるCOMPASモデルは、最も単純なモデルでさえ人種に応じて非倫理的に差別する方法を示しています。 2番目のケースは、ほとんどの自然言語処理（NLP）モデルの欠陥を示しています。これらは、人種的、性的、およびその他の偏見に対して堅牢ではありません。 最後のケースであるAlleghenyFamilyScreening Toolは、偏ったデータによって根本的に欠陥があるモデルの例と、それらの欠陥を軽減するためのいくつかのベストプラクティスを示しています。

コンパス

偏った、信頼できないAIの標準的な例は、フロリダや米国の他の州で使用されているCOMPASシステムです。 COMPASシステムは、回帰モデルを使用して、実行者が再犯する可能性が高いかどうかを予測しました。 全体的な精度を最適化したものの、モデルは、白人の民族よりもアフリカ系アメリカ人の民族の再犯の誤検知の数を2倍と予測しました。

COMPASの例は、方法論がどれほど快適であっても、不要なバイアスがモデルに忍び寄る可能性があることを示しています。 技術的な観点からは、COMPASデータへのアプローチは非常に普通でしたが、基礎となる調査データには疑わしい関連性のある質問が含まれていました。 小さな教師ありモデルは、少数の機能を備えたデータセットでトレーニングされました。 （私の実践では、データサイエンティストやMLエンジニアの場合と同様に、同様の技術的手順を何十回も実行しました。）それでも、通常の設計の選択により、望ましくない人種差別的なバイアスを含むモデルが作成されました。

COMPASの場合の最大の問題は、単純なモデルの選択ではなく、データに欠陥があることでさえありませんでした。 むしろ、COMPASチームは、アルゴリズムが関与していない場合でも、ドメイン（量刑）、質問（再犯の検出）、および回答（再犯スコア）が人種、性別、およびその他の軸の格差を伴うことがわかっているとは考えていませんでした。 チームが偏見を探していたら、彼らはそれを見つけていただろう。 その認識があれば、COMPASチームはさまざまなアプローチをテストし、バイアスを調整しながらモデルを再作成できた可能性があります。 これは、アフリカ系アメリカ人の不当な投獄を悪化させるのではなく、減らすために働いたでしょう。

Word2Vec以降、コモンクロール、Googleニュース、またはその他のコーパスで素朴に事前トレーニングされたNLPモデル

大規模な事前トレーニング済みモデルは、ほとんどのNLPタスクのベースを形成します。 これらの基本モデルが特定の軸に沿った偏見を回避するように特別に設計されていない限り、これらのモデルがまったく機能するのと同じ理由で、トレーニングを受けたコーパスに固有の偏見が確実に染み込んでいます。 このバイアスの結果は、人種や性別の線に沿って、コモンクロールとグーグルニュースでそれぞれ訓練されたWord2VecモデルとGloVeモデルに示されています。 BERTなどのコンテキストモデルは（Word2VecやGloVeではなく）現在の最先端モデルですが、これらのモデルがトレーニングされているコーパスがそれほど差別的ではないという証拠はありません。

NLPの問題に最適なモデルアーキテクチャには差別的な感情が吹き込まれていますが、解決策は、事前にトレーニングされたモデルを放棄するのではなく、問題の特定のドメイン、問題の説明、およびデータをチーム全体で検討することです。 アプリケーションが人間による差別的な偏見が重要な役割を果たすことが知られているアプリケーションである場合、開発者はモデルがその差別を永続させる可能性があることに注意する必要があります。

Alleghenyファミリースクリーニングツール：不当に偏っているが、適切に設計され、軽減されている

この最後の例では、不当に差別的なデータから構築されたモデルについて説明しますが、不要なバイアスはいくつかの方法で軽減されます。 Allegheny Family Screening Toolは、虐待的な状況のために子供を家族から連れ去るべきかどうかを人間が決定するのを支援するために設計されたモデルです。 このツールは、公開フォーラムとソフトウェアの欠陥や不平等を見つける機会を利用して、オープンかつ透過的に設計されました。

モデルの望ましくないバイアスは、より広範な社会的偏見を反映する公開データセットに起因します。 中流階級と上流階級の家族は、民間の医療提供者を利用することで虐待を「隠す」能力が高くなっています。 アレゲニー郡への紹介は、白人の家族よりもアフリカ系アメリカ人と異人種間の家族の3倍以上の頻度で発生します。 ヴァージニア・ユーバンクスやエレン・ブロードのようなコメンテーターは、これらのようなデータの問題は、社会が固定されている場合にのみ修正できると主張しています。

生産において、郡は最前線の労働者のための助言ツールとしてのみそれを使用することによってそのモデルの不平等と戦い、最前線の労働者が彼らの決定をするときに助言モデルの失敗に気付くように訓練プログラムを設計します。 バイアス除去アルゴリズムの新しい開発により、アレゲニー郡にはモデルの潜在バイアスを軽減する新しい機会があります。

Alleghenyツールの開発は、データの潜在的な差別とそのデータの根底にある社会的差別を克服するためのアルゴリズムの限界についてエンジニアに教えることがたくさんあります。 これは、エンジニアと設計者に、モデル内の潜在的な差別的バイアスの実際の影響を軽減できるコンサルティングモデル構築の例を提供します。

AIバイアスの回避と軽減：主要なビジネス意識

幸いなことに、バイアスを取り除くアプローチと方法がいくつかあります。その多くは、COMPASデータセットをベンチマークとして使用します。

多様性を改善し、多様性の赤字を軽減する

人口統計とスキルセットの両方の観点から多様なチームを維持することは、不要なAIバイアスを回避および軽減するために重要です。 テクノロジーエグゼクティブによって多様性に支払われる継続的なリップサービスにもかかわらず、女性と有色人種は依然として過小評価されています。

さまざまなMLモデルは、AI業界自体の統計的マイノリティに対してパフォーマンスが低く、これらの問題に最初に気付くのは、女性や有色人種のユーザーです。 AIチームの多様性が増すと、本番環境にリリースする前に、不要なバイアスに関する問題に気づき、軽減することができます。

プロキシに注意してください：モデルから保護されたクラスラベルを削除しても機能しない場合があります！

保護されたクラス（性別や人種など）に関連するバイアスをデータから削除するための一般的で素朴なアプローチは、モデルから人種または性別を示すラベルを削除することです。 多くの場合、これは機能しません。これは、モデルが郵便番号などの他のラベルからこれらの保護されたクラスの理解を構築できるためです。 通常の慣行では、これらのラベルも削除して、生産中のモデルの結果を改善するだけでなく、法的要件もあります。 以下で説明するバイアス除去アルゴリズムの最近の開発は、ラベルを削除せずにAIバイアスを軽減する方法を表しています。

技術的限界に注意してください

製品設計とモデル構築のベストプラクティスでさえ、特にバイアスのかかったデータの場合、不要なバイアスのリスクを取り除くのに十分ではありません。 認識のために、またヒューマンインザループなどの機械学習におけるバイアスを制限する人間の方法を検討できるように、バイアスに対するデータ、モデル、および技術的ソリューションの制限を認識することが重要です。

AIバイアスの回避と軽減：認識とバイアス除去のための主要な技術ツール

データサイエンティストは、AIバイアスを回避および軽減するチームの能力を補完する、利用可能な技術認識およびバイアス除去ツールの数を増やしています。 現在、認識ツールはより洗練されており、幅広いモデルの選択とバイアス測定をカバーしていますが、バイアス除去ツールは初期段階であり、特定の場合にのみモデルのバイアスを軽減できます。

教師あり学習アルゴリズムのための認識およびバイアス除去ツール

IBMは、AI Fairnessプロジェクトの下で、二項分類器用の一連の認識およびバイアス除去ツールをリリースしました。 AIバイアスを検出して軽減するには、すべてのメソッドにクラスラベル（人種、性的指向など）が必要です。 このクラスラベルに対して、クラスの特定のメンバーに対するモデルのバイアスを定量化するさまざまなメトリックを実行できます（たとえば、異なる影響と機会均等の違い）。 記事の下部にこれらのメトリックの説明が含まれています。

バイアスが検出されると、AI Fairness 360ライブラリ（AIF360）には、単純な分類器からディープニューラルネットワークに至るまでのモデルに適用できる10のバイアス除去アプローチ（およびカウント）があります。 一部は、データ自体のバランスを取ることを目的とした前処理アルゴリズムです。 その他は、モデルの構築中に不要なバイアスにペナルティを課す処理中のアルゴリズムです。 さらに、予測後の好ましい結果のバランスをとるために後処理ステップを適用するものもあります。 特に最良の選択はあなたの問題に依存します。

AIF360には、バイアス検出および軽減アルゴリズムが二項分類問題用に設計されており、マルチクラスおよび回帰問題に拡張する必要があるという点で、実用上の大きな制限があります。 AequitasやLIMEなどの他のライブラリには、より複雑なモデルの優れたメトリックがありますが、バイアスを検出するだけです。 彼らはそれを修正することができません。 ただし、モデルが本番環境に移行する前にバイアスがかかっているという知識だけでも、リリース前に代替アプローチをテストすることにつながるため、非常に役立ちます。

一般的な認識ツール：LIME

ローカル解釈可能モデルにとらわれない説明（LIME）ツールキットを使用して、特徴の重要性を測定し、ほとんどのモデル（マルチクラス分類、回帰、および深層学習アプリケーションを含む）のローカル動作を説明できます。 一般的な考え方は、バイアスについてテストされているモデルの予測に、高度に解釈可能な線形モデルまたはツリーベースのモデルを適合させることです。

たとえば、画像認識用のディープCNNは非常に強力ですが、あまり解釈できません。 ネットワークの動作をエミュレートする線形モデルをトレーニングすることで、それがどのように機能するかについての洞察を得ることができます。 オプションで、人間の意思決定者は、LIMEを介して特定のケースでモデルの決定の背後にある理由を確認し、その上で最終決定を下すことができます。 医療の文脈におけるこのプロセスは、以下の画像で示されています。

NLPモデルのバイアス除去

以前、NLPモデルのトレーニングに使用されるほとんどのコーパスに潜むバイアスについて説明しました。 特定の問題に対して不要なバイアスが存在する可能性がある場合は、すぐに利用できるバイアスのない単語の埋め込みをお勧めします。 学術界からの関心から判断すると、BERTのような新しいNLPモデルでは、まもなく単語の埋め込みが偏る可能性があります。

畳み込みニューラルネットワーク（CNN）のバイアス除去

LIMEは個々の機能の重要性を説明し、特定の画像入力での動作のローカルな説明を提供できますが、LIMEはCNNの全体的な動作を説明したり、データサイエンティストが不要なバイアスを検索したりすることはできません。

不要なCNNバイアスが見つかった有名なケースでは、一般の人々（Joy Buolamwiniなど）は、恵まれないグループのメンバーシップに基づくバイアスの事例に気づきました。 したがって、緩和策の最善のアプローチは、技術的アプローチとビジネス的アプローチを組み合わせたものです。頻繁にテストし、本番前のテストを通じて不要なAIバイアスを見つけることができる多様なチームを構築します。

AI倫理に関する法的義務と将来の方向性

このセクションでは、欧州連合の一般データ保護規則（GDPR）に焦点を当てます。 GDPRは、データ保護法の事実上の標準です。 （ただし、法律はこれだけではありません。たとえば、中国の個人情報セキュリティ仕様もあります。）GDPRの範囲と意味については非常に議論の余地があるため、この記事では決して法的アドバイスを提供していません。 それでも、GDPRはヨーロッパの組織だけでなく、ヨーロッパの市民や居住者に属するデータを処理するすべての組織に適用されるため、準拠することは世界中の組織の利益になると言われています。

GDPRは、拘束力のある記事と拘束力のないリサイタルに分けられます。 記事は個人データを使用するエンジニアや組織にいくらかの負担を課しますが、バイアスを軽減するための最も厳格な規定はリサイタル71の下にあり、拘束力はありません。 リサイタル71は、立法府によってすでに検討されているため、最も可能性の高い将来の規制の1つです。 解説では、GDPRの義務についてさらに詳しく説明しています。

2つの主要な要件と、それらがモデルビルダーにとって何を意味するかを詳しく見ていきます。

1.差別的影響の防止

GDPRは、個人データのモデリングに対する技術的アプローチに要件を課します。 機密性の高い個人データを扱うデータサイエンティストは、特に機密性の高い個人データ（人種識別子など）の多くの使用を禁止している第9条のテキストを読みたいと思うでしょう。 より一般的な要件は、リサイタル71に記載されています。

[。 。 。]適切な数学的または統計的手順を使用する、[。 。 。]エラーのリスクを最小限に抑えるようにします[。 。 。]、人種的または民族的出身、政治的意見、宗教または信念、労働組合への加入、遺伝的または健康状態、または性的指向に基づく差別的影響を防止します。

GDPR（強調鉱山）

このリサイタルの多くは、優れたモデル構築の基本として受け入れられています。エラーのリスクを減らすことが最初の原則です。 ただし、このリサイタルでは、データサイエンティストは、正確なモデルを作成するだけでなく、差別のないモデルを作成する必要があります。 上で概説したように、これはすべての場合に可能であるとは限りません。 重要なのは、AIモデルの不要なバイアスを検出して軽減するためにビジネスおよび技術リソースを使用して、目前の質問とそのドメインから生じる可能性のある差別的な影響に敏感であることに変わりはありません。

2.説明の権利

自動化された意思決定に「関与する論理に関する意味のある情報」に対する権利は、GDPRの第13条から第15条に記載されています。リサイタル71は、「権利[。 。 。]自動化された決定の説明を取得する」（私の強調）。 （ただし、説明に対する拘束力のある権利の範囲については議論が続いています。）

すでに説明したように、モデルの動作を説明するためのツールはいくつか存在しますが、複雑なモデル（コンピュータービジョンやNLPを含むモデルなど）は、精度を失うことなく簡単に説明できるようにすることはできません。 説明がどのようになるかについては議論が続いています。 最低限のベストプラクティスとして、2020年までに使用される可能性のあるモデルについては、LIMEまたはその他の解釈方法を開発し、本番環境でテストする必要があります。

倫理とAI：価値があり必要な課題

この投稿では、モデルの不要なバイアスの問題を確認し、いくつかの歴史的な例について説明し、技術者向けのビジネスとツールのガイドラインを提供し、不要なバイアスに関連する主要な規制について説明しました。

機械学習モデルのインテリジェンスは人間のインテリジェンスを超えるため、人間の理解も上回ります。 しかし、モデルが人間によって設計され、人間によって収集されたデータで訓練されている限り、モデルは人間の偏見を継承します。

これらの人間の偏見を管理するには、データに細心の注意を払い、AIを使用して必要に応じて不要なバイアスを検出して対処し、十分に多様なチームを構築し、特定の問題領域のユーザーとターゲットに共感を共有する必要があります。 AIが公平であることを保証することは、自動化の基本的な課題です。 その自動化の背後にある人間とエンジニアとして、AIが公平性の力として機能することを保証することは私たちの倫理的および法的義務です。

機械学習におけるAIの倫理とバイアスに関するさらなる読み物

AIバイアスに関する本

• 人間によって作られた：AIの状態
• 不平等の自動化：ハイテクツールがどのように貧しい人々をプロファイルし、監視し、罰するか
• デジタル行き止まり：情報化時代の社会正義のための戦い

機械学習リソース

• 解釈可能な機械学習：ブラックボックスモデルを説明可能にするためのガイド
• IBMのAIFairness360デモ

AIバイアス組織

• アルゴリズム正義リーグ
• AINowInstituteとその論文DiscriminatingSystems-AIにおける性別、人種、権力

会議論文とジャーナル記事のバイアスを取り除く

• 男性はコンピュータープログラマーにとって、女性は主婦にとってですか？ 単語の埋め込みのバイアスを取り除く
• AI Fairness 360：不要なアルゴリズムバイアスを検出、理解、軽減するための拡張可能なツールキット
• マシンバイアス（長文ジャーナル記事）

AIバイアスメトリクスの定義

異なる影響

異なる影響は、「非特権グループと特権グループの間の好ましい結果の確率の比率」として定義されます。 たとえば、女性が男性と比べて完全な信用格付けを受け取る可能性が70％である場合、これは異なる影響を表します。 トレーニングデータとモデルの予測の両方に異なる影響が存在する可能性があります。これらの場合、基礎となるトレーニングデータを詳しく調べて、異なる影響が許容できるか、軽減する必要があるかを判断することが重要です。

機会均等の違い

機会均等の違いは（上記のAI Fairness 360の記事で）「非特権グループと特権グループの間の真の陽性率[リコール]の違い」として定義されています。 機会均等の差が大きいという論文で論じられている有名な例は、COMPASの場合です。 上記のように、アフリカ系アメリカ人は、白人の犯罪者よりも高い割合で高リスクと誤って評価されていました。 この不一致は機会均等の違いを構成します。

GDPRセクションに関するいくつかの有用な指針を提供してくれたJonasSchuettに特に感謝します。