Mesin dan Kepercayaan: Cara Mengurangi Bias AI

Pada 2016, Forum Ekonomi Dunia mengklaim bahwa kita sedang mengalami gelombang keempat Revolusi Industri: otomatisasi menggunakan sistem siber-fisik. Elemen kunci dari gelombang ini termasuk kecerdasan mesin, tata kelola terdesentralisasi berbasis blockchain, dan pengeditan genom. Seperti yang terjadi pada gelombang sebelumnya, teknologi ini mengurangi kebutuhan tenaga kerja manusia tetapi menimbulkan tantangan etika baru, terutama bagi perusahaan pengembangan kecerdasan buatan dan klien mereka.

Tujuan artikel ini adalah untuk meninjau ide terbaru tentang mendeteksi dan mengurangi bias yang tidak diinginkan dalam model pembelajaran mesin. Kami akan membahas pedoman yang baru-baru ini dibuat seputar AI yang dapat dipercaya, meninjau contoh bias AI yang muncul dari pilihan model dan bias sosial yang mendasarinya, menyarankan praktik bisnis dan teknis untuk mendeteksi dan mengurangi AI yang bias, dan mendiskusikan kewajiban hukum seperti yang saat ini ada di bawah GDPR dan di mana mereka mungkin berkembang di masa depan.

Manusia: Sumber Bias Utama dalam Pembelajaran Mesin

Semua model dibuat oleh manusia dan mencerminkan bias manusia. Model pembelajaran mesin dapat mencerminkan bias tim organisasi, desainer dalam tim tersebut, ilmuwan data yang menerapkan model, dan insinyur data yang mengumpulkan data. Secara alami, mereka juga mencerminkan bias yang melekat pada data itu sendiri. Sama seperti kita mengharapkan tingkat kepercayaan dari pembuat keputusan manusia, kita harus mengharapkan dan memberikan tingkat kepercayaan dari model kita.

Model yang dapat dipercaya masih akan mengandung banyak bias karena bias (dalam arti luas) adalah tulang punggung pembelajaran mesin. Model prediksi kanker payudara akan memprediksi dengan benar bahwa pasien dengan riwayat kanker payudara bias ke arah hasil yang positif. Tergantung pada desainnya, mungkin diketahui bahwa wanita bias terhadap hasil yang positif. Model terakhir mungkin memiliki tingkat akurasi yang berbeda untuk wanita dan pria, dan menjadi bias dengan cara itu. Pertanyaan kunci untuk ditanyakan bukanlah Apakah model saya bias? , karena jawabannya akan selalu ya .

Mencari pertanyaan yang lebih baik, Kelompok Ahli Tingkat Tinggi Uni Eropa tentang Kecerdasan Buatan telah menghasilkan pedoman yang berlaku untuk pembuatan model. Secara umum, model pembelajaran mesin harus:

1. Sah—menghormati semua hukum dan peraturan yang berlaku
2. Etis—menghormati prinsip dan nilai etika
3. Kuat—baik dari perspektif teknis sambil mempertimbangkan lingkungan sosialnya

Persyaratan singkat ini, dan bentuknya yang lebih panjang, mencakup dan melampaui masalah bias, bertindak sebagai daftar periksa untuk insinyur dan tim. Kami dapat mengembangkan sistem AI yang lebih tepercaya dengan memeriksa bias dalam model kami yang dapat melanggar hukum, tidak etis, atau tidak kuat, dalam konteks pernyataan masalah dan domain.

Kasus Historis Bias AI

Di bawah ini adalah tiga model historis dengan kepercayaan yang meragukan, karena bias AI yang melanggar hukum, tidak etis, atau tidak kuat. Kasus pertama dan paling terkenal, model COMPAS, menunjukkan bagaimana bahkan model yang paling sederhana pun dapat melakukan diskriminasi secara tidak etis menurut ras. Kasus kedua mengilustrasikan cacat pada sebagian besar model pemrosesan bahasa alami (NLP): Model ini tidak tahan terhadap prasangka rasial, seksual, dan lainnya. Kasus terakhir, Alat Penyaringan Keluarga Allegheny, menunjukkan contoh model yang pada dasarnya cacat oleh data yang bias, dan beberapa praktik terbaik dalam mengurangi kekurangan tersebut.

COMPAS

Contoh kanonik dari AI yang bias dan tidak dapat dipercaya adalah sistem COMPAS, yang digunakan di Florida dan negara bagian lain di AS. Sistem COMPAS menggunakan model regresi untuk memprediksi apakah pelaku akan melakukan residivasi atau tidak. Meskipun dioptimalkan untuk akurasi keseluruhan, model memprediksi dua kali lipat jumlah positif palsu untuk residivisme untuk etnis Afrika-Amerika daripada etnis Kaukasia.

Contoh COMPAS menunjukkan bagaimana bias yang tidak diinginkan dapat menyusup ke dalam model kami tidak peduli seberapa nyaman metodologi kami. Dari perspektif teknis, pendekatan yang diambil terhadap data COMPAS sangat biasa, meskipun data survei yang mendasarinya berisi pertanyaan-pertanyaan dengan relevansi yang dipertanyakan. Model kecil yang diawasi dilatih pada kumpulan data dengan sejumlah kecil fitur. (Dalam praktik saya, saya telah mengikuti prosedur teknis serupa puluhan kali, seperti yang mungkin terjadi pada ilmuwan data atau insinyur ML.) Namun, pilihan desain biasa menghasilkan model yang mengandung bias diskriminatif rasial yang tidak diinginkan.

Masalah terbesar dalam kasus COMPAS bukanlah pilihan model yang sederhana, atau bahkan datanya yang cacat. Sebaliknya, tim COMPAS gagal mempertimbangkan bahwa domain (penghukuman), pertanyaan (mendeteksi residivisme), dan jawaban (skor residivisme) diketahui melibatkan disparitas pada sumbu rasial, seksual, dan lainnya bahkan ketika algoritma tidak terlibat. Seandainya tim mencari bias, mereka akan menemukannya. Dengan kesadaran itu, tim COMPAS mungkin dapat menguji berbagai pendekatan dan membuat ulang model sambil menyesuaikan bias. Ini kemudian akan bekerja untuk mengurangi penahanan yang tidak adil terhadap orang Afrika-Amerika, daripada memperburuknya.

Model NLP apa pun yang telah dilatih sebelumnya secara naif di Common Crawl, Google News, atau Corpus Lainnya, Sejak Word2Vec

Model besar yang sudah terlatih membentuk dasar untuk sebagian besar tugas NLP. Kecuali jika model dasar ini dirancang khusus untuk menghindari bias di sepanjang sumbu tertentu, mereka pasti akan diilhami oleh prasangka yang melekat pada korpora tempat mereka dilatih—untuk alasan yang sama bahwa model-model ini bekerja sama sekali. Hasil dari bias ini, menurut ras dan gender, telah ditunjukkan pada model Word2Vec dan GloVe yang dilatih di Common Crawl dan Google News masing-masing. Sementara model kontekstual seperti BERT adalah yang paling mutakhir saat ini (daripada Word2Vec dan GloVe), tidak ada bukti bahwa korpora yang dilatih model ini tidak terlalu diskriminatif.

Meskipun arsitektur model terbaik untuk masalah NLP apa pun dijiwai dengan sentimen diskriminatif, solusinya bukan dengan mengabaikan model yang telah dilatih sebelumnya tetapi lebih mempertimbangkan domain tertentu yang dimaksud, pernyataan masalah, dan data secara totalitas dengan tim. Jika aplikasi adalah aplikasi di mana prasangka diskriminatif oleh manusia diketahui memainkan peran penting, pengembang harus menyadari bahwa model cenderung melanggengkan diskriminasi itu.

Alat Pemutaran Keluarga Allegheny: Bias yang Tidak Adil, Tetapi Dirancang dengan Baik dan Dikurangi

Dalam contoh terakhir ini, kita membahas model yang dibangun dari data diskriminatif yang tidak adil, tetapi bias yang tidak diinginkan dikurangi dengan beberapa cara. Alat Penyaringan Keluarga Allegheny adalah model yang dirancang untuk membantu manusia dalam memutuskan apakah seorang anak harus dikeluarkan dari keluarga mereka karena keadaan yang melecehkan. Alat ini dirancang secara terbuka dan transparan dengan forum publik dan peluang untuk menemukan kekurangan dan ketidaksetaraan dalam perangkat lunak.

Bias yang tidak diinginkan dalam model berasal dari kumpulan data publik yang mencerminkan prasangka masyarakat yang lebih luas. Keluarga kelas menengah dan atas memiliki kemampuan yang lebih tinggi untuk “menyembunyikan” pelecehan dengan menggunakan penyedia layanan kesehatan swasta. Rujukan ke Allegheny County terjadi tiga kali lebih sering untuk keluarga Afrika-Amerika dan biracial daripada keluarga kulit putih. Komentator seperti Virginia Eubanks dan Ellen Broad telah mengklaim bahwa masalah data seperti ini hanya dapat diperbaiki jika masyarakat diperbaiki, tugas di luar insinyur tunggal.

Dalam produksi, county memerangi ketidakadilan dalam modelnya dengan menggunakannya hanya sebagai alat penasehat bagi pekerja garis depan, dan merancang program pelatihan sehingga pekerja garis depan menyadari kegagalan model penasihat ketika mereka membuat keputusan. Dengan perkembangan baru dalam algoritma debiasing, Allegheny County memiliki peluang baru untuk mengurangi bias laten dalam model.

Pengembangan alat Allegheny memiliki banyak hal untuk diajarkan kepada para insinyur tentang batasan algoritme untuk mengatasi diskriminasi laten dalam data dan diskriminasi sosial yang mendasari data tersebut. Ini memberi para insinyur dan desainer contoh pembuatan model konsultatif yang dapat mengurangi dampak dunia nyata dari potensi bias diskriminatif dalam sebuah model.

Menghindari dan Mengurangi Bias AI: Kesadaran Bisnis Utama

Untungnya, ada beberapa pendekatan dan metode debiasing—banyak di antaranya menggunakan kumpulan data COMPAS sebagai tolok ukur.

Tingkatkan Keanekaragaman, Kurangi Defisit Keanekaragaman

Mempertahankan tim yang beragam, baik dari segi demografi maupun keterampilan, penting untuk menghindari dan mengurangi bias AI yang tidak diinginkan. Meskipun lip service terus-menerus dibayar untuk keragaman oleh eksekutif teknologi, perempuan dan orang kulit berwarna tetap kurang terwakili.

Berbagai model ML berkinerja lebih buruk pada minoritas statistik dalam industri AI itu sendiri, dan orang-orang yang pertama kali menyadari masalah ini adalah pengguna perempuan dan/atau orang kulit berwarna. Dengan lebih banyak keragaman dalam tim AI, masalah seputar bias yang tidak diinginkan dapat diperhatikan dan dikurangi sebelum dirilis ke produksi.

Waspadai Proksi: Menghapus Label Kelas yang Dilindungi dari Model Mungkin Tidak Berfungsi!

Pendekatan yang umum dan naif untuk menghilangkan bias yang terkait dengan kelas yang dilindungi (seperti jenis kelamin atau ras) dari data adalah dengan menghapus label yang menandai ras atau jenis kelamin dari model. Dalam banyak kasus, ini tidak akan berhasil, karena model dapat membangun pemahaman tentang kelas yang dilindungi ini dari label lain, seperti kode pos. Praktek yang biasa melibatkan penghapusan label ini juga, baik untuk meningkatkan hasil model dalam produksi tetapi juga karena persyaratan hukum. Perkembangan algoritme debiasing terbaru, yang akan kita bahas di bawah, menunjukkan cara untuk mengurangi bias AI tanpa menghapus label.

Waspadai Batasan Teknis

Bahkan praktik terbaik dalam desain produk dan pembuatan model tidak akan cukup untuk menghilangkan risiko bias yang tidak diinginkan, terutama dalam kasus data yang bias. Penting untuk mengenali keterbatasan data, model, dan solusi teknis kami terhadap bias, baik demi kesadaran, dan agar metode manusia untuk membatasi bias dalam pembelajaran mesin seperti human-in-the-loop dapat dipertimbangkan.

Menghindari dan Mengurangi Bias AI: Alat Teknis Utama untuk Kesadaran dan Debiasing

Ilmuwan data memiliki semakin banyak kesadaran teknis dan alat debiasing yang tersedia bagi mereka, yang melengkapi kapasitas tim untuk menghindari dan mengurangi bias AI. Saat ini, alat kesadaran lebih canggih dan mencakup berbagai pilihan model dan ukuran bias, sementara alat debiasing baru lahir dan dapat mengurangi bias dalam model hanya dalam kasus tertentu.

Alat Kesadaran dan Debiasing untuk Algoritma Pembelajaran Terawasi

IBM telah merilis serangkaian alat kesadaran dan debiasing untuk pengklasifikasi biner di bawah proyek AI Fairness. Untuk mendeteksi bias AI dan menguranginya, semua metode memerlukan label kelas (misalnya, ras, orientasi seksual). Terhadap label kelas ini, berbagai metrik dapat dijalankan (misalnya, dampak yang berbeda dan perbedaan peluang yang sama) yang mengukur bias model terhadap anggota kelas tertentu. Kami menyertakan penjelasan tentang metrik ini di bagian bawah artikel.

Setelah bias terdeteksi, perpustakaan AI Fairness 360 (AIF360) memiliki 10 pendekatan debiasing (dan terus bertambah) yang dapat diterapkan ke model mulai dari pengklasifikasi sederhana hingga jaringan saraf dalam. Beberapa algoritma preprocessing, yang bertujuan untuk menyeimbangkan data itu sendiri. Lainnya adalah algoritma dalam pemrosesan yang menghukum bias yang tidak diinginkan saat membangun model. Namun yang lain menerapkan langkah-langkah pascapemrosesan untuk menyeimbangkan hasil yang menguntungkan setelah prediksi. Pilihan terbaik tertentu akan tergantung pada masalah Anda.

AIF360 memiliki batasan praktis yang signifikan karena deteksi bias dan algoritma mitigasi dirancang untuk masalah klasifikasi biner, dan perlu diperluas ke masalah multikelas dan regresi. Pustaka lain, seperti Aequitas dan LIME, memiliki metrik yang bagus untuk beberapa model yang lebih rumit—tetapi hanya mendeteksi bias. Mereka tidak mampu memperbaikinya. Tetapi bahkan hanya pengetahuan bahwa model bias sebelum masuk ke produksi masih sangat berguna, karena harus mengarah pada pengujian pendekatan alternatif sebelum rilis.

Alat Kesadaran Umum: LIME

Toolkit Local Interpretable Model-agnostic Explanations (LIME) dapat digunakan untuk mengukur pentingnya fitur dan menjelaskan perilaku lokal sebagian besar model—termasuk klasifikasi multikelas, regresi, dan aplikasi pembelajaran mendalam. Ide umumnya adalah untuk menyesuaikan model linier atau berbasis pohon yang sangat dapat ditafsirkan dengan prediksi model yang diuji untuk bias.

Misalnya, CNN mendalam untuk pengenalan gambar sangat kuat tetapi tidak terlalu dapat ditafsirkan. Dengan melatih model linier untuk meniru perilaku jaringan, kita dapat memperoleh beberapa wawasan tentang cara kerjanya. Secara opsional, pembuat keputusan manusia dapat meninjau alasan di balik keputusan model dalam kasus tertentu melalui LIME dan membuat keputusan akhir di atas itu. Proses ini dalam konteks medis ditunjukkan dengan gambar di bawah ini.

Model NLP Debiasing

Sebelumnya, kami membahas bias laten di sebagian besar korpora yang digunakan untuk melatih model NLP. Jika bias yang tidak diinginkan mungkin ada untuk masalah tertentu, saya merekomendasikan penyematan kata debias yang tersedia. Dilihat dari minat dari komunitas akademik, kemungkinan model NLP yang lebih baru seperti BERT akan segera menghilangkan penyematan kata.

Debiasing Convolutional Neural Networks (CNNs)

Meskipun LIME dapat menjelaskan pentingnya fitur individual dan memberikan penjelasan lokal tentang perilaku pada input gambar tertentu, LIME tidak menjelaskan perilaku CNN secara keseluruhan atau memungkinkan ilmuwan data untuk mencari bias yang tidak diinginkan.

Dalam kasus terkenal di mana bias CNN yang tidak diinginkan ditemukan, anggota masyarakat (seperti Joy Buolamwini) melihat contoh bias berdasarkan keanggotaan mereka dalam kelompok yang kurang mampu. Oleh karena itu, pendekatan terbaik dalam mitigasi menggabungkan pendekatan teknis dan bisnis: Sering-seringlah menguji, dan bangun beragam tim yang dapat menemukan bias AI yang tidak diinginkan melalui pengujian sebelum produksi.

Kewajiban Hukum dan Arah Masa Depan seputar Etika AI

Di bagian ini, kami berfokus pada Peraturan Perlindungan Data Umum (GDPR) Uni Eropa. GDPR secara global merupakan standar de facto dalam undang-undang perlindungan data. (Tapi itu bukan satu-satunya undang-undang—ada juga Spesifikasi Keamanan Informasi Pribadi China, misalnya.) Ruang lingkup dan makna GDPR sangat bisa diperdebatkan, jadi kami tidak menawarkan nasihat hukum dalam artikel ini, dengan cara apa pun. Namun demikian, dikatakan bahwa merupakan kepentingan organisasi secara global untuk mematuhinya, karena GDPR tidak hanya berlaku untuk organisasi Eropa tetapi organisasi mana pun yang menangani data milik warga negara atau penduduk Eropa.

GDPR dipisahkan menjadi artikel yang mengikat dan resital yang tidak mengikat . Sementara pasal-pasal tersebut membebankan beberapa insinyur dan organisasi yang menggunakan data pribadi, ketentuan paling ketat untuk mitigasi bias berada di bawah Recital 71, dan tidak mengikat. Resital 71 adalah salah satu peraturan masa depan yang paling mungkin karena telah direnungkan oleh legislator. Komentar mengeksplorasi kewajiban GDPR secara lebih rinci.

Kami akan memperbesar dua persyaratan utama dan apa artinya bagi pembuat model.

1. Pencegahan Efek Diskriminatif

GDPR memberlakukan persyaratan pada pendekatan teknis untuk pemodelan apa pun pada data pribadi. Ilmuwan data yang bekerja dengan data pribadi sensitif akan ingin membaca teks Pasal 9, yang melarang banyak penggunaan data pribadi yang sangat sensitif (seperti pengenal ras). Persyaratan yang lebih umum dapat ditemukan di Recital 71:

[. . .] menggunakan prosedur matematika atau statistik yang sesuai , [. . .] memastikan bahwa risiko kesalahan diminimalkan [. . .], dan mencegah efek diskriminatif berdasarkan asal ras atau etnis, opini politik, agama atau kepercayaan, keanggotaan serikat pekerja, status genetik atau kesehatan, atau orientasi seksual.

GDPR (penekanan tambang)

Sebagian besar resital ini diterima sebagai dasar untuk membangun model yang baik: Mengurangi risiko kesalahan adalah prinsip pertama. Namun, di bawah resital ini, para ilmuwan data berkewajiban tidak hanya untuk membuat model yang akurat tetapi juga model yang tidak membeda-bedakan! Seperti diuraikan di atas, ini mungkin tidak mungkin dalam semua kasus. Kuncinya tetap peka terhadap efek diskriminatif yang mungkin timbul dari pertanyaan yang ada dan domainnya, menggunakan sumber daya bisnis dan teknis untuk mendeteksi dan mengurangi bias yang tidak diinginkan dalam model AI.

2. Hak atas Penjelasan

Hak atas "informasi yang berarti tentang logika yang terlibat" dalam pengambilan keputusan otomatis dapat ditemukan di seluruh pasal 13-15 GDPR. Resital 71 secara eksplisit menyerukan "hak [. . .] untuk mendapatkan penjelasan ” (penekanan saya) dari keputusan otomatis. (Namun, perdebatan terus berlanjut mengenai sejauh mana hak yang mengikat untuk sebuah penjelasan .)

Seperti yang telah kita diskusikan, beberapa alat untuk memberikan penjelasan untuk perilaku model memang ada, tetapi model yang kompleks (seperti yang melibatkan visi komputer atau NLP) tidak dapat dengan mudah dijelaskan tanpa kehilangan akurasi. Perdebatan berlanjut seperti apa penjelasannya. Sebagai praktik terbaik minimum, untuk model yang kemungkinan akan digunakan hingga tahun 2020, LIME atau metode interpretasi lainnya harus dikembangkan dan diuji untuk produksi.

Etika dan AI: Tantangan yang Layak dan Diperlukan

Dalam posting ini, kami telah meninjau masalah bias yang tidak diinginkan dalam model kami, membahas beberapa contoh historis, memberikan beberapa pedoman untuk bisnis dan alat untuk teknolog, dan membahas peraturan utama yang berkaitan dengan bias yang tidak diinginkan.

Karena kecerdasan model pembelajaran mesin melampaui kecerdasan manusia, mereka juga melampaui pemahaman manusia. Tapi, selama model dirancang oleh manusia dan dilatih berdasarkan data yang dikumpulkan oleh manusia, mereka akan mewarisi prasangka manusia.

Mengelola prasangka manusia ini memerlukan perhatian yang cermat terhadap data, menggunakan AI untuk membantu mendeteksi dan memerangi bias yang tidak diinginkan bila diperlukan, membangun tim yang cukup beragam, dan memiliki rasa empati bersama untuk pengguna dan target dari ruang masalah tertentu. Memastikan bahwa AI itu adil adalah tantangan mendasar dari otomatisasi. Sebagai manusia dan insinyur di balik otomatisasi itu, adalah kewajiban etis dan hukum kami untuk memastikan AI bertindak sebagai kekuatan untuk keadilan.

Bacaan Lebih Lanjut tentang Etika dan Bias AI dalam Pembelajaran Mesin

Buku tentang AI Bias

• Dibuat oleh Manusia: Kondisi AI
• Mengotomatiskan Ketimpangan: Bagaimana Alat Berteknologi Tinggi Memprofil, Mengepolisi, dan Menghukum Orang Miskin
• Digital Dead End: Berjuang untuk Keadilan Sosial di Era Informasi

Sumber Daya Pembelajaran Mesin

• Pembelajaran Mesin yang Dapat Diinterpretasikan: Panduan untuk Membuat Model Kotak Hitam Dapat Dijelaskan
• Demo AI Fairness 360 IBM

Organisasi Bias AI

• Liga Keadilan Algoritma
• AINow Institute dan makalahnya Sistem Diskriminasi - Gender, Ras, dan Kekuasaan dalam AI

Makalah Konferensi dan Artikel Jurnal Debiasing

• Laki-laki bagi Pemrogram Komputer seperti Perempuan bagi Ibu Rumah Tangga? Penyematan Kata Debiasing
• AI Fairness 360: Toolkit yang Dapat Diperluas untuk Mendeteksi, Memahami, dan Mengurangi Bias Algoritma yang Tidak Diinginkan
• Bias Mesin (Artikel jurnal bentuk panjang)

Definisi Metrik Bias AI

Dampak Berbeda

Dampak yang berbeda didefinisikan sebagai “rasio dalam kemungkinan hasil yang menguntungkan antara kelompok yang tidak memiliki hak istimewa dan kelompok yang memiliki hak istimewa.” Misalnya, jika perempuan 70% lebih mungkin untuk menerima peringkat kredit yang sempurna sebagai laki-laki, ini merupakan dampak yang berbeda. Dampak yang berbeda dapat muncul baik dalam data pelatihan maupun dalam prediksi model: dalam kasus ini, penting untuk melihat lebih dalam ke data pelatihan yang mendasarinya dan memutuskan apakah dampak yang berbeda dapat diterima atau harus dikurangi.

Selisih Peluang yang Sama

Perbedaan peluang yang sama didefinisikan (dalam artikel AI Fairness 360 yang ditemukan di atas) sebagai “perbedaan dalam tingkat positif yang sebenarnya [recall] antara kelompok yang tidak memiliki hak istimewa dan yang memiliki hak istimewa.” Contoh terkenal yang dibahas dalam makalah tentang perbedaan peluang yang sama tinggi adalah kasus COMPAS. Seperti dibahas di atas, orang Afrika-Amerika dinilai secara keliru sebagai berisiko tinggi pada tingkat yang lebih tinggi daripada pelanggar Kaukasia. Perbedaan ini merupakan perbedaan kesempatan yang sama.

Terima kasih khusus kepada Jonas Schuett karena telah memberikan beberapa petunjuk berguna tentang bagian GDPR.