Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy

Cathy O’Neill
Crown Publishing (2016)
259 hal

Kalau biasanya buku-buku matematika populer itu menyoroti hal-hal positif dari matematika, buku ini sebaliknya: menyoroti sisi negatif implementasi matematika-statistik yang digunakan di berbagai software dalam segala segi kehidupan manusia (fokus buku ini di Amerika Serikat).

Buku ini sedikit banyak isinya menyoroti hal yang sama dengan buku “Rage Inside the Machine” yang saya review beberapa waktu yang lalu, tapi lebih fokus membahas contoh-contoh kasus bagaimana bias algoritma menghasilkan efek negatif di berbagai bidang. Buku ini juga lebih ringkas dan bahasanya ringan mudah dibaca awam.

Penulisnya, Cathy O’Neill adalah data scientist, doktor matematika dari Harvard, dosen di Barnard College Columbia University sebelum pindah ke private sector dan bekerja di Wall Street sampai krisis finansial 2008. Pada saat itulah ia melihat ‘kerusakan fatal’ yang diakibatkan praktek-praktek finansial yang salah satunya digerakkan oleh algoritma matematika yang tidak transparan sehingga sulit dilacak kesalahannya.
Sejak saat itu O’Neill menjadi aktivis yang mengedukasi publik tentang efek negatif bias algoritma matematika dalam berbagai sistem. Parameter, data, dan analisis yang tidak tepat dapat merugikan kalangan masyarakat tertentu, terutama mereka yang miskin.

Di awal buku dicontohkan tentang program penentuan “guru yang baik” dengan cara menilai ‘skor pencapaian murid dalam matematika dan membaca’. Program ini tidak memasukkan faktor-faktor di luar itu, padahal situasi setiap sekolah (malah setiap kelas) bisa jadi berbeda. Anak-anak di daerah miskin di suatu kota berhadapan dengan lebih banyak masalah dibanding di distrik kalangan menengah ke atas.

Akibatnya, seorang guru di satu sekolah di Washington DC kehilangan pekerjaannya karena nilainya tidak memenuhi batas minimum yang ditentukan oleh program tersebut, padahal ia adalah salah satu guru terbaik di sekolahnya, sangat perhatian dan kerja keras membantu murid-muridnya. Apa daya, parameter algoritmalah yang menang.

Sesuai dengan judulnya yang merupakan pelesetan dari istilah militer WMD (Weapons of Mass Destruction), judul-judul bab di buku ini juga menggunakan istilah-istilah yang sering dipakai dalam perang.

Bab pertama (Bomb Parts) menjelaskan tentang “apa itu model matematika”, yang pada intinya mengatakan bahwa suatu model adalah penyederhanaan dari realitas, dengan parameter dan nilai-nilai yang ditentukan oleh si pembuat model/program. Model yang terbatas ini tidak bisa menilai hal-hal diluar parameternya, juga bias dan opini si programmer bisa ikut tertanam di dalamnya, akibatnya banyak yang dirugikan dengan sistem seperti ini. Dicontohkan tentang narapidana yang dijatuhi hukuman mati alih-alih seumur hidup dengan kemungkinan bebas bersyarat, karena model algoritma yang digunakan oleh seorang saksi psikolog menilai (berdasarkan parameter tertentu, termasuk ras!) ia terlalu berbahaya untuk dibebaskan.

Bab kedua (Shell Shocked) menceritakan pengalaman O’Neill di dunia finansial, bagaimana sistem perbankan Wall Street bekerja, praktek-praktek dan kebijakan finansial seperti apa yang membawa pada housing bubble & burst yang meruntuhkan ekonomi dunia tahun 2008.

Bab ketiga (Arms Race) bercerita tentang sistem ranking universitas yang dimulai oleh suatu majalah, dengan parameter yang mereka tentukan sendiri. Meskipun pemilihan parameternya dipertanyakan, ternyata sistem ini menjadi populer dan dianggap mewakili kualitas pendidikan suatu universitas. Akibatnya sekolah-sekolah saling berlomba menaikkan skor mereka sesuai parameter sistem, yang kadang tidak berhubungan dengan kualitas pendidikan (misal, fasilitas olahraga terutama American football, sesuatu yang rupanya dianggap sangat penting di Amerika). Efek lainnya, anak-anak sekolah dan keluarganya berlomba-lomba masuk ke ‘sekolah top’, kadang memunculkan praktek-praktek kecurangan seperti suap, kolusi, dan korupsi, selain juga meningkatkan stress anak-anaknya.

Bab-bab lainnya bercerita tentang algoritma yang dipakai dalam optimasi target iklan online (dicontohkan universitas-universitas swasta yang target iklannya justru orang-orang miskin), sistem lamaran pekerjaan otomatis yang dipakai banyak perusahaan besar (diceritakan tentang parameter ‘mental health’ yang membuat seorang pemuda cerdas ditolak kerja di mana-mana akibat dia menjawab ‘ya’, karena sempat mengalami depresi), program penjadwalan kerja untuk optimasi bisnis ritel (yang membuat jadwal kerja berubah-ubah sesuai optimasi program, mengganggu ritme hidup karyawan), sistem aplikasi kartu kredit dan asuransi, serta kampanye politik.

Terakhir, ada satu bab yang ingin saya soroti, bab Civilian Casualties tentang bias algoritma dalam sistem kepolisian dan peradilan di Amerika. Diceritakan tentang program PredPol yang dipakai kepolisian di berbagai kota di Amerika. Program ini menganalisa data kriminalitas dan memprediksi di mana kriminalitas paling mungkin terjadi, sebagai optimasi pengerahan patroli. Masalahnya, kriminalitas kelas teri seringkali terjadi di daerah miskin, dan data ‘teri’ ini mengubah data keseluruhan menjadi asimetri, condong ke daerah miskin (yang biasanya ditinggali golongan kulit hitam dan minoritas). Karena data ini menghasilkan data baru, menjadikan justifikasi bagi polisi untuk lebih fokus ke area itu dan melihatnya seperti ‘daerah berbahaya’ dan memandang orang-orang di sana mencurigakan (profiling), dan sebaliknya penduduknya memandang polisi dengan curiga juga. Seperti lingkaran setan jadinya.

Ini sangat berkaitan dengan banyaknya profiling terhadap kulit hitam oleh polisi, yang berujung penembakan, dan terjadi berkali-kali di mana-mana. Memuncak dalam gerakan Black Lives Matter. Atau Black vs Blue (Blue di sini artinya polisi). Yang di Indonesia mungkin tidak begitu mengerti masalahnya, karena saya temukan banyak yang meremehkan gerakan BLM dengan menjawab “All Lives Matter”, atau mendukung para demonstran ditembak saja. Namun untuk mengerti gerakan BLM dan anti rasisme di Amerika, perlu mengerti sejarah panjang perjuangan hak-hak sipil di Amerika, yang tentunya tidak akan saya bahas di sini.

— sorry terakhirnya agak melenceng dari review buku 😅, soalnya ini ada hubungannya dengan paragraf sebelumnya —