Бристольський провал: Поліція відключила ШІ-моделі прогнозування злочинів проти дітей через фатальні помилки
Поліція Ейвона та Сомерсета спільно з міською радою Бристоля була змушена згорнути використання щонайменше двох алгоритмів машинного навчання, призначених для оцінки ризику злочинів проти дітей. Причина — катастрофічно низька точність і повна непрозорість систем, які виявилися практично непіддатливими незалежному аудиту.
У ході масштабного журналістського розслідування, що охопило сотні сторінок внутрішніх документів, розкрилася шокуюча картина. В основі проблем лежала база даних Think Family Database, запущена у 2016 році. Цей цифровий монстр збирав інформацію про майже 500 000 жителів Бристоля, об'єднуючи поліцейські зведення, дані про житловий статус, психічне здоров'я, відвідуваність шкіл і навіть інформацію про отримання безкоштовного харчування. Усе це робилося без прямої згоди громадян, під прикриттям юридичних підстав для міжвідомчого обміну.
На цій базі даних будувалися 23 моделі машинного навчання, від прогнозування крадіжок зі зломом до оцінки ризику стати жертвою домашнього насильства. Однак саме моделі для захисту дітей дали збій. У них, окрім поліцейських та соціальних даних, були включені знеособлені відомості про 1000 дітей, які постраждали від злочинів, з благодійної організації Barnardo's. Алгоритми враховували статус дитини, яка потребує допомоги, хронічні пропуски школи та проблеми з психічним здоров'ям.
Етичний колапс і "чорний ящик"
Ще у 2016 році етичний комітет поліції попереджав про ризик алгоритмічної упередженості, але його рекомендації були проігноровані. Пізніше незалежна консалтингова організація Social Finance дала нищівну оцінку: ризик-скоринг був названий найслабшою ланкою проєкту. З'ясувалося, що якість моделей різко погіршилася, коли поліція спробувала масштабувати систему на весь регіон, але не змогла домовитися про обмін даними з усіма місцевими радами. У результаті алгоритми втратили критично важливі соціальні індикатори та почали покладатися в основному на поліцейські дані.
Співробітники міських служб Бристоля відкрито скаржилися, що система ставить під удар найуразливіших. Один із працівників описав кричущий випадок: діти, які нещодавно стали жертвами злочинів, отримували нижчий бал ризику, ніж фігуранти справ про крадіжки. Інші відмовлялися покладатися на оцінки через повну непрозорість методики. Аудит, проведений компанією Eticas на замовлення журналістів, підтвердив найгірші побоювання: у більшості моделей була критично низька точність позитивних спрацьовувань. Наприклад, модель для виявлення потенційних зломщиків понад три роки показувала точність нижче 10%, тобто система помилково "таврувала" понад 90% людей.
Уроки для PoliceAI
Цей інцидент — похмуре передвістя на тлі запуску національного центру PoliceAI з бюджетом у 75 млн фунтів стерлінгів. Іронія долі в тому, що центр очолює колишній головний констебль поліції Ейвона та Сомерсета Енді Марш, за якого й розроблялися ці скандальні моделі. Кейс Бристоля наочно демонструє, що головна небезпека ШІ в правоохоронній системі — не в самих алгоритмах, а в "смітті" на вході: неякісних даних, відсутності прозорості та неможливості незалежної верифікації.
Думка експерта: Історія з Бристолем — це класичний приклад того, як сліпа віра в технології без належного контролю за якістю даних та етичними нормами призводить до зворотного ефекту. Система, покликана захищати дітей, сама стала джерелом несправедливості та недовіри. Якщо PoliceAI не витягне з цього уроку, мільйони фунтів платників податків ризикують бути витраченими на створення ще більш масштабного та небезпечного "чорного ящика".