Провал алгоритмічного правосуддя: Бристоль відключив ІІ-моделі оцінки ризику злочинів проти дітей через катастрофічну точність
Поліція Ейвона та Сомерсета спільно з міською радою Бристоля припинили використання щонайменше двох моделей штучного інтелекту, призначених для оцінки ризику злочинів проти дітей. Причина — критично низька точність і повна непрозорість алгоритмів. Незалежні аудитори не змогли знайти ані вихідний код, ані навіть повний список змінних, що використовувалися в системах.
У ході журналістського розслідування, заснованого на сотнях сторінок документів, отриманих через запити на доступ до інформації, було виявлено системні проблеми. Ця історія розгортається на тлі запуску національного центру PoliceAI, покликаного тестувати та масштабувати інструменти ШІ в 43 поліцейських управліннях Англії та Уельсу.
База даних Think Family: «Велике відро» без згоди
В основі проблеми лежить Think Family Database — база даних, запущена у 2016 році. Вона об'єднувала поліцейські та соціальні дані про сім'ї, включаючи житловий статус, відомості про психічне здоров'я, підліткові вагітності, пропуски школи і навіть факт отримання безкоштовного шкільного харчування. За оцінками, база могла містити записи майже про 500 000 мешканців, причому дані збиралися без прямої згоди людей, на підставі загальних правових норм про обмін інформацією між держструктурами. Один із фахівців з даних поліції цинічно описував цей підхід як «складання всього у велике відро».
На основі цієї бази було побудовано щонайменше 23 моделі машинного навчання — від прогнозу крадіжок зі зломом до оцінки ризику стати жертвою домашнього насильства. Однак саме моделі для оцінки ризику злочинів проти дітей показали себе найгіршим чином.
Провал на всіх фронтах: від упередженості до зникнення коду
Вже у 2016 році етичний комітет поліції попереджав про високий ризик алгоритмічної упередженості через обрані змінні. У модель, наприклад, включали статус дитини як такої, що потребує допомоги, та проблеми з психічним здоров'ям, що могло створювати замкнене коло стигматизації. Пізніше некомерційна консалтингова організація Social Finance у своєму огляді назвала ризик-скоринг найслабшим елементом проекту, зазначивши, що низька точність повністю підірвала практичну цінність моделей.
Спроба масштабування системи на всю територію Ейвона та Сомерсета лише погіршила ситуацію. Через неможливість домовитися про обмін даними з усіма місцевими радами, з моделей зникли соціальні індикатори, залишивши лише поліцейське «ядро». У результаті співробітники соціальних служб скаржилися, що вразливі діти, які стали жертвами злочинів, отримували нижчий бал ризику, ніж фігуранти справ про крадіжки. Аудит, проведений компанією Eticas, показав, що у більшості моделей точність позитивних спрацьовувань була нижчою за 10%. Це означає, що система помилково маркувала як «ризикових» понад дев'ять із десяти осіб. На момент перевірки Social Finance вихідний код і документація за моделями вже були втрачені.
Висновки та перспективи
Кейс Бристоля — це не просто історія про збій алгоритмів. Це демонстрація фундаментальних ризиків, пов'язаних із впровадженням ШІ у критично важливі соціальні сфери. Проблема не лише в точності, а й у прозорості, якості даних та можливості незалежного аудиту. Показово, що керівник нового національного центру PoliceAI, колишній головний констебль поліції Ейвона та Сомерсета, раніше курував саме ту юрисдикцію, де ці спірні моделі розроблялися та використовувалися.
Коментар Cryptalist: Цей випадок — суворе нагадування про те, що «чорна скринька» алгоритмів у руках держави може бути небезпечнішою, ніж злочинність, яку він покликаний запобігати. Поки регулятори та громадськість сперечаються про майбутнє ШІ, поліцейські дільниці по всьому світу вже проводять небезпечні експерименти з людськими життями. Історія Бристоля має стати не просто попередженням, а каталізатором для запровадження жорстких стандартів аудиту та прозорості для всіх державних ШІ-систем.