Провал ІІ-предикторів у Брістолі: алгоритми оцінки ризику для дітей відключено через фатальні помилки
Поліція Ейвона та Сомерсета спільно з міською радою Бристоля припинили використання щонайменше двох моделей штучного інтелекту, призначених для оцінки ризику злочинів проти дітей. Причина — критично низька точність прогнозів і повна непрозорість систем, які виявилися фактично непіддатливими незалежному аудиту.
Журналістське розслідування, проведене за участі правозахисної групи Liberty Investigates, місцевого видання Bristol Cable та некомерційної редакції Lighthouse Reports, виявило системні проблеми в роботі цих алгоритмів. Аналіз сотень сторінок внутрішніх документів показав, що моделі, побудовані на базі даних Think Family Database, страждали від фундаментальних недоліків.
Як збиралися дані та будувалися моделі
Think Family Database, запущена у 2016 році, об'єднувала поліцейські та соціальні дані про мешканців Бристоля. До неї входили відомості про житловий статус, психічне здоров'я, підліткові вагітності, відвідуваність школи та навіть отримання безкоштовного харчування. Примітно, що дані збиралися без прямої згоди громадян, з використанням правових підстав для міжвідомчого обміну інформацією. Один із фахівців з даних поліції цинічно описував цей процес як «складання всього у велике відро».
На цій хиткій основі було побудовано 23 моделі машинного навчання, які присвоювали дорослим і дітям оцінки ризику — від прогнозу крадіжок зі зломом до ймовірності стати жертвою домашнього насильства. Паралельно працював додаток Offender Management App, який, за словами одного зі старших офіцерів, слугував основою для «турнірної таблиці» найнебезпечніших злочинців.
Чому моделі провалилися
Ключова проблема полягала в якості даних. Одна з моделей для оцінки ризику злочинів проти дітей використовувала знеособлені дані благодійної організації Barnardo's по 1000 дітей, які вже постраждали від таких злочинів. Однак у 2016 році етичний комітет поліції попереджав про неминучу алгоритмічну упередженість через обрані змінні, такі як статус дитини, яка потребує допомоги, або проблеми з психічним здоров'ям.
Пізніше аудит, проведений некомерційною організацією Social Finance, підтвердив найгірші побоювання. Ризик-скоринг був названий найслабшим елементом, а низька точність — фактором, що підірвав практичну цінність моделей. На момент перевірки дві моделі оцінки ризиків злочинів проти дітей вже були відключені.
Social Finance пов'язала погіршення якості моделей зі зміною набору даних. Поліція намагалася масштабувати підхід на весь регіон Ейвона та Сомерсета, але не змогла домовитися про обмін даними з усіма місцевими радами. У результаті моделі втратили соціальні індикатори та перетворилися на чисто поліцейське «ядро», що ще більше знизило їхню точність.
Особливе занепокоєння викликає повна непрозорість систем. Незалежні аудитори не змогли знайти ані вихідний код, ані список змінних, що використовувалися в моделях. Більше того, ні поліція, ні міська рада Бристоля до червня 2023 року не зберегли документи про рішення відмовитися від двох моделей оцінки ризиків злочинів проти дітей.
Результати незалежного аудиту
Журналісти WIRED отримали від поліції понад 36 000 оцінок продуктивності по 13 моделях, що використовувалися або тестувалися у 2017-2024 роках. Аудит, проведений компанією Eticas, показав, що у більшості моделей була критично низька точність позитивних спрацьовувань. Система помилково позначала значну частку людей як ризикованих.
Наприклад, модель для виявлення потенційних зломщиків понад три роки показувала точність позитивних спрацьовувань нижче 10%. Це означає, що менше ніж один із десяти відмічених системою людей дійсно вчиняв такий злочин. Аудитори підкреслили, що такі показники нехарактерні для добре керованих моделей в операційному використанні.
Кейс на тлі розширення PoliceAI
Ця історія розгортається на тлі запуску PoliceAI — національного центру для тестування та масштабування ІІ-інструментів у 43 поліцейських управліннях Англії та Уельсу з бюджетом у 75 млн фунтів стерлінгів на три роки. Примітно, що центр очолює колишній головний констебль поліції Ейвона та Сомерсета Енді Марш — того самого регіону, де розвивали спірну ІІ-аналітику.
Кейс Бристоля — це не просто історія про технічну помилку. Це системний збій, який демонструє, що ризики таких моделей пов'язані не лише з точністю алгоритмів, але й з якістю даних, збереженням документації та можливістю незалежної перевірки.
Думка експерта: Ця ситуація — класичний приклад того, як гонитва за технологічними інноваціями у правоохоронній сфері може обернутися катастрофою без належного контролю за якістю даних і прозорістю алгоритмів. ІІ-моделі, навчені на упереджених або неповних даних, не просто марні — вони небезпечні, оскільки можуть створювати хибні звинувачення та підривати довіру до системи правосуддя. Бристольський провал має стати попередженням для всіх, хто сліпо впроваджує ІІ у соціально значущі сфери.