Бристольський провал: моделі ШІ для оцінки ризику злочинів проти дітей відключено через фатальні помилки
Влада Брістоля та поліція графств Ейвон і Сомерсет були змушені припинити використання щонайменше двох моделей штучного інтелекту, призначених для оцінки ризику злочинів проти дітей. Причина — катастрофічно низька точність і повна непрозорість алгоритмів, яку незалежні аудитори не змогли перевірити через відсутність вихідного коду та списку змінних.
Як працювала система і чому вона давала збої
В основі лежала база даних Think Family Database, запущена міською радою Брістоля у 2016 році. Вона об'єднувала поліцейські звіти та соціальні дані — від житлового статусу та проблем із психічним здоров'ям до інформації про прогули школи та безкоштовне харчування. За оцінками, база могла містити записи майже на 500 000 мешканців, причому збір даних відбувався без прямої згоди громадян на підставі юридичних норм про обмін інформацією між державними структурами.
На основі цієї бази було побудовано 23 моделі машинного навчання, включаючи прогнозування крадіжок, неявок до суду та ризику домашнього насильства. Однак саме моделі для оцінки загрози дітям виявилися найбільш вразливими. У них, окрім поліцейських та муніципальних даних, були завантажені знеособлені відомості благодійної організації Barnardo's про 1000 дітей, які вже стали жертвами злочинів. На підсумковий скоринг впливали такі фактори, як статус дитини, яка потребує допомоги, хронічні прогули школи та психічні розлади.
Вже у 2016 році етичний комітет поліції попереджав про ризик алгоритмічної упередженості через обрані змінні. Пізніше аудит, проведений консалтинговою організацією Social Finance, підтвердив найгірші побоювання: точність моделей була визнана «найслабшою ланкою», а їхня практична цінність — сумнівною. На момент перевірки обидві моделі вже були відключені.
Проблеми з даними та відсутність контролю
Social Finance пов'язала деградацію якості моделей зі зміною набору даних. При спробі масштабувати систему на весь регіон Ейвон і Сомерсет поліція не змогла домовитися про обмін даними з усіма місцевими радами. В результаті з моделей зникли соціальні індикатори, і алгоритми почали працювати переважно на «поліцейському ядрі», що зробило їх ще менш надійними.
Співробітники міських служб Брістоля скаржилися, що вразливі діти не потрапляють до результатів. В одному зі звітів зазначалося, що неповнолітні, які нещодавно стали жертвами злочинів, могли отримувати нижчий бал ризику, ніж фігуранти справ про крадіжки. Інші службовці відверто заявляли, що не готові покладатися на оцінки через повну непрозорість методики.
Окремий аудит, проведений компанією Eticas на основі 36 000 оцінок продуктивності за 13 моделями, показав, що у більшості з них точність позитивних спрацьовувань була вкрай низькою. Наприклад, модель для виявлення потенційних зломщиків більше трьох років демонструвала точність нижче 10% — тобто система помилково позначала як ризик понад 90% людей. Поліція пояснила це тим, що модель не була впроваджена, а оцінки є результатом автоматичної перевірки «статичного файлу».
Контекст і моя експертиза
Цей інцидент відбувається на тлі запуску національного центру PoliceAI з бюджетом у 75 мільйонів фунтів стерлінгів, який покликаний масштабувати ІІ-інструменти для 43 поліцейських управлінь Англії та Уельсу. Показово, що керує цим центром колишній головний констебль поліції Ейвона та Сомерсета — того самого регіону, де й стався цей провал.
Моя професійна думка: Історія Брістоля — це класичний приклад того, як поспіх із впровадженням ІІ у критично важливі сфери, такі як захист дітей, обертається дискредитацією самої технології. Проблема тут не в «поганому» ІІ, а в системній помилці управління даними: використання нерепрезентативних вибірок, відсутність прозорості та контролю за якістю вихідних змінних. Якщо PoliceAI не врахує ці уроки, він ризикує масштабувати не ефективність, а системні помилки на всю країну.