Бристольський ІІ-скандал: Поліція відключила ризик-моделі для дітей через провальну точність
Поліція Ейвона та Сомерсета спільно з міською радою Бристоля припинили використання щонайменше двох моделей штучного інтелекту, призначених для оцінки ризику злочинів проти дітей. Причина — критично низька точність прогнозів і повна непрозорість алгоритмів. Незалежні аудитори зіткнулися з тим, що вихідний код і перелік використовуваних змінних просто були відсутні, що унеможливлює верифікацію результатів.
Мій аналіз показує, що ця ситуація — не поодинокий збій, а системна проблема впровадження ШІ в правоохоронні органи. Коли моделі стають «чорною скринькою», вони не лише втрачають практичну цінність, але й несуть репутаційні та юридичні ризики.
Think Family Database: Збір даних без згоди
В основі провальних моделей лежала база даних Think Family Database, запущена у 2016 році. Вона акумулювала інформацію про майже 500 000 жителів Бристоля, зводячи воєдино поліцейські звіти, соціальні служби, дані про житло, психічне здоров'я, підліткові вагітності, пропуски школи і навіть факти отримання безкоштовного харчування. Ключовий момент: збір відбувався без прямої згоди громадян, на підставі юридичних норм про обмін даними між держструктурами. Один із фахівців з даних поліції цинічно описав цей процес як «складання всього у велике відро».
На цій базі було побудовано щонайменше 23 різні моделі машинного навчання — від прогнозування крадіжок зі зломом до оцінки ризику стати жертвою домашнього насильства. Паралельно функціонував додаток Offender Management App, який, за словами старшого офіцера, слугував основою для «турнірної таблиці» найнебезпечніших злочинців.
Чому моделі провалилися
Одна з ранніх моделей для оцінки ризику злочинів проти дітей використовувала дані поліції, міської ради і навіть знеособлені відомості благодійної організації Barnardo's по 1000 дітей, які вже постраждали від таких злочинів. На скоринг впливали такі фактори, як статус дитини, яка потребує допомоги, постійні пропуски школи та проблеми з психічним здоров'ям.
Вже у 2016 році етичний комітет поліції попереджав про високий ризик алгоритмічної упередженості. Пізніше аудит, проведений некомерційною організацією Social Finance, підтвердив найгірші побоювання: ризик-скоринг був визнаний найслабшим елементом системи. Низька точність повністю підірвала практичну цінність моделей. На момент перевірки дві з них вже були відключені.
Корінь проблеми — у деградації даних. При спробі масштабувати підхід на весь регіон Ейвона та Сомерсета поліція не змогла домовитися про обмін даними з усіма місцевими радами. В результаті моделі втратили найважливіші соціальні індикатори, залишившись із «поліцейським ядром», яке не давало адекватної картини. Співробітники міських служб прямо скаржилися, що вразливі діти не потрапляють у результати, а неповнолітні жертви злочинів отримували нижчий бал, ніж фігуранти справ про крадіжки.
Аудит Eticas: Точність нижче 10%
Журналісти отримали понад 36 000 оцінок продуктивності по 13 моделях за 2017-2024 роки. Аналіз, проведений аудиторською компанією Eticas, виявив катастрофічну картину: у більшості моделей була низька точність позитивних спрацьовувань. Система помилково позначала як ризик значну частку людей.
Особливо показовим є приклад моделі для виявлення потенційних зломщиків. Понад три роки її точність позитивних спрацьовувань трималася нижче 10%. Це означає, що менше ніж одна з десяти осіб, відмічених ШІ як загроза, дійсно вчиняла такий злочин. Аудитори підкреслили, що такі показники абсолютно нехарактерні для добре керованих моделей, що перебувають в операційному використанні.
Поліція намагалася виправдатися, заявивши, що частина моделей, включаючи інструмент по крадіжках, не впроваджувалася, а багаторічні оцінки — результат автоматичної перевірки не видаленого статичного файлу. Міська рада Бристоля визнала, що зараз використовує лише одну модель ризику NEET (оцінка ймовірності того, що дитина після школи не буде вчитися або працювати), але наполягає, що вона не замінює професійне судження.
Контекст: PoliceAI та системні ризики
Цей скандал розгортається на тлі запуску національного центру PoliceAI, на який виділено 75 млн фунтів стерлінгів на три роки для масштабування ШІ у всіх 43 поліцейських управліннях Англії та Уельсу. Іронія долі: центр очолює колишній головний констебль поліції Ейвона та Сомерсета Енді Марш — саме того регіону, де й стався провал із ризик-моделями.
Експертна думка: Кейс Бристоля — це не просто історія про поганий код. Це наочна демонстрація того, що впровадження ШІ у критично важливі сфери, такі як захист дітей, вимагає не лише досконалих алгоритмів, але й бездоганного управління даними, абсолютної прозорості методології та обов'язкового незалежного аудиту. Без цих трьох стовпів будь-яка, навіть найперспективніша модель, ризикує перетворитися на небезпечний і марний інструмент, що підриває довіру до правосуддя.