Бристольський ІІ-скоринг дітей: провал алгоритмів і загроза упередженості
Поліція Ейвона та Сомерсета спільно з міською радою Брістоля припинили використання двох моделей штучного інтелекту, призначених для оцінки ризику злочинів проти дітей. Причина — критично низька точність і повна непрозорість алгоритмів. Незалежні аудитори не змогли знайти ні вихідний код, ні список використовуваних змінних, що унеможливлює перевірку таких систем.
Як збирали дані: «Велике відро» інформації
В основі проекту лежала база даних Think Family Database, запущена у 2016 році. Вона об'єднувала поліцейські та соціальні дані про мешканців: житловий статус, психічне здоров'я, підліткові вагітності, пропуски школи і навіть факт отримання безкоштовного харчування. Відомості збиралися без прямої згоди громадян на підставі юридичних норм про обмін інформацією між державними структурами. Один із фахівців поліції відверто описав підхід як «змішування всього у велике відро».
На цій базі будувалися моделі машинного навчання, які присвоювали дорослим і дітям оцінки ризику. Журналістам відомо щонайменше про 23 такі моделі — від прогнозу крадіжок зі зломом до ймовірності стати жертвою домашнього насильства. Паралельно працював додаток Offender Management App, який старший офіцер називав «турнірною таблицею» найнебезпечніших злочинців.
Чому алгоритми провалилися
Модель оцінки ризику злочинів проти дітей використовувала дані поліції, міської ради та благодійної організації Barnardo's, включно з знеособленими відомостями про 1000 дітей, які вже постраждали від таких злочинів. На скоринг впливали статус дитини, яка потребує допомоги, постійні пропуски школи та проблеми з психічним здоров'ям. Інша модель враховувала житлову підтримку, заборгованість з оренди та безкоштовне шкільне харчування.
Вже у 2016 році етичний комітет поліції попереджав про ризик алгоритмічної упередженості. Пізніше консалтингова організація Social Finance назвала ризик-скоринг найслабшим елементом проекту. Низька точність підірвала практичну цінність моделей. На момент перевірки обидві системи вже не використовувалися.
Якість моделей погіршилася через зміну набору даних. Поліція намагалася масштабувати підхід на весь регіон, але не змогла домовитися про обмін даними з усіма місцевими радами. У результаті в моделях залишилося переважно поліцейське «ядро» без соціальних індикаторів. Співробітники міських служб скаржилися, що вразливі діти не потрапляють у результати, а неповнолітні жертви злочинів отримували нижчий бал, ніж фігуранти справ про крадіжки.
Аудит: низька точність і втрачені документи
Аудиторська компанія Eticas, проаналізувавши понад 36 000 оцінок продуктивності, дійшла висновку, що у більшості моделей була низька точність позитивних спрацьовувань. Система помилково позначала значну частку людей як ризик. Наприклад, модель для виявлення потенційних зломщиків понад три роки показувала точність нижче 10%: менше ніж один із десяти позначених системою людей дійсно скоював такий злочин.
Ні поліція, ні міська рада Брістоля до червня 2023 року не зберегли документи про рішення відмовитися від двох моделей оцінки ризиків злочинів проти дітей. Вихідний код і список змінних знайти не вдалося. Зараз влада використовує лише модель ризику NEET — оцінку ймовірності, що дитина після школи не буде вчитися, працювати або проходити навчання.
Контекст: PoliceAI та системні ризики
Ця історія розгортається на тлі запуску PoliceAI — національного центру тестування ІІ-інструментів для 43 поліцейських управлінь Англії та Уельсу з бюджетом 75 млн фунтів стерлінгів. Інцидент у Брістолі наочно демонструє, що ризики таких моделей пов'язані не лише з точністю алгоритмів, але й з якістю даних, збереженням документації та можливістю незалежної перевірки.
Думка експерта. Брістольський кейс — класичний приклад того, як поспіх із впровадженням ІІ у правоохоронній сфері без належного аудиту та прозорості може призвести до дискредитації самої ідеї. Коли система нездатна відрізнити жертву злочину від потенційного злочинця, це не просто технічна помилка, а пряма загроза правосуддю. Поки регулятори не запровадять обов'язкові стандарти верифікації таких алгоритмів, подібні провали повторюватимуться.