Бристольський ІІ-скоринг дітей: помилки, упередженість та закриті моделі
Поліція Ейвона та Сомерсета спільно з міською радою Бристоля припинили використання щонайменше двох моделей машинного навчання, призначених для оцінки ризику злочинів проти дітей. Причина — критично низька точність і повна непрозорість алгоритмів. Незалежні аудитори зіткнулися з неможливістю верифікації: вихідний код і список змінних виявилися втраченими.
В основі цих систем лежала база даних Think Family Database, запущена у 2016 році. Вона агрегувала поліцейські та соціальні дані про майже 500 000 жителів міста — від житлового статусу та психічного здоров'я до прогулів школи та отримання безкоштовного харчування. Збір інформації проводився без явної згоди громадян, на основі юридичних норм міжвідомчого обміну. Один із співробітників поліції описував цей процес як «скидання всього в одне велике відро».
Системні помилки та алгоритмічна упередженість
Вже у 2016 році етичний комітет поліції попереджав, що обрані змінні можуть призвести до алгоритмічної упередженості. Однак попередження були проігноровані. Пізніше некомерційна консалтингова організація Social Finance у своєму огляді назвала ризик-скоринг найслабшою ланкою проєкту. Аналітики виявили, що вразливі діти, які нещодавно стали жертвами злочинів, могли отримувати нижчий бал, ніж фігуранти справ про крадіжки зі зломом. Співробітники міських служб відкрито заявляли, що не довіряють системі через непрозору методику.
Окремий аудит, проведений компанією Eticas на основі 36 000 оцінок продуктивності 13 моделей, показав, що у більшості з них точність позитивних спрацьовувань була нижчою за 10%. Це означає, що понад 90% людей, яких система позначала як потенційних злочинців, насправді не вчиняли правопорушень. Для моделі, що виявляє потенційних зломщиків, цей показник тримався нижче 10% протягом більш ніж трьох років.
Провал на тлі масштабування PoliceAI
Цей інцидент набуває особливої значущості на тлі запуску PoliceAI — національного центру тестування та масштабування ІІ-інструментів у 43 поліцейських управліннях Англії та Уельсу з бюджетом у 75 млн фунтів стерлінгів. Примітно, що очолює цей центр колишній головний констебль поліції Ейвона та Сомерсета Енді Марш — той самий регіон, де розроблялися та були забраковані спірні ІІ-моделі.
Кейс Бристоля — це не просто історія про невдалий алгоритм. Це системний провал, який демонструє, що ризики впровадження ІІ у правоохоронній сфері пов'язані не лише з точністю самих моделей, але й з якістю вихідних даних, відсутністю прозорості та неможливістю незалежного аудиту. Поліція та міська рада Бристоля до червня 2023 року не зберегли навіть документи про рішення відмовитися від двох моделей оцінки ризиків злочинів проти дітей. Це ставить під сумнів здатність відомств керувати такими технологіями та нести за них відповідальність.
Думка експерта: Історія з бристольськими ІІ-моделями — класичний приклад того, як прагнення до технологічної модернізації без належного контролю за якістю даних та алгоритмічною прозорістю призводить до дискредитації самої ідеї використання ІІ у соціально значущих сферах. Поки поліцейські управління не навчаться вести елементарну документацію та не забезпечать можливість зовнішнього аудиту, будь-які розмови про «безпечний» та «етичний» ІІ залишаться порожніми деклараціями.