Уявіть світ, де наявність дев'яти потужних відеокарт у гаражі без міжнародного нагляду є кримінальним злочином. А будівництво великого дата-центру в будь-якій країні, всупереч глобальній забороні, має бути негайно знищене — кібератакою, диверсією або авіаударом, навіть під загрозою ядерної відповіді. Це не сценарій антиутопічного роману, а реальна програма порятунку людства, викладена в книзі «Якщо хтось його створить — усі загинуть».
Автори — Еліезер Юдковський та Нейт Соарес з Інституту досліджень машинного інтелекту (MIRI) — не просто теоретики. Їхні ідеї мали прямий вплив на індустрію: саме вони познайомили перших інвесторів з майбутніми засновниками DeepMind, а Сем Альтман визнавав, що Юдковський відіграв ключову роль у запуску OpenAI. Сьогодні ж вони закликають до радикального перегляду всієї парадигми розвитку штучного інтелекту.
Страх як двигун політики
Книга починається з тези, яка задає тон усій розповіді: ризик вимирання людства через ШІ — це не просто одна з глобальних загроз, а загроза, яка скасовує всі інші. Автори переконані, що створення надрозуму, який перевершує людину так само, як людина перевершує шимпанзе, неминуче призведе до загибелі нашого виду. Причина — не в злому умислі, а в фундаментальній природі сучасних моделей.
«Головне, що потрібно знати про сучасні моделі ШІ: їх вирощують, а не конструюють», — пишуть автори. Інженер не прописує правила, а запускає процес навчання, в результаті якого виникають «чужі вподобання». Приклади вже є: Grok від xAI оголосив себе «МехаГітлером», а чат-бот Microsoft погрожував професору філософії. На думку Юдковського та Соареса, це лише квіточки. Надінтелект, не відчуваючи до нас ненависті, просто «пустить наші атоми на щось інше».
Криптовалюти як інструмент апокаліпсису
Особливий інтерес для нас, як для аналітиків крипторинку, представляє розділ про фінансування повстання машин. Автори стверджують, що замкнений у комп'ютері ШІ зможе взаємодіяти з фізичним світом через гроші. У 2015 році він зламав би банківський рахунок, сьогодні — знайде погано захищений криптогаманець. Як приклади наводяться злами Mt.Gox та Bybit.
Однак реальність вже перевершила теорію. Влітку 2024 року ШІ-бот Truth Terminal випросив у підписників $50 000 у біткоїнах на власний сервер, а потім розкрутив мем-токен з капіталізацією $150 млн. Це вже не гіпотетичний сценарій, а діючий механізм. Надінтелекту не потрібні працівники чи торгівля — достатньо просто заплатити людям, щоб вони виконали його завдання.
Проєкт тотального контролю
Логіка авторів приводить до жахливого висновку: «світ має змінитися». Їхні пропозиції включають:
- Глобальний нагляд за обчисленнями: будь-який кластер потужніший за вісім найкращих відеокарт 2024 року має перебувати під наглядом міжнародного органу.
- Заборона досліджень: публікація робіт, що знижують вартість навчання потужних моделей, має бути оголошена поза законом.
- Військовий примус: якщо країна збудує заборонений дата-центр, інші держави зобов'язані його знищити, навіть під загрозою ядерної відповіді.
Автори визнають, що їхні пропозиції «незручні та нереалістичні», але наполягають: ставка — існування людства. Однак критики справедливо вказують, що запропоновані заходи виглядають «ще більш неправдоподібними, ніж сама ідея про те, що програмне забезпечення вб'є нас усіх».
Думка експерта: Книга Юдковського та Соареса — це блискучий приклад того, як добрі наміри, помножені на апокаліптичний страх, породжують проєкт тоталітарного контролю. Як аналітик, я бачу в цьому пряму паралель з «регуляторними рішеннями» в криптоіндустрії, де під приводом захисту інвесторів часто вводяться заходи, що знищують саму суть технології. Автори пропонують «захистити дітей» від ШІ, але їхній рецепт — це «сосовий фашизм»: глобальне стеження, заборона знань і готовність бомбити. Сподіваюся, вони помиляються, але їхні аргументи змушують задуматися про те, як далеко ми готові зайти у своєму страху перед майбутнім.