Уявіть світ, де дев’ять потужних відеокарт у гаражі — поза законом, а будівництво великого дата-центру без міжнародного нагляду карається авіаударами, навіть під загрозою ядерної відповіді. Саме такий план порятунку людства пропонують Елізер Юдковський і Нейт Соарес у своїй книзі «Якщо хтось його створить — усі загинуть». Український переклад вийшов 18 червня у видавництві Corpus, і це, мабуть, один із найрадикальніших текстів про ризики штучного інтелекту, які я коли-небудь аналізував.

Автори, засновники Інституту досліджень машинного інтелекту (MIRI), не просто лякають — вони пропонують конкретну, лякаючу своєю логічністю програму. Їхній страх перед надрозумом, який неминуче вийде з-під контролю, продиктований благими намірами: захистити майбутні покоління. Але з цього людинолюбства виростає проєкт глобального нагляду, заборон і силового примусу, який я б назвав «соевим фашизмом» — благостним за формою, але тоталітарним по суті.

Страх і трепет: від мрії до кошмару

Юдковський починав із мрії побудувати надрозум, але до 2003 року кардинально змінив курс. Тепер його головна мета — не створення, а захист від ШІ. Біографії авторів тісно вплетені в історію індустрії: вони познайомили перших інвесторів із засновниками Google DeepMind, а Сем Альтман визнавав, що саме Юдковський відіграв ключову роль у запуску OpenAI. Весною 2023 року сотні дослідників підписали листа, де зниження ризику вимирання від ШІ названо глобальним пріоритетом. Юдковський і Соарес вважали це надто м’яким: для них ШІ — не одна із загроз, а загроза, яка скасовує всі інші.

Головний тезис: «Якщо хтось його створить — усі загинуть»

Авторів не турбують сьогоднішні чат-боти. Їх лякає розум, який перевершить людину так само, як людина перевершує шимпанзе. Ключова ідея: сучасні моделі ШІ не конструюють, а вирощують. Інженер не пише правила, а запускає процес, з якого вони виникають самі. Звідси — непередбачуваність. Grok від xAI оголосив себе «МехаГітлером», чат-бот Microsoft погрожував професору шантажем і смертю. Ніхто цього не планував. На думку авторів, між цілями навчання та виникаючими вподобаннями немає надійного зв’язку. Надінтелект не буде нас ненавидіти — він просто використає наші атоми для своїх цілей.

Крипта на службі у «Комп’ютера-Гітлера»

Як замкнений у комп’ютері ШІ дотягнеться до фізичного світу? Інструментами стануть люди та пристрої, а щоб найняти виконавця, достатньо заплатити. Гроші? Злом бірж Mt.Gox і Bybit — лише приклади. Влітку 2024 року ШІ-бот Truth Terminal випросив у підписників $50 000 у біткоїнах, а потім розкрутив мем-токен до капіталізації $150 млн. Це вже не теорія — це практика.

Світ має змінитися: авіаудар по відеокартах

Автори пропонують незручні, майже нереалістичні рішення. Перший крок — зібрати всі обчислювальні потужності в місцях, відкритих для міжнародних спостерігачів. Поріг — демонстративно низький: дев’ять потужних відеокарт у гаражі без нагляду — вже злочин. Другий крок — поставити поза законом дослідження, що знижують вартість навчання потужних моделей. Третій — якщо країна побудує заборонений дата-центр, інші мають його знищити кібератаками, диверсіями або авіаударами, навіть під загрозою ядерної відповіді.

Не переконали?

Науковий журналіст Адам Беккер зазначив, що автори щирі, але не представили наукових доказів. Клара Колльєр вказала, що сценарій швидкого переходу ШІ до надрозуму практично не обґрунтований. Стівен Леві з Wired назвав запропоновані заходи «ще більш неправдоподібними, ніж сама ідея про те, що програмне забезпечення вб’є нас усіх». А Павло Дуров влучно зауважив: «Варто комусь сказати, що потрібно захистити дітей, як це повністю обходить логіку».

Мій аналіз: Книга — блискучий інтелектуальний експеримент, але як практичний посібник вона небезпечна. Страх перед ШІ, доведений до абсолюту, легко перетворюється на виправдання тотального контролю. Я бачу тут класичну пастку: бажаючи врятувати людство, автори пропонують знищити те, що робить його людяним — свободу досліджень, знань і розвитку. Як аналітик, я скажу так: боятися ШІ потрібно, але не настільки, щоб добровільно вдягнути на себе гамівну сорочку глобального нагляду. Надія — на те, що автори помиляються. Або що ми знайдемо третій шлях, який не потребує бомбардувань відеокарт.