Співзасновник Ethereum Віталік Бутерін знову втрутився у публічну дискусію, але цього разу його критика спрямована не на блокчейн-індустрію, а на амбіції гігантів штучного інтелекту. На його думку, людство застрягло в глухому куті між двома наївними сценаріями розвитку подій, і жоден із них не пропонує реального плану управління переходом до штучного суперінтелекту (ASI).
Приводом для заяви стала дискусія навколо прогнозу «ШІ 2040», який передбачає появу суперінтелекту до 2040 року практично за будь-якого розкладу — хіба що буде докладено титанічних зусиль для його повної зупинки. Критики цього сценарію, за словами Бутеріна, називають його наївним в оцінці здатності людей до координації. Однак сам розробник вказує на їхню власну наївність: вони припускають, що перехід до ASI за замовчуванням пройде гладко.
Бутерін підкреслює, що позиція скептиків має сенс лише у світі, де ШІ залишається «звичайною технологією». Але у світі, де суперінтелект можливий уже до 2030 року, вона не витримує критики. Він визнає свою невизначеність: якби він був упевнений хоча б в одному зі сценаріїв, то приєднався б до відповідного табору. Але поки він не розуміє, в якому зі світів ми живемо.
Риторика «відкритий код — це погано» викликає тривогу
Окремої уваги заслуговує критика Бутеріна на адресу риторики великих ШІ-компаній. Його насторожує настанова, яка зводиться до «відкритий код — це погано, а хороший результат — той, де наші хлопці отримують контроль над світовим пануванням». На його думку, подібні заяви в «нормальному» світі мали б викликати всі політичні тривожні сигнали одночасно.
Сам суперінтелект Бутерін розглядає як колосальний ризик концентрації влади. Саме тому він просуває платформу d/acc, яка включає розвиток формальної верифікації, криптографії, захищеного відкритого обладнання, стійкості до пандемій та суспільної епістемології. Цінність цих напрямків у тому, що вони корисні в обох сценаріях майбутнього.
Компроміс: тригери для паузи
Ключовим елементом своєї позиції Бутерін вважає пошук угоди, прийнятної для обох сторін. Він пропонує заздалегідь узгодити набір тригерів, які сигналізуватимуть про те, що «відбувається щось серйозне»: суперпандемії, безробіття вище 25% або поява автономної зброї. Якщо достатня кількість таких тригерів спрацює в обумовлений термін, сторони зобов'язуються серйозно розглянути сповільнення або паузу.
За його задумом, критики приймуть це, очікуючи, що тригери не спрацюють, а стурбовані — очікуючи зворотного. Звертаючись до лідерів tech-гігантів, Бутерін визнає, що на місці Ілона Маска чи Марка Цукерберга він перебудував би соціальні платформи під пошук таких взаємовигідних угод. Але тут же додає, що й ця ідея наївна.
Мій аналіз: Позиція Бутеріна — рідкісний приклад прагматичного гуманізму у світі, де технологічні корпорації мріють про тотальний контроль. Його ідея з тригерами — це спроба впровадити механізми «kill switch» на глобальному рівні, що може стати єдиним розумним компромісом між прискоренням і катастрофою. Однак, як і сам Віталік визнає, наївність цього підходу лише підкреслює глибину проблеми.