Співзасновник Ethereum Віталік Бутерін знову порушив гостре питання, заявивши, що не бачить жодного вразумительного сценарію переходу до штучного суперінтелекту (ASI). На його думку, людство застрягло між двома крайнощами: «наївним» та «наївним у квадраті» підходами до майбутнього ШІ.
Приводом стала дискусія навколо сценарію «ШІ 2040», який передбачає появу суперінтелекту до 2040 року практично за будь-якого розкладу, за винятком титанічних зусиль щодо його повної зупинки. Критики цього сценарію, за спостереженням Бутеріна, називають його наївним в оцінці здатності людей до координації. Однак сам розробник Ethereum вказує на дзеркальну проблему: опоненти так само наївно вважають, що перехід до ASI відбудеться гладко та безболісно.
Влада, відкритий код та тривожні сигнали
Особливе занепокоєння Бутеріна викликає риторика деяких великих ШІ-компаній. Його насторожує настанова, яка зводиться до формули: «відкритий код — це погано, а хороший результат — це коли наші хлопці отримують контрольне світове панування». На думку засновника Ethereum, подібні заяви в «нормальному» світі мали б увімкнути всі політичні тривожні сигнали одночасно. Він розглядає сам суперінтелект як колосальний ризик концентрації влади.
Саме тому Бутерін просуває платформу d/acc, яка фокусується на розвитку формальної верифікації, криптографії, захищеного відкритого обладнання, стійкості до пандемій та суспільної епістемології. Цінність цього напряму в тому, що він корисний за будь-якого сценарію розвитку подій — і при швидкому, і при повільному приході ASI. Примітно, що сам сценарій «ШІ 2040» він оцінив позитивно за його дружність до відкритого коду.
Пошук компромісу: тригери та паузи
Як вихід із глухого кута Бутерін пропонує заздалегідь узгодити набір тригерів, які сигналізуватимуть про те, що «відбувається щось серйозне». Серед прикладів — суперпандемії, рівень безробіття вище 25% або поява автономної зброї. Якщо достатня кількість таких тригерів спрацює до обумовленого терміну, сторони зобов'язуються серйозно розглянути сповільнення або паузу в розвитку. Ідея в тому, що критики приймуть це, очікуючи, що тригери не спрацюють, а стурбовані — навпаки.
Бутерін також звернувся до голів технологічних гігантів, припустивши, що будь він на місці Ілона Маска або Марка Цукерберга, він перебудував би соціальні платформи для пошуку подібних взаємовигідних угод. Втім, він сам визнає наївність цієї ідеї.
Мій аналіз: Позиція Бутеріна — це рідкісний випадок, коли лідер криптоіндустрії пропонує не просто критику, а конкретний механізм управління ризиками. Ідея з тригерами та паузами — це, по суті, спроба застосувати принципи смарт-контрактів та децентралізованого управління до глобальної проблеми ШІ. Це може стати тією самою «домовленістю», яку обидві сторони приймуть, виходячи зі своїх нинішніх переконань, хай і з різних причин. Поки ж ми бачимо класичний глухий кут: жодна зі сторін не готова поступитися, а ставки зростають з кожним днем.