Генеральний директор Coinbase Браян Армстронг розкрив механізм, який дозволив компанії скоротити витрати на штучний інтелект майже вдвічі, незважаючи на експоненційне зростання споживання обчислювальних токенів. За його словами, ключ до успіху — не в жорстких лімітах і бюрократичних заборонах, а в розумній архітектурі: налаштуваннях за замовчуванням, маршрутизації запитів та агресивному кешуванні.

Армстронг підкреслив, що інженери Coinbase можуть обирати будь-яку модель для роботи, але вирішальне значення мають саме дефолтні конфігурації. Компанія активно експериментує, встановлюючи за замовчуванням легкі моделі з відкритими вагами, такі як GLM 5.2 та Kimi 2.7, доступні через внутрішній шлюз. Дивовижно, але 91% співробітників жодного разу не вперлися у встановлені ліміти — тому компанія пішла шляхом здешевлення базових налаштувань, а не зниження стель витрат.

Маршрутизація, кеш та економія контексту

Внутрішня система Coinbase попередньо аналізує кожен запит і автоматично направляє його до найбільш підходящої моделі, враховуючи ймовірність потрапляння в кеш та підсумкову вартість. Наприклад, для стратегічного планування потрібна передова модель, але для рутинного виконання вона надлишкова та дорога. Армстронг наполягає, що вибір моделі в ідеалі має автоматизувати сам ШІ, а не людина.

Особлива увага приділена кешуванню. Промахи повз збережені дані — найшвидший спосіб збільшити рахунок. Усі запити в Coinbase налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка потраплянь у кеш зросла з 5% до 60% після правильного налаштування. Також критично важлива «економія контексту»: Армстронг радить починати нові сесії при зміні завдань, жорстко обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів у принципі, а не розтрачувати їх марно. Саме такий підхід дозволив Coinbase скоротити витрати на ШІ майже вдвічі при триваючому зростанні споживання.

Стратегія «штанг» від Дойчера

Аналогічний метод популяризує аналітик Майлз Дойчер, називаючи його «інженерією токенів». Він пропонує стратегію «штанг» для скорочення витрат на ШІ на 50% і більше. Перші 10% роботи та планування проекту Дойчер рекомендує довіряти найрозумнішим моделям (Opus, GPT) — це критично важливий етап. Основні 80% рутини слід виконувати дешевшою моделлю з відкритим вихідним кодом. Фінальні 10% та перевірку результату він знову доручає моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом приборкати надмірні витрати на ШІ.

Думка експерта: Досвід Coinbase — наочний приклад того, що в епоху високих витрат на обчислення перемагає не той, хто витрачає більше, а той, хто витрачає розумніше. Перехід від моделі «всім по найпотужнішій моделі» до інтелектуальної маршрутизації та кешування — це не просто економія, а новий стандарт інженерної культури. Стратегія «штанг» Дойчера логічно доповнює цей підхід, пропонуючи прагматичний шаблон для будь-якої команди розробників. Ринок ШІ рухається до тотальної оптимізації, і Coinbase тут — один із яскравих першопрохідців.