Генеральний директор Coinbase Браян Армстронг розкрив вражаючі результати оптимізації витрат на штучний інтелект: компанія скоротила витрати на ШІ майже вдвічі, незважаючи на експоненційне зростання споживання токенів. Це наочний приклад того, як грамотна інженерна культура та стратегічний підхід можуть обернути назад тренд неконтрольованого зростання витрат.
Ключовий висновок Армстронга: економія досягається не за рахунок жорстких лімітів і бюрократичного контролю над витратами, а завдяки розумнішим налаштуванням за замовчуванням, інтелектуальній маршрутизації запитів та ефективному кешуванню. У Coinbase інженери вільні обирати будь-яку модель, але саме дефолтні конфігурації відіграють вирішальну роль. Більше того, 91% співробітників ніколи не впиралися в ліміти, тому компанія перейшла на дешевші налаштування, не знижуючи порогів.
Маршрутизація, кеш та економія контексту
Внутрішня система Coinbase попередньо обробляє запити та спрямовує їх до найбільш підходящої моделі, оцінюючи влучання в кеш і вартість. Наприклад, передова модель потрібна для стратегічного планування, але надлишкова для рутинного виконання. Вибір моделі, на думку Армстронга, має автоматизувати сам ШІ, а не людина.
Особливу увагу приділено кешуванню. Промахи повз збережені дані — найпростіший спосіб завищити витрати, тому всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка таких влучань зросла з 5% до 60% після правильного налаштування. Також важлива економія контексту: Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів і вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а менше витрачати їх даремно.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описує схожий підхід, називаючи його «інженерією токенів» та стратегією «штанги». Перші 10% роботи (планування проєкту) він довіряє найрозумнішим моделям (Opus, GPT). Основні 80% рутини виконуються дешевшими моделями з відкритим кодом. Фінальні 10% та перевірку результатів знову доручають моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Мій експертний аналіз: Досвід Coinbase — це не просто кейс економії, а зсув парадигми. Ринок переходить від гонки за найпотужнішою моделлю до ери інтелектуального оркестрування. Компанії, які навчаться ефективно комбінувати різні моделі та впровадять культуру «токен-ефективності», отримають колосальну конкурентну перевагу. Ті ж, хто продовжить використовувати LLM як «молоток для всіх цвяхів», зіткнуться з неконтрольованим зростанням витрат і втратою гнучкості.