Генеральний директор Coinbase Браян Армстронг поділився деталями стратегії, яка дозволила компанії скоротити витрати на штучний інтелект майже вдвічі при одночасному експоненційному зростанні споживання токенів. Це не результат жорстких лімітів або бюрократичних обмежень, а наслідок грамотної інженерної оптимізації: налаштування моделей за замовчуванням, маршрутизації запитів та агресивного кешування.
Армстронг зазначає, що інженери вільні обирати будь-яку модель, але вирішальне значення мають налаштування за замовчуванням. Coinbase експериментує з встановленням як базових open-weight моделей на кшталт GLM 5.2 та Kimi 2.7 через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися в ліміти, тому компанія пішла шляхом зниження вартості, а не посилення квот.
Ключовий елемент економії — інтелектуальна маршрутизація. Запити попередньо аналізуються та спрямовуються до найбільш підходящої моделі з урахуванням потрапляння в кеш та вартості. Наприклад, для стратегічного планування потрібна передова модель, але для рутинного виконання вона надлишкова. Армстронг підкреслює: вибір моделі в ідеалі має автоматизувати сам ШІ, а не людина.
Окремо виділено роль кешування. Промахи повз збережені дані — найпростіший спосіб завищити витрати. У Coinbase всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка потраплянь у кеш зросла з 5% до 60% після правильного налаштування.
Також важлива економія контексту. Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а не розтрачувати їх марно.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описує схожий підхід, називаючи його «інженерією токенів» та стратегією «штанги» для скорочення витрат на 50% і більше. Перші 10% роботи (планування) він довіряє найрозумнішим моделям на кшталт Opus або GPT. Основні 80% рутини виконуються дешевшою open-source моделлю. Фінальні 10% (перевірка результату) знову доручаються моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Аналітика Cryptalist: Досвід Coinbase — наочний приклад того, що ефективність впровадження ШІ визначається не бюджетом, а архітектурою. Розподіл завдань за складністю та максимізація кешування — це ті «швидкі перемоги», які доступні будь-якій компанії, а не лише гігантам. Ринок переходить від гонки за найдорожчими моделями до епохи їх раціонального застосування.