У світі корпоративних фінансів існує негласне правило: якщо споживання ресурсів зростає, то й бюджет летить услід за ним. Але генеральний директор Coinbase Браян Армстронг наочно демонструє, що це правило можна і потрібно порушувати. Компанії вдалося скоротити витрати на штучний інтелект майже вдвічі, незважаючи на експоненційне зростання споживання токенів. Як таке можливо? Відповідь криється не в урізанні лімітів, а в радикальній оптимізації інженерних процесів.

Не обмеження, а розумна маршрутизація

Ключовий висновок зі стратегії Coinbase такий: тотальний контроль і жорсткі квоти — це глухий кут. Замість того щоб ставити співробітникам рамки, компанія зосередилася на «правильних налаштуваннях за замовчуванням». Армстронг підкреслює, що 91% співробітників ніколи не впиралися в ліміти, тому зниження порогів було б безглуздим. Рішення знайшлося в інтелектуальній маршрутизації запитів. Система сама визначає, яку модель ШІ використовувати для конкретного завдання. Для стратегічного планування залучаються найпотужніші (і найдорожчі) моделі, а для рутинного виконання — легші та дешевші, включно з відкритими рішеннями на кшталт GLM 5.2 і Kimi 2.7.

Кеш і контекст: два кити економії

Армстронг виділив два головні інструменти, які дозволили розірвати кореляцію між споживанням і витратами. Перший — це кешування. У Coinbase перебудували архітектуру так, щоб повторно використовувати вже оброблені дані. У сервісі LibreChat частка влучань у кеш зросла з катастрофічних 5% до вражаючих 60%. Промах повз кеш, за словами CEO, — це найшвидший спосіб спалити бюджет марно. Другий інструмент — економія контексту. Компанія впровадила практику починати нові сесії при зміні завдань, жорстко обмежувати контекст файлів і вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а витрачати їх з розумом, не допускаючи перевитрати на непотрібну інформацію.

Стратегія «штанги» від Дойчера

Аналітик Майлз Дойчер описує схожий підхід, називаючи його «інженерією токенів» і стратегією «штанги». Його метод пропонує делегувати 10% найскладніших завдань (планування та фінальна перевірка) найрозумнішим моделям на кшталт Opus або GPT. Основні 80% рутинної роботи виконуються дешевими open-source моделями. Цей підхід, за його словами, дозволяє скоротити витрати на ШІ на 50% і більше, і він уже застосовується ним кілька місяців. Це найкращий доказ того, що ефективність — це не про жадібність, а про розумну архітектуру.

Коментар експерта: Історія Coinbase — це не просто кейс з оптимізації, а маніфест нової ери в корпоративному ШІ. Ринок переходить від гонки за «найрозумнішою» моделлю до гонки за «найефективнішою архітектурою». Компанії, які першими впровадять інтелектуальну маршрутизацію та агресивне кешування, отримають колосальну конкурентну перевагу, залишаючи конкурентів спалювати бюджети на безглузді обчислювальні потужності.