Генеральний директор Coinbase Брайан Армстронг поділився вражаючими результатами оптимізації витрат на штучний інтелект. Всупереч поширеній думці, компанія зуміла скоротити витрати на ШІ майже вдвічі, при цьому споживання токенів продовжувало зростати. Ключ до успіху — не в жорстких лімітах і тотальному контролі, а в розумному налаштуванні за замовчуванням, маршрутизації запитів та ефективному кешуванні.

Армстронг зазначив, що інженери Coinbase можуть обирати будь-яку модель, але саме налаштування за замовчуванням мають вирішальне значення. Компанія експериментує з використанням дешевших моделей з відкритими вагами, таких як GLM 5.2 та Kimi 2.7, через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися в ліміти, тому компанія перейшла до дешевших налаштувань замість зниження лімітів. Це дозволило зберегти продуктивність, одночасно знизивши витрати.

Маршрутизація, кеш та економія контексту

За словами Армстронга, у власних системах Coinbase запити попередньо обробляються та спрямовуються до найбільш підходящої моделі з урахуванням влучень у кеш та вартості. Наприклад, передова модель необхідна для планування, але надлишкова для виконання. Вибір моделі має автоматизувати сам ШІ, а не людина.

Особливу увагу приділено кешуванню. Промахи повз збережені дані — найпростіший спосіб завищити витрати, тому всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка таких влучень зросла з 5% до 60% після правильного налаштування.

Важливим фактором названо й економію контексту. Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а менше витрачати їх марно. Такий підхід дозволив Coinbase скоротити витрати майже вдвічі при триваючому зростанні споживання.

Стратегія «штанг» від Дойчера

Схожий підхід описав аналітик Майлз Дойчер, назвавши те, що відбувається, ерою «інженерії токенів». Він запропонував стратегію «штанг» для скорочення витрат на ШІ на 50% і більше. Перші 10% роботи та планування проекту він радить довіряти найрозумнішим моделям (Opus, GPT), оскільки це найважливіший етап. Основні 80% рутинної роботи варто виконувати дешевшою моделлю з відкритим вихідним кодом. Фінальні 10% та перевірку результату знову доручати моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.

Думка експерта: Стратегія Coinbase — яскравий приклад того, як грамотна архітектура та інженерна культура можуть кардинально підвищити ефективність ШІ-інфраструктури. В епоху, коли кожен токен на рахунку, вміння правильно маршрутизувати запити та використовувати кешування стає конкурентною перевагою. Рекомендую всім компаніям, що впроваджують ШІ, звернути увагу на ці практики — вони не лише економлять бюджет, але й підвищують швидкість роботи систем.