Coinbase вдвічі скоротила витрати на ШІ при вибуховому зростанні споживання: секрет у інжинірингу токенів
Генеральний директор Coinbase Браян Армстронг поділився несподіваною стратегією: компанія зуміла скоротити витрати на штучний інтелект майже вдвічі, незважаючи на експоненційне зростання споживання токенів. Секрет криється не в жорстких лімітах або заборонах, а в грамотній маршрутизації, кешуванні та налаштуваннях за замовчуванням.
Армстронг пояснив, що інженери Coinbase можуть обирати будь-яку модель, але саме налаштування за замовчуванням мають вирішальне значення. Компанія експериментує з використанням за замовчуванням моделей з відкритими вагами, таких як GLM 5.2 та Kimi 2.7, через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися в ліміти, тому Coinbase перейшла до дешевших налаштувань замість зниження лімітів.
Маршрутизація, кеш та економія контексту
У власних системах Coinbase запити попередньо обробляються та спрямовуються до найбільш підходящої моделі з урахуванням влучень у кеш та вартості. Наприклад, передова модель потрібна для планування, але надлишкова для виконання. Вибір моделі має автоматизувати сам ШІ, а не людина.
Особливу увагу Армстронг приділив кешуванню. Промахи повз збережені дані — найпростіший спосіб збільшити витрати, тому всі запити в Coinbase налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка таких влучень зросла з 5% до 60% після правильного налаштування.
Важливим фактором стала й економія контексту. Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а менше витрачати їх даремно.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описав схожий підхід, назвавши його «інжинірингом токенів» та запропонувавши стратегію «штанги» для скорочення витрат на ШІ на 50% і більше. Перші 10% роботи та планування проєкту він радить довіряти найрозумнішим моделям на кшталт Opus або GPT. Основні 80% рутинної роботи варто виконувати дешевшою моделлю з відкритим вихідним кодом. Фінальні 10% та перевірку результату знову доручати моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Думка експерта: Стратегія Coinbase — це не просто економія, а новий стандарт корпоративного ШІ. Розподіл завдань між «важкими» та «легкими» моделями в поєднанні з інтелектуальним кешуванням дозволяє масштабувати використання ШІ без пропорційного зростання бюджету. Це урок для всієї індустрії: ефективність важливіша за грубу силу.