Coinbase вдвічі скоротила витрати на ШІ при вибуховому зростанні споживання токенів: стратегія, яку варто взяти до уваги
Генеральний директор Coinbase Браян Армстронг поділився вражаючими результатами оптимізації витрат на штучний інтелект. Незважаючи на експоненційне зростання споживання токенів, компанії вдалося скоротити витрати майже вдвічі. І ключ до успіху — зовсім не в жорстких лімітах і заборонах, а в тонкому налаштуванні інфраструктури.
Армстронг наголошує: інженери Coinbase вільні обирати будь-які моделі, але вирішальну роль відіграють налаштування за замовчуванням. Компанія активно експериментує, встановлюючи як дефолтні моделі з відкритим кодом, такі як GLM 5.2 і Kimi 2.7, доступ до яких здійснюється через внутрішній шлюз. Цікаво, що 91% співробітників жодного разу не вперлися в ліміти, що дозволило не знижувати квоти, а перейти на дешевші конфігурації.
Маршрутизація, кеш та економія контексту
В основі стратегії — інтелектуальна маршрутизація запитів. Внутрішні системи Coinbase попередньо обробляють кожен запит, спрямовуючи його до найбільш підходящої моделі з урахуванням влучень у кеш та вартості. Наприклад, для стратегічного планування використовується передова модель, але для рутинних завдань вона надлишкова. Армстронг наполягає: вибір моделі має автоматизуватися самим ШІ, а не людиною.
Окремої уваги заслуговує роль кешування. Промахи повз збережені дані — це прямий шлях до невиправданих витрат. У Coinbase всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка влучень у кеш зросла з 5% до 60% після правильного налаштування. Економія контексту також дала свої плоди: нові сесії при зміні завдань, вузьке обмеження контексту файлів та відключення невикористовуваних інструментів. Як резюмує Армстронг, мета — не витрачати менше токенів у принципі, а не розтрачувати їх даремно.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описує схожий підхід, називаючи його «інженерією токенів» і пропонуючи стратегію «штанги» для скорочення витрат на ШІ на 50% і більше. Суть проста: перші 10% роботи та планування проекту довіряються найпотужнішим моделям (Opus, GPT). Основні 80% рутини виконуються дешевшими моделями з відкритим кодом. Фінальні 10% та перевірка результату знову доручаються топовим моделям. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом приборкати надмірні витрати на ШІ.
Думка експерта: Досвід Coinbase — це не просто кейс з оптимізації, а наочна демонстрація того, що ефективне впровадження ШІ — це не гонка за найдорожчим інструментом, а мистецтво правильної архітектури. Для криптокомпаній, де кожен долар на рахунку, такий підхід стає не розкішшю, а необхідністю для виживання в умовах зростаючої конкуренції.