Coinbase вдвічі скоротила витрати на ШІ при вибуховому зростанні споживання токенів: секрет не в лімітах
Генеральний директор Coinbase Браян Армстронг поділився деталями того, як біржі вдалося скоротити витрати на штучний інтелект майже вдвічі, незважаючи на експоненційне зростання споживання токенів. Ключ до успіху — не в жорстких обмеженнях і бюджетних лімітах, а в розумному налаштуванні інфраструктури.
Армстронг прямо заявив: інженери Coinbase можуть обирати будь-яку модель ШІ, але вирішальне значення мають налаштування за замовчуванням. Компанія експериментує з тим, щоб за замовчуванням використовувати дешевші моделі з відкритою вагою, такі як GLM 5.2 та Kimi 2.7, через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися у встановлені ліміти, тому в Coinbase пішли шляхом оптимізації параметрів за замовчуванням, а не зниження квот. Це дозволило не лише стримати зростання витрат, але й повернути його назад.
Маршрутизація, кешування та економія контексту
У власних системах Coinbase запити попередньо обробляються та спрямовуються до найбільш підходящої моделі на основі ймовірності потрапляння в кеш та вартості. Наприклад, передова модель необхідна для планування, але надлишкова для рутинного виконання. Армстронг підкреслює, що вибір моделі в кінцевому підсумку повинен автоматизувати сам ШІ, а не людина.
Особлива увага приділяється кешуванню. Промахи повз збережені дані — найпростіший спосіб збільшити витрати. У Coinbase всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка потраплянь у кеш зросла з 5% до 60% після правильного налаштування.
Також критично важлива економія контексту. Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а мінімізувати їхнє марне витрачання. Саме цей комплексний підхід і дозволив Coinbase скоротити витрати на ШІ майже вдвічі на тлі триваючого зростання споживання.
Стратегія «штанги» від Дойчера: 10-80-10
Аналітик Майлз Дойчер описує аналогічний підхід, називаючи його ерою «інженерії токенів». Він пропонує стратегію «штанги» для скорочення витрат на ШІ на 50% і більше. Перші 10% роботи (планування проєкту) він рекомендує довіряти найрозумнішим моделям на кшталт Opus або GPT, оскільки це найважливіший етап.
Основні 80% рутинної роботи, на його думку, варто виконувати дешевшою моделлю з відкритим вихідним кодом. Фінальні 10% та перевірку результату він знову доручає моделям високого рівня. Дойчер стверджує, що застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Аналітика Cryptalist: Досвід Coinbase — це наочний підручник для всієї індустрії. Ми переходимо від епохи «просто використовуй найпотужнішу модель» до епохи «використовуй правильну модель для правильного завдання». Розумна маршрутизація та агресивне кешування — це не просто економія, це новий стандарт ефективності. Компанії, які не впровадять подібні практики, ризикують просто спалити капітал на неконтрольованому споживанні ШІ.