Генеральний директор Coinbase Браян Армстронг поділився несподіваним кейсом: компанія скоротила витрати на штучний інтелект майже вдвічі, незважаючи на експоненційне зростання споживання токенів. Ключовий висновок — ефективність досягається не за рахунок жорстких обмежень, а через оптимізацію налаштувань за замовчуванням, розумну маршрутизацію запитів та агресивне кешування.
Армстронг підкреслює, що інженери Coinbase можуть обирати будь-яку модель, але вирішальне значення мають саме дефолтні налаштування. Компанія експериментує з використанням як базових моделей з відкритими вагами, таких як GLM 5.2 та Kimi 2.7, доступних через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися в ліміти, тому компанія перейшла на дешевші налаштування, а не стала знижувати квоти.
Маршрутизація, кеш та економія контексту
Внутрішня архітектура Coinbase побудована на попередній обробці запитів. Система автоматично направляє завдання до найбільш підходящої моделі, враховуючи відсоток влучень у кеш та вартість. Наприклад, для планування використовується передова модель, але для виконання рутинних завдань вона надлишкова. Армстронг наполягає, що вибір моделі повинен автоматизувати сам ШІ, а не людина.
Окремо виділено роль кешування. Промахи повз збережені дані — найпростіший спосіб збільшити витрати. У сервісі LibreChat частка влучень у кеш зросла з 5% до 60% після правильного налаштування. Також важлива економія контексту: Армстронг рекомендує починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а менше витрачати їх даремно.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описує схожий підхід, називаючи його «інженерією токенів». Його стратегія «штанги» дозволяє скоротити витрати на ШІ на 50% і більше. Перші 10% роботи та планування проекту він довіряє найрозумнішим моделям (Opus, GPT), оскільки це критично важливий етап. Основні 80% рутини виконуються дешевшою open-source моделлю. Фінальні 10% та перевірку результату знову доручають моделям високого рівня. Дойчер застосовує цю схему кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Думка експерта: Кейс Coinbase — це блискучий приклад прагматичного підходу до впровадження ШІ в інфраструктуру. Ринок часто ганяється за найдорожчими моделями, забуваючи, що 80% завдань не потребують такої обчислювальної потужності. Автоматизація маршрутизації та агресивне кешування — це ті самі «низько висячі фрукти», які дозволяють масштабувати використання ШІ без кратного зростання бюджету. Для криптокомпаній, де кожен цент на рахунку, це не просто економія, а питання виживання в конкурентній боротьбі.