Coinbase вдвое скоротила витрати на ШІ: парадокс зростання споживання токенів
Генеральний директор Coinbase Браян Армстронг поділився несподіваною стратегією компанії: при експоненційному зростанні споживання обчислювальних токенів, витрати на штучний інтелект вдалося скоротити вдвічі. Секрет, за його словами, криється не в банальних обмеженнях чи лімітах, а в тонкому налаштуванні інфраструктури.
Не ліміти, а розумна маршрутизація
Армстронг пояснив, що інженери Coinbase можуть обирати будь-яку модель ШІ, але ключову роль відіграють налаштування за замовчуванням. Компанія експериментує з використанням відкритих моделей, таких як GLM 5.2 та Kimi 2.7, через внутрішній шлюз. Примітно, що 91% співробітників ніколи не впиралися в ліміти, тому компанія перейшла на дешевші конфігурації, не знижуючи порогові значення.
В основі економії — інтелектуальна маршрутизація запитів. Система автоматично спрямовує завдання до найбільш підходящої моделі, враховуючи кешування та вартість. Наприклад, для стратегічного планування використовується флагманська модель, а для рутинного виконання — легша та дешевша. Армстронг підкреслює, що вибір моделі має автоматизувати сам ШІ, а не людина.
Кеш і контекст: два кити економії
Окремо виділено роль кешування. Промахи повз збережені дані — найпростіший спосіб збільшити витрати. У Coinbase всі запити налаштовані на повторне використання вже обробленої інформації. У сервісі LibreChat частка влучань у кеш зросла з 5% до 60% після правильного налаштування.
Не менш важливою є й економія контексту. Армстронг радить починати нові сесії при зміні завдань, вузько обмежувати контекст файлів та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а не розтрачувати їх марно. Саме цей підхід дозволив Coinbase скоротити витрати майже вдвічі при триваючому зростанні споживання.
Стратегія «штанги» від Дойчера
Аналітик Майлз Дойчер описує схожу методику, назвавши її «інженерією токенів». Він пропонує стратегію «штанги» для скорочення витрат на ШІ на 50% і більше. Перші 10% роботи та планування проекту варто довіряти найрозумнішим моделям (Opus, GPT), оскільки це критично важливий етап. Основні 80% рутини слід виконувати дешевшою моделлю з відкритим кодом. Фінальні 10% та перевірку результату він рекомендує знову доручати моделям високого рівня. Дойчер застосовує цю схему вже кілька місяців і вважає її найкращим способом знизити надмірні витрати на ШІ.
Думка експерта: Досвід Coinbase — яскравий приклад того, що ефективність ШІ-інфраструктури визначається не обсягом вкладень, а архітектурою їх використання. Для криптоіндустрії, де кожен цент на рахунку, розумна маршрутизація та кешування стають не просто опцією, а необхідністю. Це урок для всіх проєктів, які прагнуть масштабувати ШІ без непомірних витрат.