Генеральний директор Coinbase Браян Армстронг поділився зі спільнотою вражаючими результатами оптимізації витрат на штучний інтелект. Компанії вдалося скоротити витрати на ШІ майже вдвічі, і це при тому, що споживання токенів продовжувало експоненційно зростати. Секрет, за словами Армстронга, криється не в жорстких лімітах і заборонах, а в інтелектуальному налаштуванні інфраструктури.

Ключовим елементом стратегії стала багаторівнева маршрутизація запитів. У Coinbase впровадили систему, де запити від інженерів автоматично спрямовуються до найбільш підходящої моделі. Для складних завдань планування та архітектури використовується передова модель, а для рутинного кодування — легша та дешевша. Армстронг підкреслює, що вибір моделі має бути автоматизований самим ШІ, а не людиною. Експерименти з моделями з відкритими вагами, такими як GLM 5.2 та Kimi 2.7, через внутрішній шлюз також дали значну економію.

Кешування та контекст: де ховаються зайві 50% витрат

Армстронг виділив два критично важливі аспекти: кешування та управління контекстом. Промахи повз кеш — найшвидший спосіб збільшити витрати. У Coinbase переналаштували систему так, щоб повторно використовувати вже оброблену інформацію. У сервісі LibreChat частка влучань у кеш зросла з 5% до 60% після правильного налаштування. Це означає, що 60% запитів не потребують повторних обчислень, що безпосередньо скорочує витрати.

Не менш важливою є «економія контексту». Армстронг рекомендує починати нові сесії при зміні завдань, жорстко обмежувати контекст файлами та вимикати невикористовувані інструменти. Мета — не витрачати менше токенів, а не розтрачувати їх даремно на надлишковий контекст. У результаті, при зростанні споживання, Coinbase вдалося вийти на плато витрат, а потім скоротити їх майже вдвічі.

Стратегія «штанги» від Майлза Дойчера

Аналітик Майлз Дойчер незалежно описав схожу стратегію, назвавши її «ерою інженерії токенів». Його підхід — це стратегія «штанги»: 10% найскладніших і критичних завдань (планування, архітектура) довіряти найрозумнішим і найдорожчим моделям (Opus, GPT), 80% рутинної роботи виконувати дешевими open-source моделями, а решту 10% (фінальна перевірка та доопрацювання) знову доручати топовим моделям. Дойчер стверджує, що застосовує цю схему вже кілька місяців і вважає її найкращим способом скоротити надмірні витрати на ШІ на 50% і більше.

Аналітичний коментар Cryptalist: Досвід Coinbase — це не просто кейс економії, а демонстрація зрілості ринку ШІ. Ми переходимо від епохи «чим більше, тим краще» до епохи «розумної оптимізації». Для криптокомпаній, де кожен долар на рахунку, ці принципи — не розкіш, а необхідність виживання в умовах високої конкуренції. Стратегія «штанги» та інтелектуальна маршрутизація стануть стандартом де-факто для ефективного використання ШІ у 2024-2025 роках.