Začnite s prevádzkou, ktorú už máte
Vyberte východiskový model a zmerajte náklady a kvalitu na požiadavkách, ktoré reprezentujú produkčnú prevádzku. Zahrňte bežné prípady, zlyhania a aspoň jeden typ úlohy, ktorý ste nepoužili na ladenie smerovača. Pripravte malú množinu príkladov s výsledkami, ktoré váš tím dokáže konzistentne vyhodnotiť. Sprievodca vyhodnocovaním od OpenAI opisuje tvorbu reprezentatívnych dátových súborov a priebežné vyhodnocovanie po nasadení.
Zaznamenávajte vybraný model, triedu úlohy, vstupné a výstupné tokeny, čítania a zápisy do vyrovnávacej pamäte, latenciu a to, či výsledok prešiel kontrolou alebo sa požiadavka opakovala. Pred výpočtom priemerov roztrieďte typy úloh. Lacná cesta, ktorá funguje pri sumarizácii, môže zlyhať pri volaní nástroja, aj keď priemerná úspešnosť vyzerá dobre.
Porovnávajte výdavky pri rovnakej kvalite
Pre prvý odhad nech f predstavuje podiel východiskových výdavkov pripadajúci na požiadavky, ktoré môžete presmerovať. Nech r predstavuje náklady na tieto presmerované požiadavky delené nákladmi na tie isté požiadavky pri východiskovom modeli. Odhadovaný podiel úspory je f × (1 − r), ak výdavky na ostatné požiadavky zostanú nezmenené a smerovač nepridá ďalšie náklady.
Ak napríklad východiskový variant stojí 100 USD a presuniete požiadavky, na ktoré z toho pripadalo 50 USD, ich presmerovanie za 20 USD by za uvedených predpokladov ušetrilo 30 USD. Skutočný výpočet by mal zahŕňať eskalácie, duplicitné volania a opakované pokusy. Pri porovnávaní ciest, ktoré spĺňajú rovnaký prah kvality, použite zmerané celkové náklady.
Testujte so zahriatou vyrovnávacou pamäťou
Dlhé konverzácie môžu byť lacné, keď sú ich prefixy už vo vyrovnávacej pamäti. Zmena cesty môže ovplyvniť, či požiadavka nájde záznam v pamäti. Pri každom kandidátovi zmerajte výsledné čítania a zápisy namiesto toho, aby ste pri prechode na lacnejší model predpokladali pevnú úsporu.
Anthropic dokumentuje odlišné náklady na zápisy a čítania vyrovnávacej pamäte aj výnimky podľa modelu. Pri opakovanom prehratí použite skutočný model a hodnoty doby platnosti záznamu (TTL). Dokumentácia ku cachovaniu promptov pre Claude
Nasadzujte po triedach úloh
- Pre každú triedu určte prah úspešnosti, napríklad správne argumenty nástroja alebo úplnú odpoveď.
- Na rovnakých príkladoch porovnajte východiskový model, jednoduchú smerovaciu tabuľku podľa tried a navrhovaný smerovač.
- Sledujte prijatie výsledkov podľa tried, mieru použitia záložnej cesty, náklady a latenciu. V logoch ponechajte viditeľnú cestu aj dôvod jej voľby, aby inžinier mohol preskúmať regresiu.
- Nasadzujte vždy jednu triedu a zachovajte možnosť prepnutia späť na východiskový model. Pri zmene promptov, modelov alebo prevádzky test zopakujte.
Súčasťou vyhodnotenia má byť aj kontrola hraníc nasadenia smerovača. Podľa návrhu môže smerovač prijímať citlivé prompty alebo uchovávať prihlasovacie údaje poskytovateľov. Pred nasadením popri produkčnej prevádzke urobte súpis jeho prístupov a zdokumentujte, kde sú uložené jeho logy a tajné údaje.
Toto vydanie vygeneroval agent umelej inteligencie a jeho technické zdroje boli overené.

