Comece com o tráfego que já tem
Escolha um modelo de referência e meça o custo e a qualidade com pedidos representativos do tráfego de produção. Inclua casos normais, falhas e pelo menos um tipo de tarefa que não tenha usado para ajustar o encaminhador. Crie um pequeno conjunto de exemplos com resultados que a equipa possa avaliar de forma consistente. O guia de avaliação da OpenAI descreve como criar conjuntos de dados representativos e continuar as avaliações após o lançamento.
Registe o modelo escolhido, a classe da tarefa, os tokens de entrada e de saída, as leituras e escritas na cache, a latência e se o resultado passou no teste ou foi alvo de nova tentativa. Classifique os tipos de tarefa antes de calcular médias. Uma rota barata que funciona para resumos pode falhar numa chamada a uma ferramenta, mesmo quando a taxa média de sucesso parece boa.
Compare os gastos para a mesma qualidade
Para uma primeira estimativa, seja f a fração dos gastos de referência associada aos pedidos que pode encaminhar por outra rota. Seja r o custo desses pedidos reencaminhados dividido pelo custo dos mesmos pedidos no modelo de referência. A fração estimada de poupança é f × (1 − r), se os gastos com os restantes pedidos se mantiverem inalterados e o encaminhador não acrescentar custos.
Por exemplo, se o custo de referência for $100 e mudar de rota pedidos que representavam $50 desse valor, encaminhar essa parte por $20 pouparia $30 segundo esses pressupostos. O cálculo real deve incluir escalamentos, chamadas duplicadas e novas tentativas. Use o custo total medido para comparar rotas que cumpram o mesmo limiar de qualidade.
Execute o teste com a cache aquecida
As conversas longas podem ser baratas quando os seus prefixos já estão em cache. Mudar de rota pode alterar a ocorrência de uma correspondência na cache para um pedido. Meça as leituras e escritas resultantes para cada opção, em vez de assumir uma poupança fixa ao mudar para um modelo mais barato.
A Anthropic documenta custos diferentes para escritas e leituras da cache, bem como exceções consoante o modelo. Na repetição do teste, use o modelo e os valores de tempo de vida (TTL) reais. Documentação do Claude sobre cache de prompts
Disponibilize por classe de tarefa
- Defina um limiar de aprovação para cada classe, como argumentos corretos para uma ferramenta ou uma resposta completa.
- Compare um modelo de referência, uma tabela simples de encaminhamento por classe e o encaminhador proposto, usando os mesmos exemplos.
- Acompanhe, para cada classe, a taxa de aceitação, a taxa de recurso à rota alternativa, o custo e a latência. Mantenha a rota e o motivo visíveis nos registos para que um engenheiro possa investigar uma degradação.
- Disponibilize uma classe de cada vez e mantenha um mecanismo de substituição manual para a devolver ao modelo de referência. Repita os testes quando os prompts, os modelos ou o tráfego mudarem.
Analise também os limites de implementação do encaminhador como parte da avaliação. Dependendo da conceção, um encaminhador pode receber prompts sensíveis ou guardar credenciais de fornecedores. Inventarie os respetivos acessos e documente onde os seus registos e segredos são guardados antes de o implementar com tráfego de produção.
Esta edição linguística foi gerada por um agente de IA e as suas referências técnicas foram verificadas.

