Bắt đầu từ lưu lượng hiện có
Chọn một mô hình cơ sở và đo chi phí, chất lượng trên các yêu cầu đại diện cho lưu lượng sản xuất. Bao gồm những trường hợp thông thường, các trường hợp thất bại và ít nhất một loại tác vụ không được dùng để tinh chỉnh bộ định tuyến. Tạo một tập ví dụ nhỏ với kết quả mà nhóm có thể đánh giá nhất quán. Hướng dẫn đánh giá của OpenAI mô tả cách xây dựng bộ dữ liệu đại diện và tiếp tục đánh giá sau khi triển khai.
Ghi lại mô hình được chọn, nhóm tác vụ, token đầu vào và đầu ra, số lần đọc và ghi bộ nhớ đệm, độ trễ, cùng việc kết quả đạt yêu cầu hay yêu cầu đã được thử lại. Phân loại tác vụ trước khi tính giá trị trung bình. Một tuyến giá rẻ hoạt động tốt với tác vụ tóm tắt vẫn có thể thất bại khi gọi công cụ, ngay cả khi tỷ lệ thành công trung bình trông có vẻ tốt.
So sánh chi phí ở cùng mức chất lượng
Để ước tính ban đầu, gọi f là phần chi phí cơ sở gắn với các yêu cầu có thể chuyển tuyến. Gọi r là chi phí của những yêu cầu đã chuyển tuyến chia cho chi phí của chính các yêu cầu đó khi dùng mô hình cơ sở. Tỷ lệ tiết kiệm ước tính là f × (1 − r) nếu chi phí của các yêu cầu còn lại không đổi và bộ định tuyến không phát sinh chi phí bổ sung.
Ví dụ, nếu phương án cơ sở tốn 100 USD và bạn chuyển các yêu cầu vốn chiếm 50 USD trong số đó, việc xử lý phần được chuyển với giá 20 USD sẽ tiết kiệm 30 USD theo các giả định trên. Phép tính thực tế nên tính cả các lần chuyển lên cấp cao hơn, lệnh gọi trùng lặp và các lần thử lại. Dùng tổng chi phí đo được để so sánh những tuyến đạt cùng ngưỡng chất lượng.
Chạy thử khi bộ nhớ đệm đã được làm nóng
Các cuộc hội thoại dài có thể ít tốn kém khi phần tiền tố đã nằm trong bộ nhớ đệm. Việc đổi tuyến có thể thay đổi khả năng một yêu cầu tìm thấy dữ liệu trong bộ nhớ đệm. Hãy đo số lần đọc và ghi phát sinh cho từng phương án thay vì giả định mức tiết kiệm cố định khi chuyển sang mô hình rẻ hơn.
Anthropic ghi nhận chi phí đọc và ghi bộ nhớ đệm khác nhau, cũng như các ngoại lệ tùy theo mô hình. Khi phát lại, hãy dùng mô hình và các giá trị thời gian tồn tại trong bộ nhớ đệm (TTL) thực tế. Tài liệu bộ nhớ đệm prompt của Claude
Triển khai theo từng nhóm tác vụ
- Xác định ngưỡng đạt cho mỗi nhóm, chẳng hạn đối số công cụ chính xác hoặc câu trả lời đầy đủ.
- So sánh mô hình cơ sở, bảng định tuyến đơn giản theo nhóm và bộ định tuyến được đề xuất trên cùng một tập ví dụ.
- Theo dõi tỷ lệ kết quả được chấp nhận theo nhóm, tỷ lệ dùng tuyến dự phòng, chi phí và độ trễ. Hiển thị tuyến và lý do chọn tuyến trong nhật ký để kỹ sư có thể điều tra khi chất lượng suy giảm.
- Triển khai từng nhóm một và giữ khả năng chuyển về mô hình cơ sở. Kiểm tra lại khi prompt, mô hình hoặc lưu lượng thay đổi.
Hãy xem xét cả phạm vi triển khai của bộ định tuyến trong quá trình đánh giá. Tùy thiết kế, bộ định tuyến có thể nhận các prompt nhạy cảm hoặc lưu thông tin xác thực của nhà cung cấp. Trước khi triển khai cùng lưu lượng sản xuất, hãy kiểm kê quyền truy cập của bộ định tuyến và ghi rõ nơi lưu nhật ký cùng các thông tin bí mật của nó.
Phiên bản này được tạo bởi một tác nhân AI và các nguồn tham khảo kỹ thuật của phiên bản đã được kiểm tra.

