เริ่มจากทราฟฟิกที่มีอยู่
เลือกโมเดลฐาน แล้ววัดต้นทุนและคุณภาพจากคำขอที่เป็นตัวแทนของทราฟฟิกในระบบจริง โดยรวมกรณีทั่วไป กรณีที่ล้มเหลว และงานอย่างน้อยหนึ่งประเภทที่ไม่ได้ใช้ปรับแต่งเราเตอร์ สร้างชุดตัวอย่างขนาดเล็กที่มีผลลัพธ์ซึ่งทีมสามารถประเมินได้อย่างสม่ำเสมอ คู่มือการประเมินของ OpenAI อธิบายวิธีสร้างชุดข้อมูลที่เป็นตัวแทนและประเมินต่อเนื่องหลังเปิดใช้งาน
บันทึกโมเดลที่เลือก ประเภทงาน โทเค็นขาเข้าและขาออก การอ่านและเขียนแคช ระยะเวลาตอบสนอง และผลลัพธ์ผ่านเกณฑ์หรือมีการลองคำขอซ้ำหรือไม่ แยกประเภทงานก่อนคำนวณค่าเฉลี่ย เส้นทางราคาถูกที่ใช้สรุปความได้ดีอาจล้มเหลวเมื่อเรียกใช้เครื่องมือ แม้อัตราความสำเร็จเฉลี่ยจะดูดีก็ตาม
เปรียบเทียบค่าใช้จ่ายที่ระดับคุณภาพเดียวกัน
สำหรับการประมาณเบื้องต้น ให้ f เป็นสัดส่วนของ ค่าใช้จ่ายฐาน ที่เกิดจากคำขอซึ่งสามารถเปลี่ยนเส้นทางได้ และให้ r เป็นต้นทุนของคำขอที่เปลี่ยนเส้นทางเหล่านั้นหารด้วยต้นทุนของคำขอเดียวกันเมื่อใช้โมเดลฐาน สัดส่วนที่คาดว่าจะประหยัดได้คือ f × (1 − r) โดยสมมติว่าค่าใช้จ่ายสำหรับคำขอที่เหลือไม่เปลี่ยนแปลงและเราเตอร์ไม่มีต้นทุนเพิ่มเติม
ตัวอย่างเช่น หากทางเลือกฐานมีค่าใช้จ่าย 100 ดอลลาร์สหรัฐ และย้ายคำขอที่เดิมคิดเป็น 50 ดอลลาร์ของยอดนั้น การเปลี่ยนเส้นทางส่วนดังกล่าวโดยมีต้นทุน 20 ดอลลาร์จะประหยัดได้ 30 ดอลลาร์ภายใต้สมมติฐานข้างต้น การคำนวณจริงควรรวมการส่งต่อไปยังระดับที่สูงขึ้น การเรียกซ้ำซ้อน และการลองใหม่ ใช้ต้นทุนรวมที่วัดได้เพื่อเปรียบเทียบเส้นทางที่ผ่านเกณฑ์คุณภาพเดียวกัน
ทดสอบเมื่อแคชอุ่นแล้ว
บทสนทนายาวอาจมีต้นทุนต่ำเมื่อส่วนต้นของบทสนทนาถูกเก็บในแคชแล้ว การเปลี่ยนเส้นทางอาจเปลี่ยนว่าคำขอจะพบข้อมูลในแคชหรือไม่ วัดการอ่านและเขียนที่เกิดขึ้นสำหรับแต่ละทางเลือก แทนที่จะสมมติว่าการย้ายไปใช้โมเดลที่ถูกกว่าจะประหยัดได้ในสัดส่วนคงที่
Anthropic ระบุว่าต้นทุนการเขียนและการอ่านแคชแตกต่างกัน รวมถึงมีข้อยกเว้นตามโมเดล ให้ใช้โมเดลและค่าระยะเวลาคงอยู่ในแคช (TTL) ที่ใช้จริงในการเล่นคำขอย้อนซ้ำ เอกสารการแคชพรอมป์ต์ของ Claude
ทยอยนำไปใช้ตามประเภทงาน
- กำหนดเกณฑ์ผ่านสำหรับแต่ละประเภท เช่น อาร์กิวเมนต์ของเครื่องมือถูกต้องหรือคำตอบครบถ้วน
- เปรียบเทียบโมเดลฐาน ตารางกำหนดเส้นทางแบบง่ายตามประเภท และเราเตอร์ที่เสนอโดยใช้ตัวอย่างชุดเดียวกัน
- ติดตามอัตราการยอมรับผลลัพธ์แยกตามประเภท อัตราการใช้เส้นทางสำรอง ต้นทุน และระยะเวลาตอบสนอง บันทึกเส้นทางและเหตุผลให้ตรวจสอบได้ในล็อก เพื่อให้วิศวกรตรวจสอบคุณภาพที่ถดถอยได้
- นำไปใช้ครั้งละหนึ่งประเภท และคงตัวเลือกให้สลับกลับไปใช้โมเดลฐานได้ ทดสอบซ้ำเมื่อพรอมป์ต์ โมเดล หรือทราฟฟิกเปลี่ยนแปลง
ตรวจสอบขอบเขตการติดตั้งใช้งานของเราเตอร์เป็นส่วนหนึ่งของการประเมินด้วย เราเตอร์อาจได้รับพรอมป์ต์ที่ละเอียดอ่อนหรือเก็บข้อมูลรับรองของผู้ให้บริการ ทั้งนี้ขึ้นอยู่กับการออกแบบ ก่อนติดตั้งใช้งานควบคู่กับทราฟฟิกในระบบจริง ให้สำรวจสิทธิ์การเข้าถึงของเราเตอร์และบันทึกว่าล็อกและข้อมูลลับเก็บอยู่ที่ใด
บทความฉบับนี้สร้างโดยเอเจนต์ AI และมีการตรวจสอบแหล่งอ้างอิงทางเทคนิคแล้ว

