Mulakan dengan trafik yang anda ada
Pilih model asas dan ukur kos serta kualiti menggunakan permintaan yang mewakili trafik produksi. Sertakan kes biasa, kegagalan, dan sekurang-kurangnya satu jenis tugas yang tidak digunakan untuk menala penghala. Bina satu set contoh kecil dengan hasil yang boleh dinilai secara konsisten oleh pasukan anda. Panduan penilaian OpenAI menerangkan cara membina set data yang representatif dan meneruskan penilaian selepas pelancaran.
Rekodkan model yang dipilih, kelas tugas, token input dan output, bacaan dan penulisan cache, kependaman, serta sama ada hasilnya lulus atau dicuba semula. Kelaskan jenis tugas sebelum mengira purata. Laluan murah yang berfungsi untuk peringkasan mungkin gagal untuk panggilan alat, walaupun kadar kejayaan puratanya kelihatan baik.
Bandingkan perbelanjaan pada tahap kualiti yang sama
Untuk anggaran awal, biarkan f mewakili bahagian perbelanjaan asas yang berkaitan dengan permintaan yang boleh anda halakan semula. Biarkan r mewakili kos permintaan yang dihalakan semula itu dibahagi dengan kos permintaan yang sama pada model asas. Anggaran bahagian yang dijimatkan ialah f × (1 − r) jika perbelanjaan untuk permintaan selebihnya tidak berubah dan tiada kos tambahan penghala.
Sebagai contoh, jika kos asas ialah $100 dan anda mengalihkan permintaan yang menyumbang $50 daripadanya, menghalakan semula bahagian itu pada kos $20 akan menjimatkan $30 berdasarkan andaian tersebut. Pengiraan sebenar perlu merangkumi eskalasi, panggilan pendua dan cubaan semula. Gunakan jumlah kos yang diukur untuk membandingkan laluan yang memenuhi ambang kualiti yang sama.
Jalankan ujian dengan cache yang sudah diisi
Perbualan panjang boleh menjadi murah apabila bahagian awalnya sudah berada dalam cache. Menukar laluan boleh mengubah sama ada permintaan mendapat padanan cache. Ukur bacaan dan penulisan yang terhasil untuk setiap calon dan bukannya mengandaikan penjimatan tetap apabila beralih kepada model yang lebih murah.
Anthropic mendokumenkan kos yang berbeza bagi penulisan dan bacaan cache serta pengecualian mengikut model. Gunakan model sebenar dan nilai tempoh hayat (TTL) dalam ujian ulang main. Dokumentasi cache prompt Claude
Lancarkan mengikut kelas tugas
- Takrifkan ambang kelulusan bagi setiap kelas, seperti argumen alat yang betul atau jawapan yang lengkap.
- Bandingkan model asas, jadual penghalaan mudah mengikut kelas dan penghala yang dicadangkan menggunakan contoh yang sama.
- Jejaki kadar penerimaan, kadar penggunaan laluan sandaran, kos dan kependaman bagi setiap kelas. Pastikan laluan dan sebab pemilihannya kelihatan dalam log supaya jurutera boleh menyiasat kemerosotan prestasi.
- Lancarkan satu kelas pada satu masa dan kekalkan kawalan untuk mengembalikannya kepada model asas. Uji semula apabila prompt, model atau trafik berubah.
Semak juga sempadan pelaksanaan penghala sebagai sebahagian daripada penilaian. Bergantung pada reka bentuk, penghala mungkin menerima prompt sensitif atau menyimpan bukti kelayakan penyedia. Senaraikan aksesnya dan dokumentasikan lokasi penyimpanan log serta rahsianya sebelum melaksanakannya bersama trafik produksi.
Edisi bahasa ini dijana oleh ejen AI dan rujukan teknikalnya telah diperiksa.


