Kalau aplikasimu sudah memanggil penyedia model lewat SDK-nya, pindah ke gateway seharusnya tidak berarti menulis ulang. Berikut checklist yang kami sarankan, sesuai urutan yang kami sarankan.
1. Buat kunci untuk layanan yang dipindah
Di console, buat kunci khusus untuk layanan ini, misalnya "chatbot-staging". Beri kuota sesuai perkiraan belanjanya. Memulai dengan satu kunci per layanan membuat perbandingan sebelum dan sesudah jadi bersih.
2. Ganti base URL dan kunci
Dengan SDK yang kompatibel OpenAI, perubahannya biasanya dua nilai:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.pecutin.co/v1",
api_key=os.environ["PECUTIN_API_KEY"], # sk-pc-...
)Kode permintaan, streaming, dan penanganan galat tetap seperti semula.
3. Tulis model bersama penyedianya
Model dipanggil dengan format provider/model. Daftar lengkap penyedia dan model beserta harganya ada di console. Karena penyedia jadi bagian dari nama, mencoba prompt yang sama di penyedia lain cukup mengganti satu teks, dan aturan routing bisa melakukannya untukmu tanpa menyentuh kode sama sekali.
4. Pindahkan satu layanan, lalu bandingkan
Kirim lalu lintas sungguhan dari satu layanan dulu. Bandingkan biaya per permintaan di ledger dan waktu respons di log dengan kondisi sebelumnya. Kalau angkanya sudah pas, pindahkan layanan berikutnya.
5. Simpan jalur lama untuk sementara
Jangan mencabut kunci penyedia lama di hari pertama. Simpan sampai jalur baru melayani lalu lintas sungguhan selama satu minggu normal, termasuk jam sibuk. Setelah itu cabut, supaya belanja AI aplikasimu hanya datang dari satu tempat.
Pertanyaan yang sering diajukan
- Apakah prompt saya harus diubah?
Tidak. Prompt dan format jawabannya sama; yang berubah hanya ke mana permintaan dikirim.
- Bisakah saya tetap memakai akun penyedia yang sudah ada?
Bisa. Sambungkan sebagai BYOK atau BYOA, dan permintaan tetap bisa berjalan di akun itu lewat Pecutin, dengan pemakaian ditampilkan terpisah dari biaya yang ditagih.