Cara paling umum tagihan AI lepas kendali bukanlah perubahan harga. Penyebabnya satu kunci yang dipakai di mana-mana: di backend, di server staging, di skrip di laptop seseorang. Saat kunci itu bocor atau sebuah loop salah jalan, tidak ada yang menghentikannya.
Satu kunci per tugas
Kunci Pecutin berbentuk sk-pc-…, dan kamu bisa membuat sebanyak yang dibutuhkan di console. Pembagian yang baik:
- Satu kunci per layanan, supaya chatbot dan peringkas tidak berbagi batas.
- Kunci terpisah untuk staging dan produksi.
- Satu kunci per pelanggan bila kamu menjual ulang akses, supaya pemakaian tiap pelanggan terlihat sendiri.
Kuota: plafon belanja
Kuota membatasi berapa banyak sebuah kunci boleh membelanjakan. Saat kunci mencapai kuotanya, permintaan berikutnya ditolak dengan alasan yang jelas. Kunci lain tidak terpengaruh, jadi satu layanan yang lepas kendali tidak bisa menguras saldo yang diandalkan produksi.
Kuota juga alat perencanaan. Kalau fitur baru punya anggaran, pasang anggaran itu di kuncinya dan kamu akan tahu begitu anggarannya habis.
Rate limit: plafon kecepatan
Rate limit membatasi berapa banyak permintaan yang boleh dikirim sebuah kunci dalam satu periode. Ia melindungimu dari loop percobaan ulang yang mengirim ribuan permintaan dalam semenit, dan melindungi model mahal dari dibanjiri satu klien.
Saat sebuah kunci melewati rate limit-nya, permintaan ditolak dengan 429 beserta alasannya, jadi kodemu bisa mundur sejenak alih-alih menebak.
Ganti kunci tanpa rilis
Karena aplikasimu hanya mengenal kuncinya sendiri, mengganti kunci yang bocor itu cepat: buat kunci baru, pasang di konfigurasi layanan, lalu cabut yang lama. Layanan lain tidak perlu berubah.
Pertanyaan yang sering diajukan
- Apa yang diterima aplikasi saya saat batas tercapai?
Respons galat dengan alasan yang jelas, jadi kamu bisa membedakan batas kuota dari rate limit dan menangani masing-masing.
- Bisakah saya melihat kunci mana yang membelanjakan apa?
Bisa. Pemakaian dan biaya ditampilkan per kunci di console, dan setiap permintaan ada di ledger.