Definisi dalam satu kalimat
AI gateway menerima permintaan yang tadinya dikirim aplikasimu ke penyedia model, menentukan tujuannya, meneruskannya, lalu mencatat hasilnya. Kodemu berbicara ke satu alamat; gateway yang berbicara ke para penyedia.
Apa yang bukan
Ia bukan model dan tidak membuat jawaban lebih baik dengan sendirinya. Ia juga tidak menggantikan SDK-mu: kebanyakan gateway menerima format permintaan yang sudah kamu kirim, jadi memakainya biasanya cukup mengganti base URL, bukan menulis ulang kode.
Empat tugas gateway
Routing memilih penyedia dan model untuk setiap permintaan dan beralih bila salah satunya tidak tersedia. Metering mengubah pemakaian menjadi biaya. Batas membatasi belanja dan laju permintaan per kunci.
Pencatatan menuliskan apa yang terjadi, sehingga angkanya bisa diaudit nanti dan bukan dipercaya begitu saja.
Kenapa tim akhirnya membutuhkannya
Dengan satu penyedia dan satu kunci, kamu belum membutuhkannya. Kebutuhan muncul saat kunci berlipat di banyak layanan, saat penyedia gangguan di tengah peluncuran, atau saat kamu menjual akses dan harus tahu persis siapa membelanjakan apa.
Pertanyaan yang sering diajukan
- Apakah gateway menambah latensi?
Sedikit, dan harus bisa diukur. Pecutin menerbitkan pengukuran bebannya sendiri di beranda, diambil terhadap upstream simulasi yang menahan tiap permintaan beberapa detik, sehingga overhead gateway terlihat.
- Apakah saya harus menulis ulang kode?
Biasanya tidak. Kamu mengganti base URL di SDK yang sudah kamu pakai dan memasang kunci gateway.