KOMPAS.com - F5, sebuah perusahaan teknologi yang berbasis di Amerika Serikat dan berfokus pada infrastruktur aplikasi, jaringan, serta keamanan siber, baru-baru ini mengumumkan perluasan kolaborasinya dengan Nvidia. Tujuan dari ekspansi ini adalah untuk membantu perusahaan-perusahaan dalam mengelola sistem kecerdasan buatan (AI) dengan cara yang lebih efisien dan ekonomis. Melalui integrasi terbaru ini, kedua perusahaan berupaya menciptakan infrastruktur AI yang mampu menghasilkan lebih banyak output tanpa harus terus-menerus menambah unit GPU yang biayanya tinggi.
Solusi yang dihadirkan menggabungkan platform BIG-IP Next for Kubernetes dari F5 dengan Nvidia BlueField-3 DPU. Kedua teknologi ini dirancang untuk mengoptimalkan proses inferensi AI, yaitu fase di mana model AI yang telah dilatih mulai digunakan untuk memberikan jawaban, ringkasan, gambar, atau respons lainnya kepada pengguna.
Perubahan Fokus dalam Penggunaan GPU
F5 mengungkapkan bahwa saat ini banyak perusahaan mulai beralih dari sekadar bereksperimen dengan AI menuju penerapan AI sebagai layanan bisnis yang menghasilkan keuntungan. Perubahan ini juga mempengaruhi fokus dalam industri AI. Jika sebelumnya perusahaan berlomba-lomba untuk membeli sebanyak mungkin GPU, kini perhatian mereka beralih kepada efisiensi penggunaan GPU yang ada. Perusahaan ingin memastikan bahwa GPU yang dimiliki berfungsi secara optimal dan tidak banyak yang tidak terpakai.
Dalam konteks sistem AI modern, output AI diukur menggunakan satuan yang disebut token. Token ini dapat berupa kata, simbol, atau potongan data yang diproses oleh AI saat menghasilkan jawaban. Semakin cepat dan banyak token yang dihasilkan, semakin responsif layanan AI tersebut bagi pengguna. Oleh karena itu, istilah “tokenomics” muncul dalam industri AI, yang merujuk pada cara mengukur efisiensi dan nilai ekonomi dari produksi token AI. Metrik yang digunakan meliputi jumlah token yang dihasilkan, biaya untuk memproduksi token, kecepatan AI dalam merespons pengguna, serta pendapatan yang dapat dihasilkan dari setiap GPU.
F5 dan Nvidia menyatakan bahwa solusi gabungan mereka dirancang untuk meningkatkan efisiensi tersebut. "Infrastruktur AI bukan hanya tentang akses ke GPU atau peningkatan skala implementasinya. Ia telah berevolusi menjadi upaya memaksimalkan output ekonomi per akselerator," ujar Chief Product Officer F5, Kunal Anand, dalam keterangan resmi yang diterima.
Pengelolaan Trafik AI yang Lebih Canggih
Menurut Anand, BIG-IP Next for Kubernetes memungkinkan pabrik AI untuk memperlakukan produksi token sebagai metrik bisnis yang dapat diukur. Sistem ini diklaim dapat meningkatkan hasil kerja GPU sekaligus menekan biaya per token. F5 menjelaskan bahwa platform mereka kini mampu membaca berbagai data telemetri dari infrastruktur Nvidia, seperti statistik Nvidia NIM, sinyal runtime Dynamo, hingga kondisi GPU secara real-time. Dengan informasi tersebut, sistem dapat menentukan beban kerja AI mana yang paling sesuai untuk dijalankan di GPU tertentu sebelum proses dimulai.
Analogi sederhananya adalah seperti sistem lalu lintas pintar yang mengarahkan kendaraan ke jalur yang paling lancar untuk mempercepat perjalanan dan menghindari kemacetan. Pendekatan ini menjadi penting mengingat sistem AI modern semakin kompleks. Banyak layanan AI terbaru mengadopsi pendekatan agentic AI, yaitu AI yang dapat menjalankan tugas secara lebih mandiri dan sadar konteks, bukan sekadar menjawab pertanyaan seperti chatbot biasa. Oleh karena itu, pengaturan trafik data AI menjadi jauh lebih rumit dibandingkan dengan load balancing tradisional.
F5 mengklaim bahwa solusi terbaru ini mendukung routing berbasis inferensi untuk agentic AI, pengelolaan Nvidia BlueField DPU, keamanan multi-tenant, serta observability atau pemantauan sistem AI dalam lingkungan Kubernetes. Konsep multi-tenant di sini berarti satu infrastruktur GPU dapat digunakan secara bersamaan oleh berbagai unit bisnis atau pelanggan yang berbeda dengan aman tanpa saling mengganggu performa.
Dalam pengujian yang divalidasi oleh The Tolly Group, F5 mengklaim bahwa integrasi dengan Nvidia BlueField-3 DPU mampu meningkatkan token throughput hingga 40 persen, mempercepat waktu untuk mendapatkan token pertama (TTFT) hingga 61 persen, dan mengurangi latensi permintaan hingga 34 persen. TTFT sendiri adalah waktu yang dibutuhkan AI untuk memberikan respons pertama kepada pengguna setelah menerima permintaan. Peningkatan ini dicapai dengan memindahkan tugas-tugas seperti networking, enkripsi, load balancing AI, dan manajemen trafik ke DPU Nvidia BlueField-3, sehingga CPU dan GPU dapat lebih fokus pada proses inferensi AI.
F5 menyatakan bahwa peningkatan performa ini dapat diterapkan tanpa perlu memodifikasi model AI yang sudah ada. Artinya, perusahaan tidak perlu melatih ulang model AI mereka untuk mendapatkan efisiensi yang lebih baik. Pendekatan ini diharapkan dapat membantu perusahaan mengurangi kebutuhan untuk membeli kapasitas GPU berlebihan hanya untuk mengantisipasi lonjakan beban kerja AI. Ke depan, F5 dan Nvidia menargetkan solusi ini menjadi semacam “control plane” untuk pabrik AI, yaitu sistem pusat yang mengatur alur trafik, konsumsi token, keamanan, dan efisiensi infrastruktur AI secara keseluruhan.
