Nebius (NBIS.US) mengakuisisi perusahaan startup Israel, Inferize, untuk memperkuat bisnis AI inference dengan nilai transaksi hingga 150 juta dolar AS.

Aplikasi Keuangan Zhihui dilaporkan bahwa penyedia layanan infrastruktur cloud AI, Nebius (NBIS.US), mengumumkan akuisisi startup kecerdasan buatan asal Israel, Inferize, untuk lebih memperkuat kemampuan infrastruktur AI inferensi mereka. Inferize berfokus pada pengurangan waktu menganggur GPU (Graphics Processing Unit) dan mempercepat proses deployment model AI berskala besar. Menurut perkiraan media teknologi Israel Calcalist, nilai transaksi ini berada di kisaran 100 juta hingga 150 juta dolar AS, namun Nebius tidak mengungkapkan rincian finansial secara spesifik.

Inti dari akuisisi ini adalah untuk meningkatkan efisiensi penggunaan sumber daya GPU, terutama dalam kondisi di mana permintaan inferensi AI mengalami fluktuasi cepat, membantu Nebius untuk mendistribusikan sumber daya komputasi dengan lebih cepat dan mengurangi waktu menganggur perangkat daya komputasi yang mahal.

Menargetkan Bottleneck Efisiensi Inferensi AI, Mengurangi Waktu Menganggur GPU

Teknologi inti Inferize berfokus pada masalah “cold start” dalam proses deployment model AI. Cold start mengacu pada proses di mana model AI harus melakukan pemuatan model dan inisialisasi sumber daya terkait sebelum mulai memproses permintaan pengguna. Saat instans inferensi baru dimulai, GPU mungkin harus menunggu hingga pemuatan model selesai sebelum dapat benar-benar melakukan perhitungan, sehingga terjadi waktu menganggur sumber daya dalam waktu singkat.

Masalah ini sangat menonjol saat permintaan inferensi AI tiba-tiba meningkat. Dengan melonjaknya permintaan pengguna, penyedia layanan cloud harus cepat memulai lebih banyak instans inferensi, namun jika waktu pemuatan model terlalu lama, sumber daya GPU tambahan tidak bisa langsung dimanfaatkan sehingga memengaruhi kecepatan respon layanan dan efisiensi pemanfaatan daya komputasi secara keseluruhan.

Teknologi dari Inferize bertujuan untuk mempersingkat waktu tunggu tersebut, memungkinkan sumber daya inferensi baru dapat segera beroperasi, serta memungkinkan ekspansi daya komputasi lebih sesuai dengan perubahan permintaan nyata.

Bagi Nebius, hal ini berarti perusahaan berpotensi lebih fleksibel memenuhi kebutuhan pelanggan tanpa harus mempertahankan banyak GPU menganggur sebagai sumber daya cadangan secara jangka panjang, serta meningkatkan efisiensi penggunaan infrastruktur yang ada.

CTO Nebius, Danila Shtan, menyatakan bahwa menjalankan layanan inferensi AI secara efisien tidak hanya memerlukan GPU yang lebih cepat dan model yang dioptimalkan, namun juga seluruh sistem harus dapat segera merespon perubahan permintaan, termasuk menyediakan kapasitas komputasi ekstra saat ada lonjakan kebutuhan pelanggan. Ia menegaskan, Inferize tidak hanya membawa teknologi untuk mempercepat proses tersebut, tetapi juga tim engineer berpengalaman dalam sistem GPU.

Nebius berencana menggabungkan engineer Inferize ke tim bisnis inferensi mereka dan mengintegrasikan teknologi tersebut ke dalam platform inferensi AI mereka, Token Factory, untuk meningkatkan kemampuan platform dalam merespon permintaan pelanggan dan memaksimalkan pemanfaatan beban kerja komputasi pada infrastruktur yang ada.

Shtan juga menyebutkan, kontribusi tim Inferize di masa depan tidak akan terbatas pada proses integrasi teknologi awal ini saja.

Menurunkan Biaya Cadangan Daya Komputasi, Meningkatkan Efisiensi Operasional Infrastruktur AI

Pendiri bersama dan CEO Inferize, Guy Bortnikov, menyatakan bahwa demi menghadapi permintaan pelanggan setiap saat, penyedia layanan cloud biasanya perlu mempertahankan sejumlah sumber daya GPU sebagai cadangan, dan perangkat komputasi dalam mode siaga tersebut malah menambah biaya operasional. Dia menggarisbawahi bahwa tujuan pendirian Inferize memang untuk mengurangi biaya ini, dan bergabung dengan Nebius memungkinkan teknologi terkait langsung diterapkan ke platform cloud AI dalam operasional nyata.

Dalam bisnis inferensi AI, efisiensi penjadwalan sumber daya daya komputasi sangat menentukan biaya operasional infrastruktur. Mengingat harga perangkat GPU yang mahal, jika perusahaan harus mempertahankan banyak kapasitas komputasi tidak terpakai dalam waktu lama untuk menghadapi puncak permintaan, hal ini justru bisa menurunkan tingkat pengembalian investasi secara keseluruhan.

Dengan mempercepat waktu startup model dan mempercepat penggunaan sumber daya komputasi, Nebius berpotensi meningkatkan fleksibilitas layanan sambil mengurangi ketergantungan pada kapasitas cadangan GPU.

Perlu dicatat, Bortnikov sebelumnya juga pernah mendirikan perusahaan perangkat lunak optimasi infrastruktur komputasi, Granulate, yang berfokus pada pengembangan teknologi untuk meningkatkan efisiensi operasi sumber daya komputasi, dan pada 2022 telah diakuisisi oleh Intel (INTC.US). Latar belakang ini menunjukkan tim Inferize memiliki pengalaman relevan dalam bidang optimasi infrastruktur komputasi.

Berturut-turut Akuisisi Perusahaan Teknologi AI, Nebius Terus Memperkuat Platform Inferensi

Akusisi Inferize kali ini merupakan salah satu dari serangkaian aksi akuisisi yang dilakukan Nebius baru-baru ini di bidang inferensi AI dan optimasi model. Sebelumnya, Nebius telah menyelesaikan akuisisi Eigen AI, dengan nilai transaksi mencapai 643 juta dolar AS. Selain itu, perusahaan juga baru saja mengakuisisi Clarifai, perusahaan teknologi AI, namun nilai transaksi tersebut tidak diungkapkan secara publik.

Seluruh akuisisi ini bertujuan untuk meningkatkan kemampuan inferensi dan optimasi model AI Nebius, serta semakin memperbaiki layanan infrastruktur AI perusahaan.

Berbeda dengan investasi infrastruktur yang lebih menekankan pada daya komputasi untuk pelatihan model AI, inferensi AI lebih menyoroti efisiensi operasional model setelah digunakan secara nyata, mulai dari kecepatan pemrosesan permintaan, penjadwalan sumber daya komputasi, deployment model hingga biaya daya komputasi per unit.

Seiring Nebius terus mengintegrasikan teknologi terkait, penataan bisnisnya pun berkembang dari sekadar penyediaan sumber daya komputasi GPU, kini merambah ke penyediaan teknologi dan layanan untuk meningkatkan efisiensi operasional model AI secara nyata.

Akusisi Inferize kali ini akan semakin melengkapi kemampuan teknologi Nebius dalam penjadwalan daya komputasi secara dinamis dan deployment model secara cepat. Namun, sejauh mana integrasi teknologi tersebut dapat memberikan penghematan biaya dan peningkatan efisiensi, masih harus menunggu hasil kinerja operasional selanjutnya.