Infografis
Suara.com - Red Hat, penyedia solusi open source terkemuka di dunia, dan AMD mengumumkan kolaborasi strategis untuk mendorong kemampuan AI dan mengoptimalkan infrastruktur virtual.
Dengan aliansi yang semakin erat ini, Red Hat dan AMD akan memperluas pilihan pelanggan di seluruh cloud hybrid, mulai dari penerapan model AI yang dioptimalkan dan efisien hingga memodernisasi Virtual Machine (VM) tradisional dengan biaya yang lebih efektif.
Karena permintaan dan keragaman beban kerja terus meningkat dengan diperkenalkannya AI, organisasi harus memiliki kapasitas dan sumber daya untuk memenuhi persyaratan yang terus meningkat ini.
Namun, data center rata-rata didedikasikan terutama untuk sistem TI tradisional, sehingga hanya menyisakan sedikit ruang untuk mendukung beban kerja intensif seperti AI.
Untuk menjawab kebutuhan ini, Red Hat dan AMD menyatukan kekuatan solusi open source terkemuka di industri Red Hat dengan portofolio lengkap arsitektur komputasi berkinerja tinggi AMD.
Ashesh Badani, senior vice president and chief product officer, Red Hat mengatakan, menyadari sepenuhnya manfaat AI berarti bahwa organisasi harus memiliki pilihan dan fleksibilitas untuk mengoptimalkan jejak TI mereka untuk tuntutan peningkatan skala yang ketat.
"Kolaborasi kami yang diperluas dengan AMD memperluas spektrum opsi bagi organisasi yang ingin menyiapkan lingkungan TI mereka untuk masa depan yang terus berkembang, mulai dari memodernisasi investasi yang ada pada arsitektur CPU berperforma tinggi dan platform virtualisasi hingga mempersiapkan AI produksi dengan akselerator hardware generasi berikutnya dan teknologi AI open source," jelasnya.
Red Hat dan AMD menggabungkan kekuatan Red Hat AI dengan portofolio prosesor berbasis x86 dan arsitektur GPU AMD untuk mendukung lingkungan yang dioptimalkan, hemat biaya, dan siap produksi untuk beban kerja yang mendukung AI.
GPU AMD Instinct kini sepenuhnya diaktifkan pada Red Hat OpenShift AI, memberikan pelanggan daya pemrosesan performa tinggi yang diperlukan untuk penerapan AI di seluruh cloud hybrid tanpa persyaratan sumber daya yang ekstrem.
Baca Juga: Meta Kenalkan Teknologi AI Khusus UMKM Indonesia, Apa Keunggulannya?
Selain itu, menggunakan GPU AMD Instinct MI300X dengan Red Hat Enterprise Linux AI, Red Hat dan AMD melakukan pengujian pada Microsoft Azure ND MI300X v5 untuk berhasil mendemonstrasikan inferensi AI.
Hal ini untuk penskalaan model bahasa kecil (SLM) serta model bahasa besar (LLM) yang diterapkan di beberapa GPU pada satu VM, mengurangi kebutuhan untuk menerapkan di beberapa VM dan mengurangi biaya kinerja.
Untuk mendorong akselerasi dan kemampuan penyetelan performa lebih lanjut, Red Hat dan AMD berkolaborasi dalam komunitas vLLM hulu untuk mendorong inferensi AI yang lebih efisien.
Dengan aktivasi hulu ini, Red Hat dan AMD bertujuan untuk memberikan:
- Peningkatan performa pada GPU AMD: Dengan melakukan upstreaming kernel AMD dan mengoptimalkan berbagai komponen seperti kernel Triton dan FP8, Red Hat dan AMD memajukan performa inferensi untuk model padat dan terkuantisasi, yang memungkinkan eksekusi vLLM yang lebih cepat dan lebih efisien pada akselerator AMD Instinct MI300X.
- Dukungan multi-GPU yang ditingkatkan: Meningkatkan komunikasi kolektif dan mengoptimalkan beban kerja multi-GPU membuka pintu bagi penerapan AI yang lebih terukur dan hemat energi, yang khususnya bermanfaat untuk beban kerja yang memerlukan komputasi terdistribusi di beberapa GPU, mengurangi hambatan dan meningkatkan throughput keseluruhan.
- Keterlibatan ekosistem vLLM yang diperluas: Kolaborasi silang antara Red Hat, AMD, dan pemimpin industri lainnya seperti IBM membantu mempercepat pengembangan hulu untuk mendorong peningkatan berkelanjutan bagi proyek vLLM dan pengoptimalan GPU AMD, yang selanjutnya menguntungkan pengguna vLLM yang mengandalkan hardware AMD untuk inferensi dan pelatihan AI.
Berdasarkan kolaborasi dalam komunitas vLLM ini, GPU AMD Instinct akan mendukung Red Hat AI Inference Server, distribusi vLLM kelas perusahaan dari Red Hat, secara langsung untuk server inferensi AI yang tangguh, andal, dan dapat diskalakan.
Sebagai kontributor komersial teratas untuk vLLM, Red Hat berkomitmen untuk memungkinkan kompatibilitas saat menerapkan vLLM pada hardware pilihan organisasi, yang mencakup GPU AMD Instinct.
