Google Rilis TPU 8tx dan TPU 8i Max, Siapkan Chip AI untuk Era Agen Otonom

TPU 8i Max Gandakan Memori dan Kapasitas Komputasi

Sementara itu, TPU 8i Max dirancang untuk mengatasi keterbatasan memori ketika banyak agen AI bekerja secara bersamaan.

Beban kerja seperti menganalisis basis kode perangkat lunak dalam skala besar atau memproses rekaman video berdurasi panjang membutuhkan kapasitas memori dan bandwidth tinggi. Jika pasokan data ke prosesor tidak memadai, kemampuan komputasi chip tidak dapat dimanfaatkan secara optimal.

Untuk mengatasi hambatan tersebut, Google meningkatkan sejumlah komponen TPU 8i Max. Sistem ini memiliki kapasitas komputasi, SRAM, dan bandwidth HBM dua kali lebih besar dibandingkan TPU 8i.

Peningkatan tersebut ditujukan agar prosesor memperoleh data yang dibutuhkan secara lebih konsisten saat menangani pekerjaan AI berskala besar.

Google juga menyebut TPU 8i Max dapat menampung silikon dua kali lebih banyak dalam ruang rak yang sama. Artinya, pusat data berpotensi menyediakan kapasitas komputasi lebih besar pada setiap satuan luas dan penggunaan energi.

Perbedaan TPU 8t, TPU 8i, TPU 8tx, dan TPU 8i Max

Keempat konfigurasi TPU generasi kedelapan Google memiliki sasaran penggunaan yang berbeda.

• TPU 8t: Dirancang untuk melatih foundation model berskala besar. Google mengklaim performa pelatihannya hingga 2,7 kali lebih tinggi dibandingkan generasi TPU sebelumnya.
• TPU 8i: Difokuskan untuk inferensi dan penalaran AI berlatensi rendah. Google menyebut efisiensi biaya inferensinya meningkat hingga 80 persen dibandingkan generasi sebelumnya.
• TPU 8tx: Mengutamakan komputasi rahasia atau confidential computing untuk melindungi data sensitif dan bobot model ketika sedang diproses.
• TPU 8i Max: Menyediakan kapasitas komputasi, SRAM, dan bandwidth HBM dua kali lebih besar dibandingkan TPU 8i untuk menangani beban kerja dengan kebutuhan konteks dan memori besar.

Dengan pembagian tersebut, Google berupaya menyediakan infrastruktur yang dapat mendukung seluruh tahapan pengembangan AI, mulai dari pelatihan model hingga pengoperasian agen otonom.

Hampir 100 Pelanggan Gunakan Infrastruktur TPU Google

Ekspansi TPU juga didorong oleh meningkatnya permintaan terhadap infrastruktur komputasi AI. Google menyebut hampir 100 pelanggan telah menggunakan TPU, termasuk laboratorium AI, perusahaan perdagangan, peritel, universitas, dan berbagai organisasi lainnya.

Selama ini, Google memanfaatkan TPU untuk melatih dan menjalankan model Gemini, menangani beban kerja AI agentik, serta menyediakan layanan bagi pelanggan Google Cloud. Perusahaan juga mulai membuka opsi penerapan TPU langsung di pusat data milik pelanggan.

Google turut menyebut pengembangan perangkat keras tersebut berjalan beriringan dengan upaya memperluas akses pengembang terhadap TPU, termasuk melalui dukungan PyTorch.

Langkah ini menjadi bagian dari persaingan penyedia infrastruktur AI untuk memenuhi kebutuhan komputasi yang terus berkembang. Ketika agen AI mulai menangani pekerjaan yang lebih kompleks dan berjalan secara mandiri, kebutuhan terhadap kapasitas komputasi, memori, latensi rendah, serta perlindungan data ikut meningkat.