AMD Hadirkan Kinerja AI Terdepan dengan Akselerator AMD Instinct MI325X
Hari ini, AMD mengumumkan solusi akselerator dan jaringan terbaru yang akan mendukung generasi berikutnya dari infrastruktur AI secara besar-besaran: akselerator AMD Instinct™ MI325X, NIC AMD Pensando Pollara 400, dan DPU AMD Pensando Salina. Akselerator AMD Instinct MI325X menetapkan standar baru dalam kinerja untuk model Gen AI dan data center.
www.amd.com
Dibangun di atas arsitektur AMD CDNA™ 3, akselerator AMD Instinct MI325X dirancang untuk kinerja dan efisiensi yang luar biasa untuk tugas-tugas AI yang menuntut, mulai dari pelatihan model dasar, penyempurnaan, hingga inferensi. Seluruh produk-produk ini memungkinkan pelanggan dan mitra AMD untuk menciptakan solusi AI yang sangat berkinerja dan teroptimasi di tingkat sistem, rak, dan data center.
“AMD terus memenuhi peta jalan kami, menawarkan kepada pelanggan kinerja yang mereka butuhkan dan pilihan yang mereka inginkan, untuk membawa infrastruktur AI, secara besar-besaran, ke pasar lebih cepat,” kata Forrest Norrod, executive vice president and general manager, Data Center Solutions Business Group, AMD. “Dengan akselerator AMD Instinct yang baru, prosesor EPYC, dan mesin jaringan AMD Pensando, pertumbuhan berkelanjutan dari ekosistem open software kami, serta kemampuan untuk menggabungkan semuanya menjadi infrastruktur AI yang dioptimalkan, AMD menekankan keahlian kritis untuk membangun dan menerapkan solusi AI kelas dunia.”
AMD Instinct MI325X Memperpanjang Kinerja AI Terdepan
Akselerator AMD Instinct MI325X menawarkan kapasitas memori dan bandwidth terdepan di industri, dengan 256GB HBM3E yang mendukung 6.0TB/s menawarkan kapasitas 1.8X lebih banyak dan bandwidth 1.3X lebih banyak dibandingkan H2001. AMD Instinct MI325X juga menawarkan kinerja komputasi teoritis puncak FP16 dan FP8 yang 1,3 kali lebih besar dibandingkan dengan H200.
Memori dan komputasi kepemimpinan ini dapat memberikan kinerja inferensi hingga 1,3X pada Mistral 7B di FP16, 1,2X kinerja inferensi pada Llama 3.1 70B pada FP8 dan 1,4X kinerja inferensi pada Mixtral 8x7B di FP16 dari H200.
Akselerator AMD Instinct MI325X saat ini berada pada jalur untuk pengiriman produksi pada Q4 2024 dan diharapkan akan tersedia secara luas dari berbagai penyedia platform, termasuk Dell Technologies, Eviden, Gigabyte, Hewlett Packard Enterprise, Lenovo, Supermicro, dan lainnya mulai Q1 2025.
Melanjutkan komitmennya terhadap ritme roadmap tahunan, AMD menampilkan preview akselerator seri AMD Instinct MI350 generasi berikutnya. Berdasarkan arsitektur AMD CDNA 4, akselerator seri AMD Instinct MI350 dirancang untuk memberikan peningkatan kinerja inferensi sebesar 35x dibandingkan dengan akselerator berbasis AMD CDNA 3.
Seri AMD Instinct MI350 akan terus memimpin kapasitas memori dengan hingga 288GB memori HBM3E per akselerator. Akselerator seri AMD Instinct MI350 dijadwalkan akan tersedia pada paruh kedua tahun 2025.
Jaringan AI Next-Gen AMD
AMD memanfaatkan DPU yang paling banyak digunakan untuk hyperscalers guna mendukung jaringan AI generasi berikutnya. Terbagi menjadi dua bagian: front-end, yang mengirimkan data dan informasi ke kluster AI, dan back-end, yang mengelola transfer data antara akselerator dan kluster, jaringan AI sangat penting untuk memastikan CPU dan akselerator digunakan secara efisien dalam infrastruktur AI.
Untuk mengelola kedua jaringan ini secara efektif dan mendorong kinerja tinggi, skalabilitas, dan efisiensi di seluruh sistem, AMD memperkenalkan AMD Pensando™ Salina DPU untuk bagian depan dan AMD Pensando™ Pollara 400, NIC AI pertama di industri yang siap Ultra Ethernet Consortium (UEC), untuk back-end.
AMD Pensando Salina DPU adalah generasi ketiga dari DPU paling berkinerja dan dapat diprogram di dunia, yang menawarkan hingga 2X kinerja, bandwidth, dan skala dibandingkan dengan generasi sebelumnya. Mendukung throughput 400G untuk kecepatan transfer data yang cepat, AMD Pensando Salina DPU adalah komponen penting dalam kluster jaringan front-end AI, mengoptimalkan kinerja, efisiensi, keamanan, dan skalabilitas untuk aplikasi AI berbasis data.
AMD Pensando Pollara 400 yang siap UEC, didukung oleh mesin AMD P4 Programmable, adalah NIC AI siap UEC pertama di industri. Ini mendukung perangkat lunak RDMA generasi berikutnya dan didukung oleh ekosistem jaringan terbuka. AMD Pensando Pollara 400 sangat penting untuk memberikan kinerja kepemimpinan, skalabilitas, dan efisiensi komunikasi antar akselerator dalam jaringan back-end.
Baik AMD Pensando Salina DPU maupun AMD Pensando Pollara 400 sedang dalam tahap sampling dengan pelanggan pada Q4’24 dan dijadwalkan tersedia pada paruh pertama tahun 2025.
Software AI AMD Menyediakan Kemampuan Baru untuk AI Generatif
AMD terus berinvestasi dalam mendorong kemampuan software dan ekosistem terbuka untuk menghadirkan fitur dan kemampuan baru yang kuat dalam tumpukan software terbuka AMD ROCm™.
Dalam komunitas software terbuka, AMD mendorong dukungan untuk mesin komputasi AMD dalam kerangka kerja, pustaka, dan model AI yang paling banyak digunakan termasuk PyTorch, Triton, Hugging Face, dan banyak lainnya. Pekerjaan ini diterjemahkan menjadi kinerja dan dukungan siap pakai dengan akselerator AMD Instinct pada model AI generatif populer seperti Stable Diffusion 3, Meta Llama 3, 3.1 dan 3.2 serta lebih dari satu juta model di Hugging Face.
Di luar komunitas, AMD terus mengembangkan tumpukan open software ROCm, menghadirkan fitur-fitur terbaru untuk mendukung pelatihan dan inferensi terkemuka pada beban kerja AI Generatif. ROCm 6.2 sekarang mencakup dukungan untuk fitur AI kritis seperti tipe data FP8, Flash Attention 3, Kernel Fusion, dan lainnya. Dengan tambahan baru ini, ROCm 6.2, dibandingkan dengan ROCm 6.0, memberikan peningkatan kinerja hingga 2,4X pada inferensi dan 1,8X pada pelatihan untuk berbagai LLM.
www.amd-id.com
