Startup chip AI asal Korea Selatan, FuriosaAI, berhasil memenangkan kontrak besar dari divisi AI Research LG. Keunggulan chip RNGD milik FuriosaAI terletak pada efisiensi daya yang lebih tinggi dibandingkan GPU konvensional untuk menjalankan model bahasa besar (LLM).

LG AI Research mengonfirmasi bahwa chip RNGD mampu memberikan performa 2,25 kali lebih efisien dibandingkan GPU Nvidia A100 dalam menjalankan model Exaone milik mereka. Keberhasilan ini menjadi tolok ukur penting bagi persaingan di pasar chip AI yang semakin ketat.

Kesuksesan FuriosaAI menunjukkan tren baru dalam industri chip AI yang tidak hanya mengejar kecepatan komputasi, tetapi juga efisiensi daya sebagai faktor penentu keunggulan kompetitif.

Efisiensi Daya Jadi Keunggulan Utama

FuriosaAI memperkenalkan chip RNGD yang tampak sederhana pada spesifikasinya dengan performa floating point antara 256 dan 512 teraFLOPS tergantung pada presisi yang digunakan. Kapasitas memori chip ini juga relatif kecil, hanya 48GB dari sepasang stack HBM3, yang mampu memberikan bandwidth sekitar 1,5TB/s.

Dibandingkan dengan GPU terbaru dari AMD dan Nvidia, RNGD terlihat kurang kompetitif sampai kita mempertimbangkan fakta bahwa Furiosa berhasil mencapai semua ini hanya dengan konsumsi daya 180 watt. Dalam pengujian, tim peneliti LG menemukan bahwa chip ini 2,25 kali lebih efisien daripada GPU untuk inferensi LLM pada model Exaone buatan mereka.

June Paik, CEO FuriosaAI, menjelaskan bahwa meskipun GPU Nvidia telah menjadi lebih kuat dalam lima tahun terakhir sejak debut A100, peningkatan performa tersebut datang dengan konsekuensi konsumsi energi yang lebih tinggi dan area die yang lebih besar.

Paik mengklaim bahwa keunggulan efisiensi RNGD sebagian besar berasal dari arsitektur Tensor Contraction Processor, yang menurutnya membutuhkan jauh lebih sedikit instruksi untuk melakukan perkalian matriks dibandingkan GPU dan meminimalkan pergerakan data.

Chip RNGD juga mendapatkan keuntungan dari penggunaan HBM, yang menurut Paik membutuhkan daya jauh lebih sedikit daripada GDDR, seperti yang kita lihat pada beberapa penawaran kelas bawah Nvidia, seperti kartu L40S atau RTX Pro 6000 Blackwell.

Persaingan Dengan Raksasa Industri

Dengan efisiensi sekitar 1,4 teraFLOPS per watt, RNGD sebenarnya lebih mendekati generasi Hopper Nvidia daripada A100. Efisiensi RNGD menjadi semakin jelas jika kita beralih fokus ke bandwidth memori, yang merupakan faktor lebih penting ketika berkaitan dengan inferensi LLM. Sebagai aturan umum, semakin banyak bandwidth memori yang dimiliki, semakin cepat chip menghasilkan token.

LG AI menggunakan empat kartu PCIe RNGD dalam konfigurasi tensor-paralel untuk menjalankan model Exaone 32B buatan mereka dengan presisi 16-bit. Menurut Paik, LG memiliki target kinerja spesifik yang dicari saat memvalidasi chip untuk digunakan.

Dalam pengujian, LG menemukan bahwa mereka mampu mencapai tingkat kinerja ini sambil menghasilkan sekitar 50-60 token per detik pada ukuran batch satu. Menurut Paik, tes ini dilakukan menggunakan FP16, karena A100 yang dibandingkan LG tidak secara native mendukung aktivasi floating-point 8-bit.

Keberhasilan FuriosaAI tidak berhenti pada LG. Seperti yang mungkin Anda ingat, Meta dilaporkan membuat tawaran sebesar $800 juta untuk mengakuisisi startup ini awal tahun ini, tetapi pada akhirnya gagal meyakinkan pemimpin Furiosa untuk menyerahkan kunci kerajaan.

Furiosa mendapat keuntungan dari meningkatnya permintaan untuk model AI, perangkat lunak, dan infrastruktur yang didesain dan dilatih pada perangkat keras buatan sendiri.

Tantangan dan Masa Depan

Meskipun berhasil, Furiosa menghadapi beberapa tantangan untuk bersaing di skala global. Yang paling mencolok, GPU terbaru Nvidia dan AMD tidak hanya menawarkan kinerja, kapasitas memori, dan bandwidth yang jauh lebih tinggi daripada RNGD, tetapi menurut perkiraan kami juga jauh lebih hemat energi.

Paik mengakui bahwa proses desain untuk RNGD dimulai pada tahun 2022, sebelum ChatGPT dari OpenAI memulai booming AI. Pada saat itu, model seperti Bert adalah mainstream dalam hal model bahasa. Paik, bagaimanapun, bertaruh bahwa GPT akan lepas landas dan arsitektur yang mendasarinya akan menjadi norma baru.

Dengan pelajaran yang didapat, Paik mengatakan bahwa sekarang Furiosa telah berhasil membuktikan arsitektur prosesor kompresi tensor, integrasi HBM, dan tumpukan perangkat lunaknya, perusahaan hanya perlu meningkatkan arsitekturnya untuk tetap kompetitif.

(Burung Hantu Infratek / Berbagai Sumber)