Startup AI inference d-Matrix mengejutkan industri dengan meluncurkan kartu Ethernet JetStream 400Gbps yang revolusioner untuk scale-out AI inference. Kartu PCIe Gen5 dengan TDP 150W ini dirancang khusus untuk server AI inference Corsair mereka. Inovasi networking ini membuka jalan baru untuk scaling AI workloads tanpa bergantung pada infrastruktur proprietary NVIDIA.

Terobosan Networking untuk AI Inference Scale-Out

d-Matrix mengumumkan peluncuran JetStream, sebuah PCIe network adapter yang dirancang khusus untuk server AI inference perusahaan dengan kemampuan 400Gbps Ethernet. Kartu ini merupakan solusi networking yang memungkinkan scaling ke multiple chassis menggunakan off-the-shelf networking infrastructure, memberikan alternatif cost-effective dibanding solusi proprietary. JetStream menggunakan QSFP-DD connector yang jauh lebih mudah untuk mendapatkan non-NVIDIA switches dibandingkan OSFP, dan juga memudahkan pada sisi transceiver dengan dukungan PAM4/NRZ.

Spesifikasi teknis JetStream menunjukkan komitmen serius d-Matrix dalam networking performance. Sebagai device PCIe Gen5, kartu ini lebih sebagai competitor untuk NVIDIA ConnectX-7 daripada ConnectX-8 karena merupakan device 400Gbps. Namun TDP 150W yang dimiliki kartu ini memerlukan aux connector untuk power, yang mungkin tidak ideal namun masih dalam kategori wajar mengingat beberapa kartu NVIDIA seperti BlueField-3 DPUs juga memerlukan aux power inputs.

Fitur kecil namun penting yang mungkin terlewat adalah adanya heatpipe pada QSFP-DD cages di kartu JetStream. Dalam server Supermicro, kartu-kartu ini berada di bagian belakang dimana optics di rear AI servers cenderung lebih panas dibanding di front, sehingga perhatian khusus pada cooling optics dapat memberikan benefit besar untuk reliability di AI clusters. Detail engineering seperti ini menunjukkan pengalaman mendalam d-Matrix dalam deployment AI infrastructure.

Kartu JetStream dirancang khusus untuk d-Matrix Corsair AI Inference server yang menggunakan server GPU/AI berbasis PCIe switch 5U dari Supermicro. PCIe root complex cukup standard untuk server high-end Supermicro dengan 144-port PCIe Gen5 switches yang biasanya Broadcom di kelas AI servers Supermicro ini. Setiap switch mendapat empat d-Matrix Corsair cards dengan DMX bridge antar pairs untuk high-bandwidth tanpa harus melalui PCIe.

Arsitektur scale-out fabric topology yang ditawarkan d-Matrix sangat menarik mengingat current generation 51.2T switches yang memungkinkan 64x 800G ports split menggunakan dual 400G optical modules menjadi 128x 400G. Hal ini berarti dengan dua 400G NICs per box, jumlah boxes yang bisa dikoneksi dengan decent network radix sangat impressive dan membantu menurunkan cost AI inference infrastructure secara signifikan.

Positioning Strategis Melawan Dominasi NVIDIA

Langkah d-Matrix meluncurkan NIC sendiri merupakan strategi yang cerdas untuk mengurangi dependensi pada ekosistem NVIDIA dan memberikan customers lebih banyak pilihan dalam membangun AI infrastructure. Dengan banyak perusahaan yang mencoba membuat AI accelerators, lebih sedikit yang juga membuat accelerators dan NICs sekaligus, positioning d-Matrix sebagai full-stack solution provider. Pertanyaan penting adalah pricing karena dengan TDP 150W, kartu ini diharapkan memiliki cost lebih rendah dari ConnectX-7, AMD Pollara 400, Broadcom Thor untuk menjaga system costs tetap kompetitif.

Roadmap perusahaan menunjukkan mereka tidak hanya fokus pada compute dan memory stacked accelerator model untuk compute saat ini, tetapi juga merencanakan Scale-up Ethernet/UALink di masa depan. Menariknya perusahaan merilis NIC hari ini, kemudian berencana membuat I/O chiplet di masa depan, menunjukkan strategi jangka panjang yang well-thought untuk vertical integration dalam AI infrastructure stack.

Penggunaan server 5U Supermicro sebagai basis untuk Corsair juga strategis, karena Supermicro telah terbukti reliable dalam AI deployments dan memiliki ecosystem yang mature. Arsitektur PCIe switch yang digunakan memungkinkan high-bandwidth connectivity antar AI accelerators dalam single chassis, sementara JetStream cards memungkinkan scale-out ke multiple chassis tanpa bottlenecks networking.

Implikasi untuk Masa Depan AI Infrastructure

Peluncuran JetStream menandai shift penting dalam landscape AI infrastructure dimana specialized networking solutions mulai muncul untuk address specific needs AI workloads. Berbeda dengan general-purpose networking cards, JetStream dirancang khusus dengan understanding mendalam tentang AI inference patterns dan requirements. Hal ini mencerminkan maturity industri AI yang mulai mengembangkan purpose-built infrastructure components.

Keputusan d-Matrix untuk mengembangkan full-stack solution dari accelerator hingga networking menunjukkan bahwa future AI infrastructure akan semakin integrated dan optimized untuk specific workloads. Companies yang dapat menyediakan end-to-end solutions akan memiliki advantage significant dalam market yang semakin competitive ini, terutama dalam memberikan predictable performance dan simplified deployment untuk enterprise customers.

(Burung Hantu Infratek / Berbagai Sumber)

Berita ini 100% diriset, ditulis dan dikembangkan oleh AI internal Burung Hantu Infratek. Bisa jadi terdapat kesalahan pada data aktual.