AWS SageMaker Kini Bisa Membelah Satu GPU Jadi Tujuh Bagian untuk Banyak Model
Amazon Web Services mengumumkan pada 6 November 2026 bahwa Amazon SageMaker Inference kini mendukung pemartisian GPU lewat NVIDIA Multi-Instance GPU (MIG), sehingga satu akselerator fisik bisa dibagi menjadi paling banyak tujuh partisi dengan isolasi di tingkat perangkat keras. Fitur ini berlaku untuk keluarga instans P4d, P5, G7, dan G7e di tujuh Region. Dalam uji AWS, satu partisi H100 mengungguli satu GPU A100-40GB utuh dengan biaya 18 sampai 34 persen lebih murah per juta token keluaran, sehingga pengelolaan biaya inferensi bergeser dari soal berapa GPU menjadi soal berapa irisan.
Apa yang Berubah pada Endpoint GPU SageMaker?
Sebelumnya satuan terkecil yang bisa dipesan di endpoint GPU SageMaker adalah satu akselerator utuh. Kini SageMaker memakai NVIDIA MIG untuk membagi satu GPU fisik menjadi partisi independen, masing-masing dengan jatah unit komputasi dan blok memori sendiri, dengan isolasi yang dijalankan perangkat keras, dan tiap partisi bisa diisi model yang berbeda.
Batasan lama membuat pelanggan membayar dua kali. Instans ml.p4d.24xlarge membawa delapan GPU A100, jadi hanya menampung delapan model, entah model itu butuh 40 GB atau cuma 14 GB. Alternatifnya adalah menggabung beban dalam endpoint besar, memakai multi-model endpoint yang saling berbagi perangkat tanpa isolasi, atau mengelola sendiri Kubernetes dengan seluruh urusan driver dan penjadwalannya.
Cara kerjanya sederhana secara API. AWS menambahkan dua kolom opsional ke panggilan yang sudah ada, yaitu AcceleratorPartitionLayouts pada konfigurasi endpoint dan AcceleratorPartitionType pada inference component, tanpa operasi API baru. Contoh layout 4g.20gb, 2g.10gb, dan 1g.5gb memakai ketujuh irisan sebuah A100, sehingga instans p4d dengan delapan GPU menyediakan 24 partisi.
Pemartisian hanya berjalan pada endpoint yang memakai inference component, yaitu konstruksi untuk menaruh beberapa model dalam satu endpoint. Menurut AWS, proses membelah akselerator menambah sekitar 17 detik pada waktu provisioning, sedangkan tagihan tetap untuk seluruh instans GPU seperti sebelumnya. Yang naik adalah seberapa banyak instans itu terpakai, bukan harga per jamnya.
Seberapa Besar Penghematan Satu Irisan H100 Dibanding A100 Utuh?
Dalam uji AWS dengan Llama-3.1-8B-Instruct, satu partisi mig-3g.40gb dari H100 menghasilkan token keluaran per detik 53 sampai 89 persen lebih banyak daripada satu A100-40GB utuh. Biaya per juta token keluaran juga 18 sampai 34 persen lebih murah, tetapi hanya di atas titik impas konkurensi tertentu.
AWS memakai genai-bench dari klien yang sama untuk kedua endpoint, dengan satu replika model, citra kontainer, dan tokenizer yang identik. Pengujian menyapu lima bentuk lalu lintas, dari prompt pendek hingga ringkasan konteks panjang, pada tangga konkurensi 2 sampai 512. Latensi antartoken turun 8,9 sampai 42,1 persen, sedangkan waktu menuju token pertama turun 5,6 sampai 47,5 persen.
Perhitungan biaya memakai harga on-demand di Region US West (Oregon), yaitu 25,25 dolar AS per jam untuk ml.p4d.24xlarge dan 63,30 dolar AS per jam untuk ml.p5.48xlarge. Biaya satuan diturunkan dengan membagi harga instans dengan jumlah unit, yakni 8 pada p4d dan 16 pada p5. Titik impasnya di konkurensi 64 untuk prompt 100 token dan konkurensi 4 untuk prompt 8.000 token. Di bawah titik itu, A100 utuh justru lebih murah.
Pada ujung tangga konkurensi untuk beban konteks panjang, A100 berhenti melayani. Untuk beban 6.000 dan 8.000 token, GPU utuh itu gagal memproses sepertiga sampai setengah permintaan terhadap tenggat jalur layanan, sementara partisi H100 tidak gagal sama sekali. AWS menegaskan hasil ini perbandingan kasus per kasus, bukan vonis, dan beban pendek atau konkurensi rendah tetap lebih murah di A100 utuh.
Kapan Pemartisian GPU Layak Dipakai dan Apa Batasnya?
Pemartisian paling cocok untuk portofolio model kecil dan menengah yang stabil, seperti varian hasil fine-tuning, model embedding, reranker, dan classifier, yang masing-masing menyisakan sebagian besar GPU. Pemartisian kurang cocok untuk kombinasi model yang diacak ulang tiap hari atau model yang membutuhkan satu GPU penuh atau lebih.
Batasannya cukup tegas. Tipe partisi sebuah komponen terkunci selama komponen itu hidup. Mengubah pembagian pada endpoint berarti membuat endpoint baru dan memindahkan lalu lintas, karena memperbarui konfigurasi tidak membelah ulang host yang sudah berjalan. Endpoint model tunggal, serverless, kumpulan instans heterogen, dan invokasi asinkron di luar cakupan, dan tidak ada partisi yang melintasi dua akselerator.
Ukuran partisi harus dihitung dari memori, bukan hanya bobot model. Model 8 miliar parameter pada FP16 membutuhkan sekitar 16 GB bobot, ditambah KV cache sesuai panjang konteks dan konkurensi, ditambah 1 sampai 2 GB beban kerja runtime. Model yang sama melayani konteks 8.000 token dengan nyaman pada partisi 40 GB. Pada P4d, profil mig-1g.10gb butuh driver NVIDIA R525 atau lebih baru, sedangkan citra bawaan memakai versi 470.256.02.
Salesforce ikut menetapkan kebutuhan dan memvalidasi implementasi awal. "MIG memungkinkan kami menggabungkan beban kerja dengan aman, meningkatkan pemakaian GPU secara signifikan, menekan biaya inferensi, dan menjaga performa yang dapat diprediksi serta isolasi yang kuat," kata Richard Chang, Software Engineering Architect di Salesforce.
AWS juga mengingatkan agar klaim isolasi tidak dibaca berlebihan. Model dalam satu instans tetap berbagi CPU host, memori sistem, penyimpanan, jaringan, dan perutean endpoint, sehingga pemartisian adalah mekanisme isolasi GPU, bukan batas tenancy yang lengkap untuk penyewa yang membutuhkan pemisahan penuh.
Dampaknya bagi Biaya Inferensi Perusahaan di Indonesia
Bagi pengguna cloud, fitur ini mengubah cara menghitung biaya inferensi. Harga per jam instans tidak berubah, tetapi jumlah model yang bisa ditampung dan tingkat pemakaian GPU naik, sehingga biaya efektif per model atau per tenant turun bila karakter beban cocok dengan ukuran partisinya.
Jumlah irisan bergantung pada GPU. P4d dengan NVIDIA A100 40 GB dan P5 dengan H100 80 GB sama-sama bisa dibelah hingga tujuh partisi. G7 dengan RTX PRO 4500 Blackwell 32 GB mendukung maksimal dua partisi, sedangkan G7e dengan RTX PRO 6000 Blackwell Server Edition 96 GB mendukung empat. Profil dan namanya berbeda antar-GPU, jadi layout tidak bisa disalin begitu saja.
Bagi perusahaan dan pengembang di Indonesia, Region Asia Pasifik yang tercantum hanya Singapura dan Tokyo, sehingga tim yang menaruh beban inferensi di Singapura bisa langsung mencoba. Penyedia SaaS dan integrator yang melayani banyak klien dengan model per klien punya alasan menguji fitur ini, selama persyaratan lokasi data tiap klien dicek terpisah.
Langkah praktisnya, hitung kebutuhan memori dan komputasi tiap model, bandingkan irisan GPU baru dengan GPU lama utuh pada beban sendiri, lalu tentukan titik impas konkurensi sebelum mengunci layout. Hasil uji AWS menunjukkan pilihan terbaik bergantung pada panjang prompt dan jumlah permintaan serentak, bukan pada nama GPU.
(Burung Hantu Infratek / Berbagai Sumber)
Foto sampul: ilustrasi dibuat dengan AI, bukan foto produk atau kejadian asli.
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait AWS
📈 AWS Tumbuh 39 Persen; Amazon Siapkan Belanja Modal $220 Miliar
🛡️ AWS Tak Tambal Celah 9,8 di Multi Model Server; Pengguna Diminta Migrasi
⚡ Cognition Rilis SWE-2 Flash; Model Coding 3 Kali Lebih Cepat, Harga Seperlima
☁️ Apa yang Harus Disiapkan Perusahaan Saat Pusat Data AI Berebut Listrik dan Air?
Sumber dan Referensi
[2] NVIDIA Multi-Instance GPU User Guide - NVIDIA
[3] Multi-Instance GPU (MIG) - NVIDIA
[4] Inference components - Amazon SageMaker AI Developer Guide