Google Buka Kode TorchTPU; PyTorch Kini Jalan Native di Chip TPU
Google membuka kode sumber TorchTPU, tumpukan software yang membuat aplikasi PyTorch berjalan langsung di chip Tensor Processing Unit (TPU) miliknya. Pengumuman lewat blog Google Cloud bertanggal 21 Oktober 2026 itu bertepatan dengan PyTorch Conference 2026 dan datang sehari setelah Amazon merilis TorchNeuron untuk chip Trainium. Langkah ini penting karena PyTorch dipakai oleh sekitar 85 persen aplikasi AI, dan selama ini kodenya paling nyaman dijalankan di GPU Nvidia.
Apa Itu TorchTPU yang Dibuka Google?
TorchTPU adalah tumpukan PyTorch native untuk TPU Google yang kini tersedia sebagai proyek open source di GitHub. Dengan TorchTPU, model dan aplikasi PyTorch yang sudah ada bisa dipindah ke TPU dan Google Cloud dengan perubahan kode minimal, memakai API PyTorch yang sudah dikenal pengembang, tanpa harus menulis ulang aplikasi.
Menurut blog Google Cloud (2026) yang ditulis Mark Lohmeyer, VP dan GM AI and Computing Infrastructure, serta Bill Jia, Vice President Engineering, TorchTPU dikembangkan bersama tim PyTorch di Meta. Stack ini mendukung mode eager untuk debugging dan torch.compile untuk performa produksi dengan beban memori yang lebih rendah. Google menyebut TPU kini berdiri sejajar dengan GPU dan CPU sebagai pilihan native di PyTorch.
Google juga menggandeng banyak pemilik tool populer. Hugging Face menambahkan dukungan TorchTPU di Transformers dan Diffusers, Inferact menyiapkan backend untuk vLLM, RadixArk untuk SGLang, sementara Red Hat dan IBM ikut merilis llm-d 1.0. Anyscale menambahkan TPU sebagai akselerator kelas satu di Ray, dan LiteRT, tool Google untuk menjalankan AI di ponsel dan laptop, kini lebih ramah aplikasi PyTorch.
Selain kode inti, Google merilis TPU agent suite dalam status early preview di GitHub. Paket ini berisi plug-in untuk asisten coding yang membantu mengotomatiskan onboarding, diagnosis error, menjawab pertanyaan pengguna, dan menyetel performa inferensi. Artinya, proses migrasi dari GPU ke TPU bisa sebagian dikerjakan oleh agen AI, bukan sepenuhnya oleh insinyur.
Klaim Performa, 52 Persen MFU hingga 8.192 TPU Ironwood
Google mengklaim TorchTPU mampu mencapai model FLOPs utilization (MFU) hingga 52 persen saat melatih Qwen 3 8B lewat TorchTitan. Pelatihan juga diklaim stabil dengan penskalaan nyaris linier sampai 8.192 TPU Ironwood generasi v7x, angka yang menunjukkan stack ini dirancang untuk beban kerja skala besar, bukan sekadar eksperimen.
Resep TorchTitan yang disiapkan Google mencakup pre-training Llama 3 70B dan 405B, Qwen 3 8B dan 32B, model mixture-of-experts Qwen 3 235B, hingga model difusi FLUX.1 12B. Di sisi inferensi, komunitas llm-d disebut sudah memiliki lebih dari 500 kontributor dari 25 organisasi, menurut blog Google Cloud (2026). Backend VeRL untuk post-training berbasis GRPO masih berstatus preview.
Contoh pemakaian datang dari Zenteiq.ai. Pendirinya, Prof. Sashikumaar Ganesan, menyebut throughput inferensi agregat mereka naik lebih dari 4 kali lipat. Kapasitas token harian yang dihasilkan naik dari 1,47 miliar menjadi 5,97 miliar token per 1.000 akselerator TPU v6e setelah memakai GKE Inference Gateway berbasis llm-d dengan routing yang sadar beban dan prefix cache.
Meta, pencipta PyTorch, terang-terangan menyebut alasan mereka ikut terlibat. "We cannot be constrained by a single hardware architecture," kata Jana van Greunen, Director of PyTorch Engineering Meta. Menurutnya, TorchTPU memungkinkan Meta menjalankan beban kerja PyTorch untuk LLM, iklan, dan sistem rekomendasi di TPU Google sambil memberi masukan langsung ke tim teknik.
Amazon Lebih Dulu Rilis TorchNeuron untuk Trainium
Sehari sebelumnya, pada 19 Oktober 2026, Amazon Web Services merilis TorchNeuron, backend PyTorch native untuk chip Trainium. Pola keduanya sama: pengembang cukup mengubah perangkat tujuan, misalnya menulis .to('neuron'), lalu kode PyTorch yang sudah ada bisa berjalan di chip buatan sendiri milik penyedia cloud tanpa ditulis ulang.
Menurut blog resmi PyTorch (2026), TorchNeuron berlisensi Apache 2.0, mendukung mode eager dan torch.compile di Trainium2 dan Trainium3, serta masuk tahap beta publik mulai 20 Oktober 2026. AWS juga menguji sekitar 100 ribu model Hugging Face yang mewakili 99,9 persen pemakaian nyata berdasarkan jumlah unduhan, dan mengirim puluhan pull request ke PyTorch untuk menghapus asumsi yang terkunci pada CUDA.
Salah satu pengguna awal adalah Deepgram, penyedia AI suara. Adam Sypniewski, CTO Deepgram, menyebut dalam benchmark yang mereka evaluasi, Trainium memproses sekitar 60 persen lebih banyak detik audio input per dolar dibanding baseline GPU mereka. "The real story is removing the lock-in that kept developers from having a real choice at all," kata Colin Brace, VP of Technology Software AWS Annapurna Labs, kepada TechCrunch.
Dampaknya bagi Dominasi Nvidia dan Perusahaan Indonesia
Rilis TorchTPU dan TorchNeuron menyerang keunggulan terbesar Nvidia, yaitu kebiasaan pengembang. Selama ini banyak fitur PyTorch awalnya dibangun untuk GPU Nvidia, sehingga pindah ke chip lain berarti kerja tambahan. Kalau pindah cukup dengan satu baris konfigurasi, harga per token dan ketersediaan kapasitas menjadi penentu utama pilihan chip.
Meski begitu, TechCrunch mencatat langkah ini tidak berarti pengembang akan cepat meninggalkan GPU Nvidia. Ekosistem kernel khusus, alat profiling, dan pengalaman tim yang sudah lama terbangun di atas CUDA tidak hilang dalam semalam. Dukungan operator di chip baru juga belum lengkap, misalnya TorchNeuron masih melewati ribuan tes upstream yang operatornya belum punya implementasi native.
Bagi perusahaan dan pengembang di Indonesia, kabar ini membuka ruang tawar yang lebih besar saat menyewa komputasi AI. Tim yang membangun model atau layanan inferensi dengan PyTorch bisa membandingkan biaya GPU, TPU, dan Trainium tanpa harus menulis ulang aplikasi. Langkah praktisnya, uji beban kerja yang sama di beberapa chip, ukur biaya per token, lalu pilih yang paling efisien.
(Burung Hantu Infratek / Google Cloud / TechCrunch / PyTorch)
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait Google
🚀 Google Rilis Gemini 4 Argon; Harga Mulai $2 per Juta Token
🛡️ AS Sanksi MiraclePlus dan 4 Entitas China terkait Pencurian Rahasia AI Google
☁️ Google Project Suncatcher: Data Center AI Pindah ke Luar Angkasa
💡 Google AI Studio Luncurkan Vibe Coding
Sumber dan Referensi
[1] TorchTPU is now open source: Run native PyTorch on TPUs - Google Cloud Blog
[2] google-pytorch/torch_tpu - GitHub
[3] Google has joined Amazon in attacking Nvidia's stronghold with AI app developers - TechCrunch
[4] Amazon is taking its biggest shot at Nvidia yet with new TorchNeuron dev tool - TechCrunch
[5] Introducing TorchNeuron: Native PyTorch backend for AWS Trainium - PyTorch