Bug KV Cache Cloudflare Bocorkan 155 Respons GLM-5.3 ke Pelanggan Lain
Cloudflare mengakui bug pada layanan Workers AI membuat 155 respons model GLM-5.3 memuat potongan data dari permintaan pelanggan lain. Dalam laporan insiden yang terbit 26 Oktober 2026, Cloudflare menyebut kebocoran berlangsung sejak 27 Agustus sampai 9 September 2026 dan hanya menimpa prompt di atas 681.280 token. Kasus ini menunjukkan bahwa isolasi antarpelanggan di layanan AI bersama bisa jebol bukan karena serangan, melainkan karena salah ukur memori dan bug di mesin inferensi open source.
Apa yang Terjadi pada GLM-5.3 di Workers AI?
Selama sekitar dua minggu, sebagian kecil pelanggan Workers AI yang mengirim prompt sangat panjang ke model GLM-5.3 menerima jawaban yang bercampur data dari permintaan pelanggan lain. Cloudflare menghitung 155 respons terdampak, semuanya untuk prompt yang lebih panjang dari 681.280 token.
Masalah ini sudah ada sejak hari pertama GLM-5.3 tersedia di Workers AI, yaitu 27 Agustus 2026. Data yang bocor berasal dari permintaan pelanggan lain ke model yang sama, yang dikirim tidak lama sebelumnya. Cloudflare tidak menyebut jumlah pelanggan yang terdampak, hanya menyebutnya sebagai jumlah kecil, dan menegaskan bahwa tidak ada model lain di Workers AI yang ikut terdampak.
Laporan insiden ditulis Michelle Chen dan Kevin Flansburg dari Cloudflare. Menurut mereka, waktu dan volume permintaan yang terdampak cocok dengan pemakaian konteks panjang yang wajar, bukan percobaan berulang dari penyerang. "Kami tidak menemukan bukti adanya eksploitasi yang disengaja," tulis keduanya dalam laporan tersebut.
Celah ini ditemukan oleh Gadi Evron, peneliti keamanan dari Knostic. Evron melaporkannya lewat program bug bounty Cloudflare di HackerOne pada 8 September 2026 pukul 23.11 UTC. Keesokan harinya, Cloudflare memverifikasi laporan itu dan berhasil mereproduksi kebocoran memakai dua akun dalam waktu 25 menit.
Penyebabnya, Salah Ukur Memori dan Bug SGLang
Kebocoran ini lahir dari dua masalah yang saling menumpuk. Pertama, GLM-5.3 dijalankan dengan jendela konteks 1.048.576 token, padahal kolam memori KV cache di tahap prefill hanya muat 681.280 token. Kedua, mesin inferensi open source SGLang tidak menolak prompt yang kelewat panjang dengan benar.
KV cache adalah memori sementara yang menyimpan hasil olahan prompt agar model tidak perlu menghitung ulang setiap token. Cloudflare memakai mode disaggregated, yaitu tahap prefill (membaca prompt) dan tahap decode (menulis jawaban) berjalan di mesin berbeda. Dalam mode ini, SGLang menandai prompt yang terlalu panjang sebagai ditolak, lalu menggantinya dengan placeholder satu token.
Masalahnya, permintaan yang sudah ditolak itu tetap diteruskan ke tahap decode. Mesin decode kemudian membaca halaman KV cache basi yang masih berisi sisa permintaan pelanggan sebelumnya. Pelanggan pun menerima kode HTTP 200 seolah semuanya normal, padahal jawabannya disusun dari data orang lain.
Cloudflare mengaku sudah tahu soal selisih ukuran kolam memori sebelum peluncuran, tetapi menganggapnya aman karena pengujian selalu mengembalikan respons sukses. "Ini satu celah kritis dalam pengujian kami, kami hanya memvalidasi kode respons HTTP dan performa mesin pada konteks panjang," tulis Chen dan Flansburg. Bug yang sama sebenarnya sudah dilaporkan di GitHub SGLang sebagai issue #30233 pada 6 Juli 2026, lalu ditutup otomatis oleh bot pada 5 September 2026 karena tidak aktif.
Bagaimana Cloudflare Menutup Celah Ini?
Cloudflare menutup celah dalam satu hari. Pada 9 September 2026, model GLM-5.3 dijadikan privat pukul 14.00 UTC, semua node prefill diganti konfigurasinya pukul 14.52 UTC, dan model dibuka kembali untuk publik pukul 19.40 UTC setelah konfigurasi baru serta patch mesin terpasang.
Perbaikan konfigurasi dilakukan dengan memperbesar kolam KV cache prefill menjadi sekitar 2,04 juta token, kira-kira dua kali panjang konteks model. Dengan ukuran itu, semua prompt yang sah dipastikan muat. Di sisi mesin, Cloudflare menambal SGLang agar permintaan yang ditolak langsung dihentikan beserta pesan errornya, sebelum ada transfer KV cache ke tahap decode.
Perbaikan itu juga dibawa ke proyek SGLang. Pull request #38935 yang ditulis ShangmingCai, yang menolak permintaan bermasalah di dua titik masuk mode disaggregated, digabung pada 16 September 2026. SGLang lalu merilis versi 0.5.21 pada 2 Oktober 2026 dan versi 0.5.22 pada 19 Oktober 2026. Cloudflare menyarankan operator SGLang memakai versi 0.5.22 atau yang lebih baru.
Cloudflare juga menambah daftar periksa peluncuran yang membandingkan ukuran kolam KV cache dengan panjang konteks model. Untuk jangka panjang, perusahaan itu sedang menyiapkan penanda integritas per halaman memori, checksum untuk setiap transfer, dan verifikasi formal protokol transfer KV cache berbasis RDMA. Pesan untuk operator lain ditulis lugas, "Jangan mengandalkan proxy untuk menegakkan batas, dan jangan berasumsi mesin akan menolak apa yang tidak muat."
Dampaknya bagi Pengguna API AI di Indonesia
Bagi perusahaan Indonesia yang memakai API model AI dari penyedia cloud, kasus ini mengingatkan bahwa satu model yang dipakai bersama banyak pelanggan menyimpan risiko bocor antarpenyewa. Risiko terbesar ada pada prompt sangat panjang, misalnya dokumen kontrak, data pelanggan, atau kode sumber yang dikirim utuh ke model.
Langkah praktisnya sederhana. Tanyakan ke vendor bagaimana mereka memisahkan memori antarpelanggan, apakah model dijalankan dalam mode disaggregated, dan bagaimana mereka akan memberi tahu jika terjadi insiden. Hindari mengirim data pribadi utuh bila ringkasan atau data yang sudah disamarkan sudah cukup untuk tugasnya.
Tim yang menjalankan model sendiri dengan SGLang perlu mengecek versinya. Jika memakai mode prefill dan decode terpisah, naikkan ke versi 0.5.22 atau lebih baru, lalu pastikan ukuran kolam KV cache tidak lebih kecil dari panjang konteks yang diiklankan ke pengguna. Pengujian juga sebaiknya memeriksa isi jawaban, bukan hanya kode respons.
Dari sisi hukum, perusahaan di Indonesia yang mengolah data pribadi lewat layanan AI tetap berstatus pengendali data menurut Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi. Pasal 46 ayat (1) UU itu mewajibkan pengendali data menyampaikan pemberitahuan tertulis paling lambat 3 x 24 jam jika terjadi kegagalan pelindungan data pribadi. Artinya, kontrak dengan vendor AI perlu memuat kewajiban vendor melapor cepat, supaya tenggat itu bisa dipenuhi.
(Burung Hantu Infratek / Berbagai Sumber)
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait Cloudflare
🛡️ CEO Cloudflare Peringatkan Gelombang Celah Temuan AI Selama Dua Tahun
🤖 Cloudflare Rilis Clairic; Model Ekstraksi Data Tanpa Token Output
🚫 Cloudflare Blokir 416 Miliar Request Bot AI dalam 5 Bulan
⚡ Cloudflare Down: OpenAI ChatGPT dan X Lumpuh Bersamaan
Sumber dan Referensi
[2] Cloudflare Says GLM-5.3 Bug Leaked 155 Responses Across Tenant Sessions - Unite.AI
[4] [PD] Do not admit intake-rejected requests to a PD handoff - GitHub SGLang
[5] Release v0.5.22 - GitHub SGLang
[6] Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi - JDIH Komdigi