Stanford Rilis Memorilla yang Padatkan Dokumen Jadi 16 Token untuk LLM Beku

Peneliti Stanford merilis Memorilla, modul memori sumber terbuka yang memadatkan satu koleksi dokumen menjadi hanya 16 token memori untuk model bahasa besar (LLM) yang bobotnya dibekukan. Rilis kode ini diumumkan pada 14 November 2026, setelah makalahnya terbit di arXiv pada 15 Oktober 2026. Pada tolok ukur FactKG, modul ini mencapai akurasi 84,33 persen dengan token dokumen 108 kali lebih sedikit, sebuah angka yang menantang anggapan bahwa konteks panjang selalu lebih baik.
Bagaimana Memorilla Memadatkan Koleksi Dokumen
Memorilla adalah sistem memori yang mengumpulkan informasi dari seluruh koleksi dokumen ke dalam 16 token memori yang bergantung pada pertanyaan, lalu menyuapkannya ke LLM beku. Dokumen cukup dikodekan satu kali, sehingga dokumen baru tidak memaksa dokumen lama diproses ulang oleh encoder.
Prosesnya terdiri dari tiga langkah. Pertama, encoder Qwen3-Embedding-4B yang dibekukan mengubah tiap dokumen menjadi embedding yang bisa dipakai ulang. Kedua, 16 slot yang dipelajari memperhatikan pertanyaan dan seluruh simpanan dokumen lewat dua lapisan cross-attention dengan delapan kepala. Ketiga, slot itu diproyeksikan ke ruang embedding masukan Qwen3-8B dan ditempelkan di depan pertanyaan.
Hanya modul memori yang dilatih, yakni 194.123.776 parameter untuk dekoder 8 miliar parameter. Pelatihan berjalan tiga tahap, mulai dari sekitar 1,98 juta contoh rekonstruksi parafrasa Wikipedia, sekitar 1,34 juta contoh dari 10 kumpulan data tanya jawab dan peringkasan, hingga penyetelan akhir pada delapan tolok ukur. Seluruh resep memakan sekitar 19 jam pada empat GPU H100.
Tim ini berasal dari kelompok SNAP yang dipimpin Jure Leskovec, bersama peneliti dari sejumlah universitas lain. Menurut laporan Artiverse, kode, resep pelatihan, dan checkpoint dirilis terbuka di bawah lisensi Apache 2.0. Pendekatannya berbeda dari RAG biasa, karena modul belajar sendiri apa yang dibutuhkan tiap pertanyaan dari seluruh simpanan, bukan menempelkan potongan teks yang mirip dengan pertanyaan.
Hasil Uji, Kecepatan, dan Tempat Memorilla Kalah
Memorilla unggul pada lima dari delapan tolok ukur dibanding pembanding seperti Mem0 dan MemoRAG, dengan skor rata-rata 49,68. Pembandingnya lebih rendah: xRAG 41,92, LLMLingua-2 40,75, dan Mem0 38,02. Semua pembanding memakai Qwen3-8B beku yang sama, dan skornya dilaporkan sendiri oleh tim peneliti.
Pada FactKG, Memorilla mencapai akurasi 84,33 persen, dibanding 80,43 persen ketika semua dokumen dimasukkan ke konteks dan 80,38 persen pada MemoRAG. Pada PersonaMem-v2 yang menguji personalisasi, skornya 44,60 persen, jauh di atas 27,92 persen untuk konteks penuh. Pada NarrativeQA, 16 token memori menggantikan 67.385 token dokumen, pemadatan sekitar 4.212 kali.
Soal kecepatan, satu GPU H100 menjawab dalam 0,74 detik untuk 512 dokumen (sekitar 128 ribu token). Inferensi konteks penuh naik dari 0,75 detik menjadi 19,9 detik, sekitar 27 kali lebih lambat. Modul memorinya sendiri hanya butuh sekitar 2 milidetik. Dengan cache opsional di satu GPU B200, satu pertanyaan memakan 8,1 milidetik pada 1 juta dokumen dan 33 milidetik pada 4 juta dokumen, dengan ukuran cache 80 GiB.
Tidak semua hasilnya menang. Pada PubMedQA, Memorilla hanya 59,00 persen sedangkan LLMLingua-2 mencapai 69,00 persen, karena abstraknya cuma 324 token sehingga pemadatan hampir tidak berguna. MemoRAG juga unggul tipis di PersonalizationV4 dan NarrativeQA. Sebagai memori agen di lingkungan TextWorld, tingkat keberhasilan naik dari 18,6 persen menjadi 24,2 persen.
Dampaknya bagi Perusahaan yang Memakai RAG
Bagi perusahaan, nilai terbesarnya ada pada model yang tidak perlu dilatih ulang. Memorilla bekerja dengan LLM beku, jadi basis pengetahuan yang sering berubah bisa diperbarui dengan mengodekan dokumen baru saja. Hal ini relevan untuk tim yang membangun asisten internal di atas model terbuka dan ingin menekan biaya token konteks panjang. Pemadatan 108 kali pada FactKG berarti jauh lebih sedikit token dokumen yang harus dibaca model untuk setiap pertanyaan.
Syarat perangkat kerasnya tidak ringan. Panduan mulai cepat membutuhkan satu GPU 80 GB, resep dijalankan di H100 80GB, dan unduhan pertama sekitar 25 GB model. Tidak ada varian terkuantisasi yang diumumkan. Setiap checkpoint juga harus dipakai dengan dekoder yang sama saat dilatih, sehingga penggantian model dasar berarti melatih ulang modul memorinya.
Penulis makalah, Adibvafa Fallahpour dan rekan, menutup karya mereka dengan menyebut Memorilla sebagai "a step towards building continually learning AI systems". Klaim itu masih bertumpu pada tolok ukur yang dilaporkan sendiri, jadi uji pada data perusahaan sendiri tetap perlu sebelum dijadikan dasar keputusan arsitektur.
Bagi perusahaan dan BUMN di Indonesia yang sedang merancang asisten pengetahuan internal, Memorilla patut dicatat sebagai pembanding untuk RAG yang sekarang dipakai, terutama untuk dokumen panjang seperti dokumen pengadaan, kontrak, dan arsip korespondensi. Prioritasnya adalah menguji akurasi dan biaya GPU pada korpus sendiri, termasuk dokumen berbahasa Indonesia yang belum tercakup dalam tolok ukur makalah ini.
(Burung Hantu Infratek / Berbagai Sumber)
Foto sampul: ilustrasi dibuat dengan AI, bukan foto produk atau kejadian asli.
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait Memori LLM
💡 Cloudflare Rilis Clairic; Model Ekstraksi Data Tanpa Token Output
🤖 AT&T Jalankan Hampir 500 Alur Kerja Agen AI dan Proses 45 Miliar Token per Hari
⚡ Cloudflare Buka Kode Kitesurf, Browser Agen AI yang Hemat Memori hingga 7 Kali
🚀 Arsitektur AI Baru 100x Lebih Cepat Daripada LLM
Sumber dan Referensi
[1] Memorilla: Latent Semantic Memory for LLMs - arXiv
[2] Memorilla: Latent Semantic Memory for LLMs - DAIR.AI Academy
[3] Memorilla Shrinks Massive Document Stores to 16 Tokens - Artiverse
[4] Stanford Open-Sources Memorilla Memory Module for LLMs - Emergent
