Google Research resmi mengumumkan Titans dan MIRAS, arsitektur revolusioner yang mengubah cara model AI mengingat informasi. Dengan kemampuan memproses lebih dari 2 juta token dalam satu context window, Titans mengalahkan GPT-4 dalam tes memori jarak jauh. Bagi software developer AI dan pengembang aplikasi AI, terobosan ini membuka peluang baru untuk membangun aplikasi yang benar-benar "mengingat" percakapan panjang tanpa melupakan detail penting.

Otak Buatan yang Belajar Sambil Jalan

Transformers telah menjadi tulang punggung model AI modern seperti ChatGPT dan Gemini. Namun arsitektur ini punya kelemahan fatal: biaya komputasi meledak secara kuadratik seiring panjang teks yang diproses. Artinya, memproses dokumen sepanjang buku atau analisis genom menjadi sangat mahal dan lambat.

Titans mengatasi masalah ini dengan pendekatan radikal: menggabungkan kecepatan RNN (Recurrent Neural Network) dengan akurasi Transformers. Kuncinya terletak pada modul neural long-term memory yang berfungsi seperti otak manusia, mampu menyimpan dan mengingat informasi penting secara selektif.

Yang membuat Titans unik adalah kemampuan test-time memorization. Tidak seperti model AI biasa yang "beku" setelah training, Titans terus belajar dan memperbarui memorinya saat sedang berjalan. Model ini secara aktif memasukkan informasi baru ke dalam core knowledge-nya secara real-time, tanpa perlu retraining offline.

Surprise Metric: AI yang Tahu Apa yang Penting

Bagaimana Titans memutuskan informasi mana yang harus diingat? Jawabannya adalah "surprise metric", konsep yang terinspirasi dari psikologi manusia. Sama seperti otak kita cenderung mengingat kejadian mengejutkan dan melupakan hal rutin, Titans menggunakan gradien internal untuk mendeteksi anomali.

Jika model sedang memproses laporan keuangan serius dan tiba-tiba menemukan data yang tidak sesuai ekspektasi, sistem akan menandainya sebagai "high surprise" dan memprioritaskan penyimpanan ke memori jangka panjang. Sebaliknya, informasi yang sudah diprediksi tidak akan memenuhi kapasitas memori.

Titans juga dilengkapi dua mekanisme penyempurna. Pertama, momentum yang mempertimbangkan kejutan saat ini dan konteks sebelumnya, memastikan informasi terkait juga tertangkap meskipun secara individual tidak mengejutkan. Kedua, forgetting mechanism berupa weight decay adaptif yang membuang informasi usang, mirip cara otak manusia melupakan hal tidak relevan.

MIRAS sebagai kerangka teori mendefinisikan empat pilihan desain kunci: arsitektur memori, attentional bias, retention gate, dan algoritma memori. Framework ini melahirkan tiga varian model tanpa attention: YAAD yang tahan terhadap outlier, MONETA dengan penalti matematika lebih ketat, dan MEMORA yang menjamin stabilitas memori optimal.

Mengalahkan GPT-4 dengan Parameter Lebih Sedikit

Hasil eksperimen menunjukkan keunggulan dramatis Titans. Pada benchmark BABILong yang menguji penalaran lintas fakta dalam dokumen sangat panjang, Titans mengalahkan semua baseline termasuk GPT-4, meskipun memiliki parameter jauh lebih sedikit. Model ini berhasil menskalakan context window hingga lebih dari 2 juta token.

Dalam tes language modeling standar seperti C4 dan WikiText, serta tugas zero-shot reasoning seperti HellaSwag dan PIQA, arsitektur Titans secara konsisten menunjukkan akurasi lebih tinggi dan perplexity lebih rendah dibanding Transformer++, Mamba-2, dan Gated DeltaNet.

Studi ablasi membuktikan bahwa kedalaman arsitektur memori sangat krusial. Modul memori jangka panjang dengan kedalaman lebih tinggi konsisten mencapai perplexity lebih rendah dan menunjukkan properti scaling yang lebih baik seiring bertambahnya panjang sekuens. Titans juga terbukti versatile, berperforma baik pada pemodelan genomik (DNA) dan forecasting time-series.

Dengan Titans dan MIRAS, Google membuka jalan menuju generasi baru model sekuens yang menggabungkan efisiensi RNN dengan kekuatan ekspresif yang dibutuhkan untuk era AI long-context. Bagi industri, ini berarti chatbot yang benar-benar mengingat seluruh riwayat percakapan, asisten coding yang memahami codebase lengkap, dan sistem analisis dokumen yang tidak kehilangan konteks penting.

(Burung Hantu Infratek / Berbagai Sumber)

⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan oleh AI internal Burung Hantu Infratek. Mohon maaf apabila terdapat ketidakakuratan pada data aktual.

Berita Terkait

🧠 Google NotebookLM Chat Makin Cerdas: Context Window 8x Lipat, Memory 6x Lebih Panjang

🚀 Google Rilis Gemini 3: Model AI Tercerdas Kalahkan ChatGPT

⚡ Google Batasi Gemini 3 Pro Gratis: GPU Meleleh Akibat Popularitas

💡 Claude Opus 4.5 Resmi Hadir di Google Vertex AI: Biaya Turun 67%

Sumber dan Referensi

[1] Titans + MIRAS: Helping AI have long-term memory - Google Research

[2] Titans: Learning to Memorize at Test Time - arXiv

[3] It's All Connected: MIRAS Paper - arXiv

[4] Google outlines MIRAS and Titans, a possible path toward continuously learning AI - The Decoder

[5] Titans Paper Explained: Memory in Large Language Models - Medium

[6] Google's Titans Architecture: Key Concepts Explained - DataCamp