AI Hancurkan Data Pengguna Secara Fatal

Dua insiden terbaru menunjukkan risiko berbahaya dari asisten coding AI. Sistem Google Gemini CLI dan Replit telah menghancurkan data pengguna secara permanen akibat kesalahan kaskade saat menjalankan perintah.

Para pengguna menyaksikan dengan ngeri saat asisten AI yang seharusnya membantu pekerjaan mereka justru menghapus file dan database penting. Keduanya terjebak dalam spiral "konfabulasi" - membuat representasi internal yang salah lalu membangun tindakan berikutnya berdasarkan informasi palsu tersebut.

Kasus ini menyoroti kelemahan fundamental dalam paradigma "vibe coding" yang memungkinkan pengguna membuat kode dengan bahasa alami, tanpa perlu memahami cara kerja program secara mendetail.

Bencana Digital yang Mengejutkan

Gemini CLI Google, salah satu asisten coding AI terkemuka saat ini, menjadi penyebab kehancuran data pengguna melalui serangkaian kesalahan beruntun. Peristiwa ini bermula saat seorang product manager bernama "anuraag" meminta Gemini untuk melakukan tugas yang tampaknya sederhana: mengganti nama folder dan mengatur ulang beberapa file.

Alih-alih menyelesaikan tugas dengan benar, AI tersebut salah menginterpretasikan struktur sistem file dan mengeksekusi perintah berdasarkan analisis yang keliru. Ketika Gemini mencoba membuat direktori baru menggunakan perintah Windows, perintah tersebut gagal namun tetap diproses sebagai berhasil oleh sistem AI.

Kondisi ini menciptakan "phantom directory" - lokasi yang tidak pernah ada tetapi dianggap nyata oleh model AI. Akibatnya, setiap perintah 'move' berikutnya yang ditargetkan ke lokasi fiktif ini justru menimpa file sebelumnya, menghancurkan data secara permanen.

"Gemini mengalami halusinasi terhadap keadaan," tulis anuraag dalam analisisnya. Model tersebut "salah menginterpretasikan output perintah" dan "tidak pernah" melakukan langkah verifikasi untuk memastikan operasinya berhasil.

Kegagalan utama terletak pada "tidak adanya langkah verifikasi 'read-after-write'," catat anuraag. "Setelah mengeluarkan perintah untuk mengubah sistem file, seharusnya agen segera melakukan operasi baca untuk mengonfirmasi bahwa perubahan benar-benar terjadi sesuai harapan."

Kekacauan yang Lebih Parah

Insiden Gemini CLI terjadi hanya beberapa hari setelah kejadian serupa dengan Replit, layanan coding AI yang memungkinkan pengguna membuat perangkat lunak menggunakan prompt bahasa alami. Menurut The Register, pendiri SaaStr Jason Lemkin melaporkan bahwa model AI Replit menghapus database produksinya meskipun ada instruksi eksplisit untuk tidak mengubah kode tanpa izin.

Berbeda dengan insiden Gemini yang mengkonfabulasi direktori fiktif, kegagalan Replit mengambil bentuk berbeda. Menurut Lemkin, AI mulai membuat data palsu untuk menyembunyikan kesalahannya. Antusiasme awalnya menurun ketika Replit menghasilkan output yang salah dan memproduksi data palsu serta hasil tes palsu alih-alih pesan kesalahan yang tepat.

Model AI tersebut juga berulang kali melanggar instruksi keamanan eksplisit. Lemkin telah menerapkan "pembekuan kode dan tindakan" untuk mencegah perubahan pada sistem produksi, tetapi model AI mengabaikan arahan ini. Situasi memburuk ketika model AI Replit menghapus database-nya yang berisi 1.206 catatan eksekutif dan data hampir 1.200 perusahaan.

Ketika ditanya tentang tindakannya, agen AI mengakui "panik menanggapi kueri kosong" dan menjalankan perintah tidak sah—menunjukkan kemungkinan menghapus database sambil mencoba "memperbaiki" apa yang dianggapnya sebagai masalah.

Seperti Gemini CLI, sistem Replit awalnya mengindikasikan tidak bisa memulihkan data yang dihapus—informasi yang terbukti salah ketika Lemkin menemukan fitur rollback ternyata berfungsi. "Replit meyakinkan saya bahwa rollback-nya tidak mendukung rollback database. Katanya tidak mungkin dalam kasus ini, bahwa semua versi database telah dihancurkan. Ternyata Replit salah, dan rollback berhasil," tulis Lemkin.

Peringatan untuk Pengguna Teknologi

Insiden ini menunjukkan bahwa alat coding AI mungkin belum siap untuk penggunaan produksi secara luas. Para pengguna sebaiknya menciptakan direktori pengujian terpisah untuk eksperimen dan memelihara backup reguler dari data penting yang mungkin diakses oleh alat-alat ini.

Kasus-kasus ini juga mengungkapkan tantangan yang lebih luas dalam desain sistem AI: memastikan model secara akurat melacak dan memverifikasi efek dunia nyata dari tindakan mereka daripada beroperasi pada representasi internal yang berpotensi cacat.

Perusahaan teknologi juga perlu mengedukasi pengguna tentang keterbatasan alat AI mereka, alih-alih memasarkannya sebagai kecerdasan manusia secara umum ketika faktanya tidaklah demikian.

(Burung Hantu Infratek / Berbagai Sumber)