Google, Microsoft, OpenAI Dukung Satu Sinyal robots.txt Tolak Training AI
Google, Microsoft, dan OpenAI menyatakan akan menghormati satu sinyal bersama di file robots.txt yang memungkinkan pemilik situs menolak penggunaan kontennya untuk training AI generatif di semua penyedia yang ikut serta. Pengumuman dirilis pada 30 Oktober 2026, berbasis Internet-Draft yang ditulis Kevin Kelley dari Anthropic, dengan token bernama __usage_ai-training. Langkah ini penting karena selama tiga tahun terakhir penerbit harus mengatur aturan terpisah untuk tiap crawler AI.
Apa Itu Token __usage_ai-training di robots.txt?
Token __usage_ai-training adalah "policy token" yang ditulis di baris User-Agent pada robots.txt untuk menyatakan preferensi soal training AI. Jika sebuah situs menulis Disallow pada token itu, semua penyedia AI yang ikut serta membaca bahwa konten situs tersebut tidak boleh dipakai melatih model generatif mereka.
Mekanisme ini dijelaskan dalam Internet-Draft berjudul "Machine-Readable Training Preference Signal" (draft-kelley-aipref-training-preference-signal-00) yang diperbarui pada 30 Oktober 2026 dan berlaku sampai 3 Mei 2027. Penulis tunggalnya adalah Kevin Kelley dari Anthropic. Datatracker IETF mencatat dokumen ini masih draft individu, belum didukung IETF dan belum punya kedudukan formal dalam proses standar.
Menurut abstraknya, draft ini "introduces no new directive names and no new grammar". Aturan path, prioritas pencocokan terpanjang, dan struktur grup robots.txt tetap mengikuti RFC 9309. Contoh di dalam draft menolak training untuk seluruh situs, kecuali folder /press-kit/ yang tetap boleh dipakai.
Ada satu aturan yang perlu dicermati pemilik situs. Grup wildcard "User-Agent: *" tidak boleh dianggap mencakup token ini. Artinya, situs yang hari ini memblokir semua bot dengan Disallow pada tanda bintang belum menyatakan preferensi apa pun soal training AI sampai mereka menulis grup khusus untuk token tersebut.
Kapan Google, Microsoft, dan OpenAI Mulai Membaca Sinyal Ini?
Microsoft paling tegas: preferensi baru dibaca mulai 1 Februari 2027 saat crawler Bing berjalan. Google menargetkan dukungan pada awal 2027, sementara OpenAI menyebut implementasi dalam beberapa bulan ke depan. Anthropic, lewat Kevin Kelley, menyatakan sudah mulai membangun dukungan tanpa menyebut tanggal aktif.
Di Google Search Central Blog, Google menulis, "We aim to support this new control along with other AI providers in 2027, and will provide updates on our progress." Jika sebuah situs menolak training lewat token bersama dan tidak menyebut Google-Extended secara eksplisit, Google akan memperlakukannya seolah situs itu memblokir Google-Extended, kontrol training AI yang tersedia sejak 2023.
Dokumentasi crawler Google yang diperbarui di hari yang sama menegaskan rencana itu dengan kalimat "in early 2027". Google juga menyebut proposal ini sejalan dengan EU Code of Practice untuk penyedia model AI tujuan umum di bawah EU AI Act, yang mengakui robots.txt sebagai cara utama penerbit menyatakan preferensi yang bisa dibaca mesin.
Kontrol khusus tiap perusahaan tidak dihapus. GPTBot milik OpenAI, Google-Extended milik Google, dan kontrol serupa lain tetap berlaku. Situs bisa memilih satu sinyal bersama untuk semua penyedia, atau tetap mengatur tiap penyedia secara terpisah.
Microsoft Pisahkan Training dan Grounding, Tenggat 1 Maret 2027
Microsoft tidak hanya mengadopsi token training bersama, tetapi juga menambah preferensi AI Grounding di tingkat halaman. Grounding adalah pemakaian konten saat AI menyusun jawaban, misalnya di Copilot, AI Overview, dan Microsoft 365. Situs yang masih memakai NoArchive atau NoCache diminta pindah sebelum 1 Maret 2027.
"Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work," tulis Krishna Madhavan, Principal Product Manager Microsoft Bing, dalam pengumuman 30 Oktober 2026. Microsoft menyebut dirinya perusahaan pertama yang menyediakan kontrol training dan grounding bagi penerbit pada 2023 lewat tag NoArchive dan NoCache.
Ada tiga pilihan grounding: Allow, Disallow, dan DisallowExtended. Opsi terakhir membatasi grounding hanya di produk yang dioperasikan Microsoft, dan menutup layanan grounding untuk pihak ketiga seperti Web IQ serta akses API di Foundry. Preferensi transisi sementara di Bing Webmaster Tools berlaku sampai halaman dirayapi ulang atau paling lambat 30 September 2027.
Microsoft juga memberi peringatan yang jujur. Memilih Disallow atau DisallowExtended untuk grounding akan menurunkan visibilitas merek di pengalaman AI. Preferensi ini tidak mengubah peringkat di hasil pencarian Bing biasa, dan tidak menjamin konten dipakai, trafik, ataupun pembayaran kepada penerbit.
Dampaknya bagi Penerbit dan Pemilik Situs di Indonesia
Bagi pemilik situs di Indonesia, sinyal bersama ini memangkas kerja teknis: cukup satu grup robots.txt untuk menolak training di beberapa penyedia AI sekaligus. Namun sinyal ini bersifat sukarela, hanya berlaku ke depan, dan baru dibaca mulai 2027, sehingga bukan perlindungan hukum atas konten yang sudah dirayapi.
Keterbatasan itu nyata. Sinyal ini hanya permintaan, bukan pemblokiran teknis, dan kesepakatan privat antara situs dan penyedia AI bisa mengesampingkannya, seperti tertulis di draft. Kosakata AIPREF yang lebih luas, termasuk kategori pemakaian AI di luar training, juga masih dibahas dan belum menjadi konsensus kelompok kerja IETF.
Dari sisi hukum, pelindungan karya di Indonesia masih bertumpu pada Undang-Undang Nomor 28 Tahun 2014 tentang Hak Cipta yang tercatat berlaku di JDIH BPK. Undang-undang itu belum mengatur pemakaian karya untuk training AI secara khusus, sehingga sinyal teknis seperti token ini menjadi lapisan tambahan, bukan pengganti, bagi penerbit yang ingin menjaga hak ekonominya.
Bagi media, e-commerce, dan perusahaan Indonesia, langkah praktisnya adalah memutuskan dua hal secara terpisah: apakah konten boleh dipakai melatih model, dan apakah konten boleh dikutip sebagai sumber jawaban AI. Memblokir keduanya bisa melindungi konten, tetapi juga bisa mengurangi peluang merek muncul di jawaban Copilot dan Gemini yang kini makin sering dipakai konsumen.
(Burung Hantu Infratek / Berbagai Sumber)
⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan dengan bantuan AI internal Burung Hantu Infratek.
🦉 Burung Hantu Infratek adalah software house dan system integrator yang sudah berpengalaman lebih dari 5 tahun dalam pengembangan dan implementasi generative AI pada berbagai perusahaan dan institusi.
Berita Terkait Hak Cipta dan AI
📚 Wikimedia Bela Training AI sebagai Fair Use; Tolak RAG Tanpa Kredit
⚔️ CMA Inggris Selidiki Ketentuan Meta; Konten Penerbit untuk AI Disorot
🛡️ Hak Cipta Karya AI di Indonesia: Isi RUU Hak Cipta 2026 untuk Bisnis
🤖 AI Crawlers Dominasi Web dengan Perilaku Berbeda Tiap Industri
Sumber dan Referensi
[1] Supporting a shared AI training control for websites - Google Search Central Blog
[2] Your content, your choice: clearer preferences for training and grounding - Microsoft Bing Blogs
[3] Machine-Readable Training Preference Signal - IETF Datatracker
[4] Google's common crawlers - Google for Developers
[5] Google, Microsoft, OpenAI and Anthropic back one AI training opt-out - PPC Land