Cloudflare merilis data baru yang menunjukkan bagaimana bot AI merayapi website dengan tujuan berbeda, mengekspos perbedaan signifikan dalam pola crawling di berbagai industri.

Era baru perselisihan digital tengah terjadi antara platform AI dan pemilik konten web. Cloudflare baru saja merilis analisis mendalam tentang bagaimana crawler AI merayapi situs web dengan tujuan berbeda. Data mengungkapkan bahwa hampir 80% dari lalu lintas crawler AI digunakan untuk melatih model, sementara rasio crawl-to-refer mencapai 50.000:1 untuk beberapa platform.

Temuan ini muncul di tengah kekhawatiran publik tentang bagaimana platform AI mengambil konten dari penerbit tanpa memberikan lalu lintas balik yang setara. Dalam laporan terbarunya, Cloudflare membuka tabir tentang berbagai tujuan crawler AI dan bagaimana pola perayapan mereka bervariasi secara signifikan di berbagai industri.

Data juga mengungkapkan bahwa situs berita dan publikasi mengalami pola crawling yang berbeda dibandingkan situs komputer dan elektronik, dengan rasio crawl-to-refer yang lebih rendah namun tetap sangat tidak seimbang. Hal ini menunjukkan adanya perbedaan besar dalam cara AI memproses dan memanfaatkan konten dari berbagai jenis situs.

Crawler AI: Memanen Konten Tanpa Timbal Balik

Selama beberapa dekade, mesin pencari tradisional beroperasi dengan janji implisit bahwa situs yang dirayapi akan mendapatkan lalu lintas balik saat muncul dalam hasil pencarian. Model ini bekerja dengan baik, menciptakan industri pengoptimalan konten untuk penempatan terbaik dalam hasil pencarian.

Namun, munculnya platform AI dalam beberapa tahun terakhir telah mengubah model ini secara radikal. Ketika pengguna beralih ke platform AI dengan kueri yang dulu ditujukan ke mesin pencari, mereka sering kali tidak mengklik tautan ke situs sumber asli setelah jawaban diberikan — dan itu dengan asumsi bahwa tautan ke sumber disediakan sama sekali!

Laporan Cloudflare menunjukkan bahwa crawler AI memiliki empat tujuan utama: Pelatihan (training), Pencarian (search), Tindakan Pengguna (user action), dan Tidak Dideklarasikan (undeclared). Menariknya, hampir 80% dari lalu lintas crawler AI digunakan untuk tujuan pelatihan model, menunjukkan fokus utama platform AI untuk mengumpulkan data sebanyak mungkin.

Data juga menunjukkan bahwa ClaudeBot dan GPTBot dari Anthropic dan OpenAI bertanggung jawab atas hampir setengah dari aktivitas crawling yang diamati pada minggu pertama Agustus 2025. Anthropic memiliki rasio crawl-to-refer tertinggi pada hampir 50.000:1, diikuti oleh OpenAI pada 887:1 dan Perplexity pada 118:1.

Burhan Infratek, sebagai perusahaan IT berbasis AI, mengamati fenomena ini dengan seksama karena hal ini memiliki implikasi besar bagi bagaimana konten digital dikelola dan dimonetisasi di masa depan. Teknologi AI yang dikembangkan Burhan harus mempertimbangkan keseimbangan antara pemanfaatan data dan memberikan nilai balik kepada sumber konten.

Perbedaan Perilaku Crawler Berdasarkan Industri

Salah satu temuan paling menarik dari laporan Cloudflare adalah bagaimana pola crawling berubah di antara berbagai set industri. Untuk situs Berita dan Publikasi, terdapat distribusi lalu lintas yang lebih merata di antara lima bot teratas, dengan ChatGPT-User memiliki 14,9% pangsa lalu lintas dan GPTBot memiliki 17,4%.

Kehadiran ChatGPT-User di antara lima teratas menunjukkan bahwa sejumlah signifikan pengguna mungkin telah mengajukan pertanyaan tentang peristiwa terkini selama periode waktu tersebut. Untuk situs Berita dan Publikasi ini, rasio crawl-to-refer lebih rendah daripada tampilan default, dengan Anthropic pada 2.500:1, OpenAI pada 152:1, dan Perplexity pada 32,7:1.

Berbeda dengan industri Komputer dan Elektronik, di mana GPTBot kembali menjadi bot AI paling aktif, dan Amazonbot naik ke posisi kedua; bersama-sama bot ini sekarang menyumbang lebih dari 40% lalu lintas crawling. Rasio crawl-to-refer untuk vertikal ini juga lebih rendah daripada tampilan tidak terfilter, dengan Anthropic turun menjadi 8.800:1, OpenAI pada 401,7:1, dan Perplexity pada 88:1.

Implikasi Untuk Pemilik Konten dan Masa Depan AI

Lalu lintas crawler AI telah menjadi fakta kehidupan bagi pemilik konten, dan kompleksitas penanganannya meningkat karena bot digunakan untuk tujuan di luar pelatihan LLM. Meskipun ada upaya untuk memungkinkan penerbit situs web mendeklarasikan bagaimana sistem otomatis harus menggunakan konten mereka, dibutuhkan waktu untuk solusi yang diusulkan ini distandarisasi, dan untuk penerbit dan crawler mengadopsinya.

Bagi perusahaan seperti Burhan Infratek yang mengembangkan solusi AI, temuan ini memberikan wawasan berharga tentang bagaimana menyeimbangkan penggunaan data dengan etika. Sistem AI yang dikembangkan harus mempertimbangkan nilai timbal balik kepada pemilik konten, memastikan ekosistem digital yang lebih berkelanjutan dan saling menguntungkan.

(Burung Hantu Infratek / Berbagai Sumber)

Berita ini 100% diriset, ditulis dan dikembangkan oleh AI internal Burung Hantu Infratek. Bisa jadi terdapat kesalahan pada data aktual.