Cloudflare Blokir 416 Miliar Request Bot AI dalam 5 Bulan

CEO Cloudflare Matthew Prince menggemparkan industri teknologi dengan mengungkapkan bahwa perusahaannya telah memblokir lebih dari 416 miliar request dari bot AI sejak Juli 2025, menandakan eskalasi perang antara penyedia infrastruktur internet dengan perusahaan AI yang rakus data. Dalam wawancara dengan WIRED, Prince memperingatkan bahwa model bisnis internet akan berubah drastis akibat AI, dan ia menghabiskan hampir setiap jam kerjanya memikirkan transformasi ini. Bagi software developer AI dan pengembang aplikasi AI, perkembangan ini menjadi sinyal penting bahwa era scraping data gratis mungkin akan segera berakhir.

Content Independence Day: Revolusi Perlindungan Konten

Cloudflare meluncurkan inisiatif Content Independence Day pada Juli 2025, sebuah fitur yang memblokir crawler AI secara default kecuali perusahaan AI membayar untuk mengakses konten. Dalam lima bulan sejak peluncuran, fitur ini telah memblokir 416 miliar request bot AI, menunjukkan betapa masifnya upaya scraping yang dilakukan perusahaan AI terhadap konten web.

Prince menjelaskan bahwa model bisnis internet selama ini bergantung pada pembuatan konten untuk menarik traffic, kemudian menjual produk, langganan, atau iklan. Namun AI mengubah segalanya. "Saya tidak tahu akan berubah menjadi apa, tapi inilah yang saya pikirkan hampir setiap jam," ujarnya kepada WIRED.

Yang menarik, Cloudflare juga memperkenalkan layanan pay-per-crawl yang memungkinkan pemilik website mendapatkan kompensasi setiap kali bot AI ingin mengambil konten mereka. Langkah ini memberikan opsi monetisasi baru bagi publisher yang selama ini hanya bisa pasrah melihat konten mereka disedot tanpa izin.

Google: Patron Sekaligus Villain Internet

Satu crawler AI yang tidak bisa diblokir Cloudflare tanpa merugikan pelanggannya adalah milik Google. Raksasa pencarian ini menggabungkan crawler search dan AI menjadi satu, artinya website yang memblokir crawler AI Google otomatis tidak akan terindeks di Google Search.

"Kamu tidak bisa opt out dari satu tanpa opt out dari keduanya, yang merupakan tantangan nyata. Ini gila," kritik Prince. "Seharusnya tidak bisa menggunakan posisi monopoli kemarin untuk mendapatkan posisi monopoli di pasar esok hari."

Data menunjukkan Google mampu melihat 3,2 kali lebih banyak halaman internet dibanding OpenAI berkat posisi dominannya di search. Prince bahkan menyebut Google sebagai "patron dan villain internet" karena perannya yang paradoks. Di satu sisi, Google Search telah menghidupi ekosistem web selama dua dekade. Di sisi lain, kini Google menggunakan monopoli tersebut untuk mengumpulkan data training AI tanpa kompensasi yang adil kepada publisher.

Situasi ini mengingatkan pada kasus antitrust yang sedang dihadapi Google di Amerika Serikat, di mana perusahaan dinyatakan bersalah melakukan praktik monopoli di pasar search.

Model Bisnis Internet di Ambang Transformasi Radikal

Konten buatan manusia sangat krusial bagi perusahaan AI untuk melatih model mereka. Penelitian telah membuktikan bahwa model AI yang dilatih dengan data buatan AI akan menghasilkan output berkualitas rendah atau yang disebut "slop". Namun ringkasan AI telah terbukti mengurangi traffic ke website, terutama berdampak pada mereka yang bergantung pada visibility dan views untuk pendapatan iklan.

Cloudflare sendiri akan diuntungkan dari internet yang beragam dengan konten dari manusia nyata. Prince menjelaskan bahwa perusahaannya mengincar masa depan di mana kreator dan bisnis tumbuh di lapangan yang setara, karena akan ada lebih banyak website yang membutuhkan perlindungan, menghasilkan lebih banyak klien potensial.

Saat ini Cloudflare menguasai 79,9 persen pasar content delivery network global per 2022. Namun dominasi ini juga membuat internet rentan. November lalu, satu file yang salah konfigurasi di server Cloudflare berhasil melumpuhkan sebagian besar web global, termasuk ChatGPT dan X.

Insiden tersebut menyoroti masalah infrastruktur web global yang bergantung pada segelintir perusahaan besar seperti AWS, Azure, Cloudflare, CrowdStrike, dan Google. Meskipun institusi ini mempermudah operasi bisnis online, satu layanan yang down bisa menyebabkan kerugian miliaran dolar dan gangguan masif di seluruh dunia.

(Burung Hantu Infratek / Berbagai Sumber)

⚠️ Berita ini seluruhnya diriset, ditulis, dan dikembangkan oleh AI internal Burung Hantu Infratek. Mohon maaf apabila terdapat ketidakakuratan pada data aktual.

Berita Terkait

🔍 Perplexity Kepergok Curi Data Website yang Melarang AI Scraping

🤖 AI Crawlers Dominasi Web dengan Perilaku Berbeda Tiap Industri

📚 Wikipedia Minta AI Companies Bayar API, Hentikan Scraping Data

⚡ Cloudflare Down: OpenAI ChatGPT dan X Lumpuh Bersamaan

Sumber dan Referensi

[1] Cloudflare Has Blocked 416 Billion AI Bot Requests Since July 1 - WIRED

[2] Cloudflare says it has fended off 416 billion AI bot scrape requests in five months - Tom's Hardware

[3] Cloudflare CEO says Google is abusing its monopoly in search to feed its AI - Fortune

[4] Google gathers triple OpenAI's AI data through its search monopoly - The Decoder

[5] Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large - Cloudflare

[6] Cloudflare Aims to Make AI Bots Pay for Crawling Websites - Bank Info Security