Cloudflareはこの100個の溶岩ランプの壁を使って、インターネット全体の20%に対してボットブロッキング暗号化を生成しています 蝋の混沌とした動きはランダムなピクセルデータを生み出し、それがグローバルネットワーク全体に暗号鍵をシードします。彼らはそれを「エントロピーの壁」と呼んでいます。 皮肉なことに、インターネットで最も強力なアンチボットの壁を築いた会社が、今やボット・アズ・ア・サービス(bot-as-a-service)を販売している 月5ドルで/crawlが置き換えるものは以下の通りです: - Pythonスクリプト - 劇作家 - プロキシ回転 - レートリミッター - 再試行ロジック - 週末のデバッグセッション Cloudflareの端でヘッドレスChromeを起動し、サイトマップやリンクからページを検出し、JavaScriptをレンダリングし、クリーンなコンテンツを返します。 良いニュースは、彼らのボットが自社のアンチボット保護を回避しないことです。しかし、Cloudflareで保護されたサイトをクロールしたいなら、どちらにせよCloudflareに支払うことになります