Cloudflare 使用这面由 100 个熔岩灯组成的墙来为整个互联网的 20% 生成阻止机器人的加密 蜡的混乱运动产生随机像素数据，这些数据在他们的全球网络中播种加密密钥。他们称之为“熵墙”。 讽刺的是：构建互联网最强反机器人墙的公司现在正在出售机器人即服务 每月 5 美元，/crawl 替代了： - Python 脚本 - Playwright - 代理轮换 - 速率限制器 - 重试逻辑 - 周末调试会话 它在 Cloudflare 的边缘启动无头 Chrome，从网站地图和链接中发现页面，渲染 JavaScript，并返回干净的内容。 好消息是：他们的机器人不会绕过他们自己的反机器人保护。但如果你想抓取 Cloudflare 保护的网站，你现在无论如何都要付费给 Cloudflare。