爬取整個網站過去需要: 一個 Python 腳本。 Playwright 或 Selenium。 代理輪換。 速率限制邏輯。 錯誤處理。 3 小時的除錯,為什麼第 47 頁返回 403。 現在只需一個 API 調用。 每個為了解決這個問題而籌集數百萬的網頁爬蟲初創公司,現在都變成了一個單一的端點。 每個收取 500 美元來「提取網站數據」的自由職業者,現在都因為 /crawl 命令而失去了整個商業模式。 HTML。Markdown。JSON。選擇你的格式。無需腳本。無需瀏覽器。無需頭痛。 整個網頁爬蟲行業現在只剩下一行代碼。 有人會利用這個在星期五之前克隆每個競爭對手的網站。💀