cloudflare ha passato anni a combattere i scraper e a vendere protezione anti-bot
ora hanno lanciato un'API /crawl che può estrarre un intero sito web con una sola richiesta
>invia una singola chiamata API
>cloudflare rende la pagina per te
>restituisce il contenuto come HTML, Markdown o JSON
>estrae automaticamente link ed elementi della pagina
>nessuna automazione del browser, nessun script di scraping
La stessa azienda che ha costruito metà dell'infrastruttura anti-scraping di internet ha appena reso lo scraping più facile
Le aziende di AI adoreranno questo
Presentiamo il nuovo endpoint /crawl - una chiamata API e un intero sito viene esplorato.
Nessuno script. Nessuna gestione del browser. Solo il contenuto in HTML, Markdown o JSON.