Cloudflare роками боровся зі скреперами та продавав антиботський захист тепер вони запустили API /crawl, який може скрапінгувати весь сайт одним запитом >надіслати один виклик API >cloudflare рендерить сторінку для вас >повертає контент у форматі HTML, Markdown або JSON >автоматично витягує посилання та елементи сторінки >жодної автоматизації браузера, жодних скриптів скрейпінгу Та сама компанія, яка побудувала половину інфраструктури інтернету проти скрапінгу, просто полегшила скрапінг Компанії, що займаються ШІ, будуть у захваті від цього