Сканування цілого сайту раніше займало: Скрипт на Python. Драматург або селен. Ротація проксі. Логіка обмеження швидкості. Обробка помилок. 3 години налагодження, чому сторінка 47 повернула 403. Тепер це один виклик API. Кожен стартап з веб-скрапінгу, який зібрав мільйони для вирішення цієї проблеми, став єдиною кінцевою точкою. Кожен фрілансер, який бере $500 за «вилучення даних сайту», щойно втратив всю свою бізнес-модель через команду /crawl. HTML. Знижка. JSON. Обирайте свій формат. Жодних сценаріїв. Немає браузера. Головного болю немає. Вся індустрія веб-скрапінгу звелася до одного рядка коду. Хтось використає це, щоб клонувати сайти всіх конкурентів до п'ятниці. 💀