Koko verkkosivuston indeksointi vaati aiemmin: Python-skripti. Näytelmäkirjailija tai Selenium. Proxy-kierto. Nopeusrajoituslogiikka. Virheiden käsittely. 3 tuntia debuggausta miksi sivu 47 palautti 403. Nyt kyse on vain yhdestä API-kutsusta. Jokainen web-scraping-startup, joka keräsi miljoonia tämän ongelman ratkaisemiseksi, muuttui yhdeksi päätepisteeksi. Jokainen freelancer, joka veloittaa 500 dollaria "verkkosivujen tietojen poimimisesta", menetti koko liiketoimintamallinsa /crawl-komennolla. HTML. Alennus. JSON. Valitse oma formaattisi. Ei käsikirjoituksia. Ei selainta. Ei päänsärkyä. Koko verkkokaapausala on kutistunut yhteen koodiriviin. Joku aikoo käyttää tätä kloonatakseen jokaisen kilpailijan verkkosivuston perjantaihin mennessä. 💀