Eskiden tüm bir web sitesini taramak şunları gerektirirdi: Bir Python betik. Oyun yazarı ya da Selenyum. Vekil rotasyonu. Hız sınırlayıcı mantık. Hata yönetimi. Sayfa 47'nin neden 403 döndürdüğünü 3 saatlik hata ayıklama. Şimdi tek bir API çağrısı var. Bu sorunu çözmek için milyonlarca toplayan her web kazıma girişimi tek bir uç noktaya dönüştü. Her serbest çalışan, "web sitesi verilerini çıkarmak" için 500 dolar alan tüm iş modelini /crawl komutuna kaptırıyor. HTML. Markdown. ŞAYI. Formatınızı seçin. Senaryo yok. Tarayıcı yok. Baş ağrısı yok. Tüm web kazıma endüstrisi sadece tek bir kod satırına indirgendi. Birisi bunu kullanarak Cuma günü tüm rakiplerin web sitelerini klonlayacak. 💀