De ce „nu s-a găsit niciun site” e de obicei greșit

A verifica dacă o afacere are site pare banal: cauți numele și vezi dacă apare un site. A construi un instrument care face asta automat, la scară și corect m-a învățat despre calitatea datelor mai mult decât orice altă parte a proiectului.

#Prima versiune: sigură pe ea și greșită

Prima versiune căuta numele și zona afacerii. Dacă nu apărea niciun site plauzibil în rezultate, marca afacerea fără site. A ieșit o listă lungă de afaceri aparent fără site.

Când am verificat manual un eșantion, cele mai multe aveau site-uri perfect bune.

Furnizorul de căutare dăduse rezultate slabe, numele era generic sau site-ul pur și simplu nu era bine indexat. Instrumentul transformase nu l-am găsit în nu există — cea mai frecventă greșeală în cercetarea automată.

#Un model de date care poate spune „necunoscut”

Soluția a început în modelul de date, nu în cod. Prezența online a unei afaceri are acum patru stări:

• Are site — găsit și accesibil.
• Site slab — accesibil, dar fără elemente de bază (versiune mobilă, contact, HTTPS).
• Stricat — sigur nu funcționează.
• Necunoscut — nu sunt destule dovezi în nicio direcție.

„Fără site” se atribuie doar când o sursă de încredere, autorizată, o confirmă. Lipsa unui rezultat de căutare nu o poate produce niciodată.

#Mai multe semnale independente

În loc de o singură căutare, sistemul combină acum:

1. O sursă de căutare pe server pentru nume și zonă.
2. Domenii candidate generate din nume (fadedistrict.co.uk, fade-district.com…) și verificate direct.
3. Scanarea site-ului pentru fiecare candidat, cu mai multe variante de URL.

Ghicirea domeniilor s-a dovedit surprinzător de bună. Un furnizor bloca total traficul de pe servere, altul dădea rezultate irelevante; simpla încercare a domeniilor evidente a găsit site-uri ratate de căutări.

#Și „stricat” cere o ștachetă înaltă

Apoi a apărut problema inversă: site-uri marcate stricate care se deschideau normal în browser. Cauze:

• Pagini anti-bot care întorceau 403 sau o provocare.
• www funcționa, dar domeniul simplu nu, sau invers.
• Servere lente care depășeau un timeout scurt.

Acum un site e stricat doar după eroare DNS sau 404/410 ferm pe toate variantele de URL. Paginile de protecție contează ca funcționale. Timeout-urile contează ca necunoscute.

#Dovezile lângă verdict

Fiecare verdict păstrează ce s-a găsit: domeniul potrivit, codurile pe fiecare variantă, titlul paginii și pozele descoperite. Când cineva contestă un rezultat, răspunsul e pe ecran în câteva secunde. Asta a transformat instrumentul din ceva de care te îndoiești în ceva în care ai încredere.

#Respectă site-urile pe care le verifici

Un verificator automat e tot un vizitator. Se prezintă, folosește timeout-uri scurte, descarcă doar ce îi trebuie și nu suprasolicită niciun server. Pozele găsite la scanare trec printr-un endpoint care acceptă doar imagini sub o anumită mărime și refuză adresele de rețea privată — protecție de bază împotriva abuzului.

#Ce se poate generaliza

• Absența dovezii nu e dovada absenței. Construiește „necunoscut” din prima zi.
• Combină semnale independente în loc să te bazezi pe unul.
• Stabilește praguri asimetrice: cu cât eticheta greșită costă mai mult, cu atât cere mai multe dovezi.
• Păstrează dovezile lângă fiecare decizie automată.
• Investește într-un semnal de încredere înainte să adaugi multe slabe.

Arhitectura e descrisă în detaliu în studiul de caz despre verificarea prezenței online.