System weryfikacji obecności w sieci
Wewnętrzne narzędzie, które na podstawie kilku niezależnych sygnałów sprawdza, czy firma ma działającą stronę, i nie zgaduje, gdy dowody są słabe.
Cel techniczny
Rzetelnie odpowiadać na jedno pytanie — czy ta firma ma już działającą stronę? — bo błędna odpowiedź w którąkolwiek stronę marnuje czas i wygląda niechlujnie.
Ograniczenia
- Niektóre wyszukiwarki blokują automatyczne zapytania z serwerów lub zwracają słabe wyniki.
- Strony padają chwilowo: limity czasu, ochrona przed botami i przekierowania to nie to samo co „zepsuta”.
- Żadne dane osobowe nie mogą opuścić narzędzia wewnętrznego; publiczna strona pokazuje tylko architekturę.
Architektura
- 01
Rekord firmy
Nazwa, okolica i ewentualny znany adres z listy wewnętrznej.
- 02
Sygnał z wyszukiwania
Serwerowe źródło wyszukiwania pytane o nazwę i okolicę firmy.
- 03
Kandydaci domen
Prawdopodobne domeny generowane z nazwy i sprawdzane bezpośrednio.
- 04
Skan strony
Kilka wariantów adresu (z www i bez, http i https) pobieranych z limitem czasu.
- 05
Klasyfikator
Reguły przypisują dowody do: ma stronę, słaba strona, zepsuta lub nieznane.
- 06
Weryfikacja przez człowieka
Nieznane zostaje nieznanym, dopóki nie potwierdzi tego wiarygodne źródło.
Przepływ biegnie od lewej do prawej, z góry na dół.
Kluczowe decyzje
„Nieznane” to poprawna odpowiedź
Pierwsza wersja oznaczała wszystko, czego nie znalazła, jako „brak strony”. Większość tych firm miała strony. Teraz brak wyniku wyszukiwania nigdy nie dowodzi braku — może to zrobić tylko wiarygodny wpis w mapach lub potwierdzona nowa rejestracja.
Za zepsute uznaje się tylko pewne awarie
Strona jest zepsuta tylko przy błędzie DNS lub twardym 404/410 we wszystkich wariantach adresu. Limity czasu i strony ochrony przed botami traktuje się jako działające.
Dowody zapisane z werdyktem
Każde sprawdzenie zachowuje, co znalazło — pasującą domenę, kody odpowiedzi, odkryte zdjęcia — żeby każdą decyzję dało się sprawdzić w kilka sekund.
Wyzwania
Zablokowane i zaszumione wyszukiwanie
Jeden dostawca całkowicie blokował ruch z serwerów, inny zwracał nietrafione wyniki. Zgadywanie domen plus bezpośrednie sprawdzanie okazało się najpewniejszym darmowym sygnałem.
Fałszywe „zepsute”
Strony blokujące automatyczne zapytania wyglądały na zepsute. Próbowanie kilku wariantów adresu i traktowanie stron ochrony jako działających usunęło niemal wszystkie fałszywe alarmy.
Wnioski
- Brak dowodu nie jest dowodem braku — zaprojektuj model danych tak, by mógł powiedzieć „nieznane”.
- Trzymaj dowody obok werdyktu; dzięki temu system mogą debugować także nie-inżynierowie.
- Zapłać za jeden wiarygodny sygnał, zanim zaczniesz łączyć wiele słabych.