«কোনো ওয়েবসাইট পাওয়া যায়নি» সাধারণত ভুল কেন

ব্যবসার ওয়েবসাইট আছে কি না যাচাই করা তুচ্ছ মনে হয়: নাম খুঁজুন আর দেখুন সাইট আসে কি না। এটা স্বয়ংক্রিয়ভাবে, বড় পরিসরে আর নির্ভুলভাবে করার টুল বানাতে গিয়ে প্রকল্পের অন্য যেকোনো অংশের চেয়ে বেশি শিখেছি ডেটার মান নিয়ে।

#প্রথম সংস্করণ: আত্মবিশ্বাসী আর ভুল

প্রথম সংস্করণ ব্যবসার নাম আর এলাকা খুঁজত। ফলাফলে কোনো সম্ভাব্য সাইট না এলে ব্যবসাটিকে ওয়েবসাইট নেই হিসেবে চিহ্নিত করত। ফল হলো আপাতদৃষ্টিতে সাইটহীন ব্যবসার লম্বা তালিকা।

হাতে একটি নমুনা যাচাই করে দেখলাম, বেশিরভাগেরই একদম ঠিকঠাক সাইট ছিল।

সার্চ প্রদানকারী দুর্বল ফল দিয়েছিল, নাম ছিল সাধারণ, বা সাইটটি ভালোভাবে ইনডেক্স হয়নি। টুলটি আমি পাইনি-কে নেই বানিয়ে ফেলেছিল — স্বয়ংক্রিয় গবেষণার সবচেয়ে সাধারণ ভুল।

#এমন ডেটা মডেল যা «অজানা» বলতে পারে

সমাধান শুরু হলো কোডে নয়, ডেটা মডেলে। এখন ব্যবসার অনলাইন উপস্থিতির চারটি অবস্থা:

• সাইট আছে — পাওয়া গেছে আর খোলে।
• দুর্বল সাইট — খোলে, কিন্তু মৌলিক জিনিস নেই (ফোন সংস্করণ, যোগাযোগ, HTTPS)।
• ভাঙা — নিশ্চিতভাবে কাজ করে না।
• অজানা — কোনো দিকেই যথেষ্ট প্রমাণ নেই।

«ওয়েবসাইট নেই» শুধু তখনই দেওয়া হয় যখন বিশ্বস্ত, প্রামাণিক উৎস তা নিশ্চিত করে। সার্চ ফলের অনুপস্থিতি কখনো এটা তৈরি করতে পারে না।

#একাধিক স্বাধীন সংকেত

একটি খোঁজার বদলে সিস্টেম এখন মেলায়:

1. নাম আর এলাকার জন্য সার্ভার-পার্শ্বের সার্চ উৎস।
2. নাম থেকে তৈরি সম্ভাব্য ডোমেইন (fadedistrict.co.uk, fade-district.com…), সরাসরি যাচাই।
3. প্রতিটি সম্ভাব্য ডোমেইনের জন্য একাধিক URL রূপে সাইট স্ক্যান।

ডোমেইন আন্দাজ বিস্ময়করভাবে ভালো কাজ করল। একটি প্রদানকারী সার্ভারের ট্রাফিক পুরোপুরি আটকাত, আরেকটি অপ্রাসঙ্গিক ফল দিত; শুধু স্পষ্ট ডোমেইনগুলো চেষ্টা করেই এমন সাইট পাওয়া গেল যা খোঁজায় বাদ পড়েছিল।

#«ভাঙা»-র জন্যও উঁচু মান

তারপর উল্টো সমস্যা এল: ভাঙা চিহ্নিত সাইট যা ব্রাউজারে ঠিকঠাক খুলত। কারণ:

• বট-বিরোধী পাতা যা 403 বা চ্যালেঞ্জ দিত।
• www চলত কিন্তু খালি ডোমেইন নয়, বা উল্টো।
• ধীর সার্ভার যা ছোট টাইমআউট পার করত।

এখন সাইট শুধু DNS ব্যর্থতা বা সব URL রূপে নিশ্চিত 404/410-এর পরে ভাঙা। সুরক্ষা পাতা চালু হিসেবে গণ্য। টাইমআউট অজানা হিসেবে গণ্য।

#রায়ের পাশে প্রমাণ

প্রতিটি রায় যা পাওয়া গেছে তা রাখে: মেলানো ডোমেইন, প্রতিটি রূপের কোড, পাতার শিরোনাম আর পাওয়া ছবি। কেউ ফলাফল নিয়ে প্রশ্ন তুললে উত্তর কয়েক সেকেন্ডে পর্দায় থাকে। এতে টুলটি সন্দেহের জিনিস থেকে আস্থার জিনিসে বদলে গেল।

#যে সাইট যাচাই করেন তাকে সম্মান করুন

স্বয়ংক্রিয় যাচাইকারীও একজন দর্শক। এটা নিজের পরিচয় দেয়, ছোট টাইমআউট ব্যবহার করে, শুধু দরকারি জিনিস নামায় আর কোনো সার্ভারে চাপ দেয় না। স্ক্যানে পাওয়া ছবি এমন একটি এন্ডপয়েন্ট দিয়ে যায় যা শুধু নির্দিষ্ট আকারের নিচের ছবি নেয় আর ব্যক্তিগত নেটওয়ার্ক ঠিকানা প্রত্যাখ্যান করে — অপব্যবহারের বিরুদ্ধে মৌলিক সুরক্ষা।

#যা সাধারণীকরণ করা যায়

• প্রমাণের অনুপস্থিতি অনুপস্থিতির প্রমাণ নয়। প্রথম দিন থেকেই «অজানা» রাখুন।
• একটির উপর নির্ভর না করে স্বাধীন সংকেত মেলান।
• অসম সীমা ঠিক করুন: ভুল লেবেল যত দামি, তত বেশি প্রমাণ চান।
• প্রতিটি স্বয়ংক্রিয় সিদ্ধান্তের পাশে প্রমাণ রাখুন।
• অনেক দুর্বল সংকেত যোগের আগে একটি বিশ্বস্ত সংকেতে বিনিয়োগ করুন।

কাঠামোটি অনলাইন উপস্থিতি যাচাইয়ের কেস স্টাডিতে বিস্তারিতভাবে বর্ণিত।