SEOCheck – הבודק האוטומטי
זה הבודק של SEOCheck, שירות חינמי לבדיקת SEO בדפי מוצר של חנויות אונליין. הוא נכנס לאתר רק כשמישהו מבקש לבדוק אותו באתר שלנו, וטוען רק דפים ציבוריים: דף הבית, robots.txt, רשימת המוצרים הציבורית של פלטפורמת החנות או מפת האתר, ועד 48 דפים מהאתר כדי לבדוק מתוכם עד 24 דפי מוצר.
הבודק מזדהה בגלוי. ה־User-Agent שלו הוא:Mozilla/5.0 (compatible; SEOCheck/1.0; free product-page SEO check; +https://seocheck.co.il/checker)
הוא מכבד את robots.txt, כולל Crawl-delay: כשהאתר מבקש להמתין בין בקשות, הבודק ממתין ובודק פחות דפים. בלי בקשה כזו הוא שולח לכל היותר שתי בקשות במקביל, ולפחות 0.6 שניות בין תחילת בקשה לבקשה. בדרך כלל אותה חנות נבדקת מחדש לכל היותר פעם ב־6 שעות, ובכל מקרה לא יותר מ־4 פעמים ביממה (גם כשמבקשים בדיקה חוזרת אחרי תיקון).
כדי לחסום אותו, הוסיפו ל־robots.txt:
User-agent: SEOCheck Disallow: /
מפעיל: https://seocheck.co.il · מדיניות פרטיות