בודקים את robots.txt הציבורי. זה לא מבטיח שהבוט באמת ייכנס.
בדיקה
אנחנו משתמשים בעוגיות כדי להבין איך משתמשים באתר. אפשר לאשר או לסרב. מדיניות פרטיות