Robots.txt

קובץ robots.txt הוא הדבר הראשון שבוט של מנוע חיפוש בודק כשהוא מגיע לאתר. הקובץ יושב בכתובת example.com/robots.txt ומכיל הנחיות פשוטות: אילו חלקים באתר מותר לסרוק ואילו חסומים. מבנה הקובץ פשוט: User-agent מציין לאיזה בוט ההנחיה מיועדת (* לכולם), Disallow חוסם נתיב, Allow מאפשר נתיב. לדוגמה, Disallow: /admin/ חוסם את תיקיית הניהול. חשוב להבין ש-robots.txt הוא הנחיה ולא חסימה — בוטים "מנומסים" יכבדו אותו, אבל הוא לא מגן על מידע רגיש. שימושים נפוצים: חסימת אזורי ניהול, חסימת דפי חיפוש פנימיים, חסימת דפי תגיות כפולים, ומניעת סריקה של קבצי מדיה כבדים. טעות נפוצה היא חסימת קבצי CSS ו-JS שגוגל צריך כדי לרנדר את הדף. תמיד כללו קישור למפת האתר בתחתית הקובץ: Sitemap: https://example.com/sitemap.xml.