Crawl Budget

תקציב סריקה (Crawl Budget) הוא מושג קריטי באופטימיזציה טכנית. גוגל מקצה לכל אתר מכסת סריקה — כלומר, מספר מוגבל של דפים שהבוט שלו (Googlebot) יבקר בהם בכל סשן סריקה. התקציב מושפע מגודל האתר, מהירות השרת, וכמה שגיאות הבוט נתקל בהן. עבור אתרים קטנים (עד כמה מאות דפים), תקציב הסריקה כמעט ולא מהווה בעיה. אבל עבור אתרי מסחר גדולים עם אלפי מוצרים, או אתרי תוכן עם ארכיון ענק, ניהול לא נכון עלול לגרום לכך שדפים חשובים לא ייסרקו בכלל. כדי לייעל את תקציב הסריקה, מומלץ לחסום דפים לא חשובים ב-robots.txt, לתקן שגיאות 404 ולוופים מיותרים, לשפר את מהירות התגובה של השרת, ולוודא שמפת האתר (sitemap) מעודכנת ומכילה רק דפים רלוונטיים.