יצירת Sitemap ו-robots.txt

sitemap.xml הוא קובץ שמפרט לגוגל את כל העמודים הקיימים באתר שלכם, כדי שהסריקה והאינדוקס יהיו מהירים ומלאים יותר. בלי sitemap, גוגל עדיין יכול לגלות עמודים דרך קישורים פנימיים, אבל בעמודים חדשים, אתרים גדולים או אתרים עם מבנה קישורים לא אחיד, זה עלול לקחת הרבה יותר זמן - ולפעמים עמודים שלמים נשארים מחוץ לאינדקס בלי שתשימו לב.

robots.txt הוא קובץ משלים שמורה למנועי החיפוש אילו חלקים באתר מותר לסרוק ואילו לא, ולעיתים גם מצביע על מיקום קובץ ה-sitemap עצמו כדי לזרז את הגילוי. שילוב נכון של שני הקבצים הוא בסיס טכני שכל אתר צריך, בלי קשר לגודלו, לגיל שלו או לפלטפורמה שעליה הוא בנוי - וורדפרס, מערכת מותאמת אישית או כל דבר אחר.

הכלי שלנו מייצר את שני הקבצים בבת אחת: מזינים את כתובת האתר ורשימת העמודים (או מדביקים אותם משורה לשורה), והכלי בונה קובץ sitemap.xml תקני בפורמט XML שגוגל מצפה לו, וקובץ robots.txt בסיסי שמצביע עליו. את שני הקבצים מורידים ומעלים ישירות לשורש הדומיין - בלי תוספי וורדפרס, בלי הרשמה לשירות חיצוני ובלי עלות נסתרת בהמשך הדרך.

זה שימושי במיוחד בהשקת אתר חדש שעדיין לא הופיע בתוצאות החיפוש, אחרי מעבר פלטפורמה שבו קבצי sitemap ישנים לא תמיד מתעדכנים אוטומטית, או כשרוצים לוודא שגוגל אכן רואה את כל העמודים החשובים באתר. מומלץ להגיש את קובץ ה-sitemap ל-Google Search Console אחרי ההעלאה, כדי לזרז את תהליך הסריקה ולקבל דיווח שוטף על שגיאות אינדוקס.

חשוב גם לוודא שקובץ robots.txt לא חוסם בטעות עמודים חשובים - טעות נפוצה היא חסימה גורפת שמונעת מגוגל לסרוק את כל האתר בלי כוונה. הכלי בונה קובץ בסיסי ובטוח שמאפשר סריקה מלאה, ותמיד אפשר לערוך אותו ידנית אחר כך אם יש צורך בחסימה ממוקדת של תיקייה מסוימת.

כל אתר שאנחנו בונים כולל sitemap ו-robots.txt אוטומטיים, בלי צורך לייצר אותם ידנית. רוצים אתר כזה?