מה זה sitemap.xml ולמה גוגל צריך אותו כדי לאנדקס

מה זה בעצם sitemap.xml?

מפת אתר, sitemap.xml, היא קובץ טקסט מובנה שמפרט את כל כתובות ה-URL החשובות באתר, בפורמט שגוגל ומנועי חיפוש אחרים יודעים לקרוא. במקום שהרובוט של גוגל ינחש איך האתר בנוי, הקובץ פשוט אומר לו: אלה כל הדפים שקיימים, בואו תבדקו אותם.

זה לא קידום בפני עצמו. זו הדרך שבה גוגל בכלל מגלה שהדף שלכם קיים. בלי דף מאונדקס אין סיכוי להופיע בתוצאות חיפוש, לא משנה כמה איכותי התוכן.

איך גוגל מוצא דפים בלי sitemap?

גוגל סורק את האינטרנט דרך קישורים. הרובוט (Googlebot) נכנס לדף, עוקב אחרי כל הקישורים הפנימיים בו, ומגיע לדפים נוספים דרכם. אתר עם קישוריות פנימית טובה, כלומר כל דף מקושר מלפחות דף אחד נוסף, יכול תיאורטית להתגלות גם בלי sitemap.

הבעיה היא שאתרים קטנים חדשים לרוב לא צוברים כמעט קישורים מבחוץ, ולפעמים גם הקישוריות הפנימית לא מושלמת, למשל דף שירות חדש שנוסף ואף אחד לא קישר אליו עדיין. במצב כזה sitemap הוא הדרך הכי בטוחה לוודא שגוגל בכלל יודע שהדף קיים.

למה זה קריטי לעסק קטן ולא רק לאתרי ענק?

יש תפיסה מוטעית ש-sitemap נחוץ רק לאתרי ענק עם עשרות אלפי דפים. בפועל, גוגל עצמו ממליץ עליו גם לאתרים חדשים עם מעט קישורים נכנסים, וזה בדיוק הפרופיל של רוב אתרי העסקים הקטנים בישראל.

אתר חדש כמעט תמיד מתחיל בלי קישורים חיצוניים אליו, כך שגוגל לא “נתקל” בו באופן טבעי
מבנה קטן ופשוט לפעמים דווקא מסתיר דפים, כמו עמוד תודה או דף שירות שנוסף בלי לקשר אליו מהתפריט
תוכן עם מדיה, כמו תמונות גלריה או מדריכים, נהנה מכך שה-sitemap מוסיף מידע נוסף על התוכן

בקיצור, דווקא כי האתר קטן וחדש, הוא זקוק ל-sitemap כדי לפצות על היעדר קישורים חיצוניים שאתר ותיק וגדול כבר צבר.

מה בדיוק צריך להיות בתוך ה-sitemap?

הקובץ אמור לכלול רק כתובות מלאות (עם https://) של הדפים שבאמת רוצים שיופיעו בגוגל. חשוב להקפיד על כמה כללים:

רק כתובות קנוניות, כלומר אם יש כפילות של אותו תוכן בשתי כתובות, מכניסים רק את הגרסה הרשמית
בלי דפי ניהול, תודה, או תוצאות חיפוש פנימיות שאין טעם שגוגל יאנדקס
תאריך עדכון אחרון לכל כתובת, כדי שגוגל ידע מתי לחזור ולבדוק שוב
אין טעם להגדיר עדיפות או תדירות עדכון לכל דף. גוגל בעצמו מתעלם מהערכים האלו כיום ומחליט לבד כמה חשוב כל דף

באתר בנוי כמו שצריך, ה-sitemap נוצר ומתעדכן אוטומטית בכל פעם שמוסיפים דף חדש, כך שאין צורך לערוך אותו ידנית.

מה קורה אם אין sitemap בכלל?

האתר עדיין יכול להיסרק, אבל בלי המפה גוגל תלוי לגמרי בקישורים כדי לגלות דפים. דף חדש בלי קישורים אליו עלול פשוט להישאר בלתי מאונדקס במשך שבועות, גם אם התוכן בו מצוין.

איך בודקים אם האתר בכלל מאונדקס?

יש שתי דרכים פשוטות לבדוק את זה, בלי צורך בכלים מתקדמים.

חיפוש site: בגוגל, למשל site:example.co.il, מציג רשימה חלקית של הדפים שגוגל אינדקס מהאתר. זו לא רשימה מלאה או מדויקת, אבל אם דף שאמור להופיע חסר שם לגמרי, זה סימן אזהרה ברור.

כלי בדיקת כתובות URL בגוגל Search Console נותן תשובה מדויקת יותר לכל דף בודד: האם הוא מאונדקס, מתי גוגל סרק אותו לאחרונה, ואם יש בעיה, גם את הסיבה המדויקת. מי שרוצה להכיר את הכלי לעומק יכול לקרוא את המדריך ל-Google Search Console שמסביר איך מתחברים ואילו דוחות הכי חשובים.

אפשר לבקש מגוגל לסרוק דף באופן ידני?

כן, דרך כלי בדיקת הכתובות אפשר לבקש סריקה מחדש של דף בודד. זה שימושי אחרי שמפרסמים דף חדש או מתקנים בעיה, אבל יש מכסה יומית לבקשות כאלו, ובקשה חוזרת על אותו דף לא מזרזת את התהליך. גם אחרי הבקשה, אינדוקס בפועל יכול לקחת בין כמה ימים לכמה שבועות.

בעיות אינדוקס נפוצות באתרי עסקים קטנים

חסימה בטעות בקובץ robots.txt

לפעמים קובץ ההגדרות של האתר חוסם בטעות תיקייה שלמה מפני סריקה, כולל דפים שרוצים שיופיעו בגוגל. זו טעות טכנית שקורית יותר ממה שנדמה, במיוחד אחרי שינוי או שדרוג אתר.

תג noindex שנשאר בקוד

דף שנבנה בסביבת פיתוח או בדיקה מקבל לפעמים תג noindex כדי שלא יופיע בגוגל בטרם עת. אם התג נשאר בטעות אחרי שהדף עלה לאוויר, גוגל פשוט מדלג עליו לצמיתות עד שהתג מוסר.

דף יתום בלי אף קישור פנימי

דף חדש שלא מקושר משום מקום באתר, לא מהתפריט ולא מדף אחר, קשה מאוד לגוגל לגלות גם אם הוא מופיע ב-sitemap. עדיף תמיד לקשר אליו גם באופן פנימי מהדף הרלוונטי.

תוכן דליל או כפול

דף עם מעט מאוד תוכן, או תוכן שמופיע כמעט זהה בכמה כתובות שונות, לפעמים לא נכנס לאינדקס כי גוגל לא רואה בו ערך מספיק. איחוד דפים דומים או הרחבת התוכן פותר את זה ברוב המקרים.

בעיה	איך מזהים	פתרון
חסימה ב-robots.txt	הדף לא נסרק בכלל בדוח הכיסוי	הסרת החסימה מהקובץ
תג noindex	הדף מסומן “לא מאונדקס במכוון”	הסרת התג מקוד הדף
דף יתום	הדף לא מופיע בתפריט או בקישורים אחרים	הוספת קישור פנימי
תוכן דליל	הדף מסומן “נסרק, לא אונדקס”	הרחבת התוכן או איחוד דפים

איך יוצרים sitemap בפועל?

אם האתר בנוי על פלטפורמה מודרנית, ה-sitemap לרוב נוצר אוטומטית ומתעדכן בכל פעם שמוסיפים דף. מי שרוצה לבדוק במהירות אם קיים sitemap תקין, או ליצור אחד חדש לאתר ישן שעדיין לא מייצר אותו לבד, יכול להשתמש בכלי יצירת מפת אתר שלנו. הכלי בונה קובץ sitemap.xml תקני תוך שניות, בלי צורך בידע טכני.

אחרי שיש קובץ sitemap תקין, השלב הבא הוא להגיש אותו ב-Search Console, כדי שגוגל ידע איפה למצוא אותו ויתחיל לסרוק את הדפים הרשומים בו.

מה עושים אחרי שהדף מאונדקס?

אינדוקס הוא רק תנאי הכרחי, לא מספיק. דף יכול להיות מאונדקס ועדיין לא להופיע בעמוד הראשון של תוצאות החיפוש, כי זה כבר תלוי באיכות התוכן, במהירות הטעינה ובקישורים אליו. מי שרוצה עזרה בבניית אתר שנבנה נכון מהיסוד מבחינת קידום, כולל sitemap אוטומטי וקישוריות פנימית תקינה, יכול לקרוא על בניית אתר ממיר אצלנו או לקבוע שיחת אבחון.