שימוש נכון במפות אתר XML בעת שינוי כתובות של דפים

בפוסט הזה אני רוצה לדון קצת בעניין טכני אבל חשוב מאוד – מפות אתר XML של גוגל, והשימוש נכון בהן כאשר כתובות של דפים משתנות.
בזמן האחרון יצא לי לשמוע על כמה מקדמי אתרים שהמליצו ללקוחות שלהם את הדבר הבא: אחרי שינוי כתובת של דפים באתר, הומלץ להשאיר לכמה זמן את הכתובות הישנות של הדפים במפת האתר, וזאת ע"מ שגוגל יסרוק שוב את הדפים הישנים ויעדכן את עצמו.
המלצה זו איננה נכונה! בפוסט זה אתייחס להעברת דף ישן לכתובת חדשה, ולדרך הנכונה לעשות זאת.

כאשר שינינו כתובת של דף, אנחנו רוצים להמנע מבעיה של תוכן משוכפל:

המצב בו הכתובת החדשה של הדף והכתובת הישנה של הדף יחשבו לשני דפים שונים בעיני מנועי החיפוש, ובהמשך לכך הדף החדש יחשב כתוכן משוכפל בעיני גוגל ויפגע בדירוג האתר בגוגל.

פתרונות אפשריים לבעיה:

1. 1.  לא לעשות כלום. התוצאה: יהיו דפים משוכפלים בגוגל. זאת לא הגישה המומלצת.
   2. נמחק את הדף הישן. כל מי שיגיע אליו יקבל שגיאת 404 ורק הדף החדש יהיה קיים.
      למה הפתרון לא מוצלח? אם ישנם דפים המקשרים לדף הישן, אנחנו נאבד את תועלת ה-SEO שהם מביאים.
      למה הפתרון מוצלח? אין שני דפים = אין תוכן משוכפל.
   3. נשאיר את שני הדפים. הדף הישן יפנה בעזרת תגית קנוניקל לדף החדש.
      למה הפתרון לא מוצלח?
      • זו לא המטרה של תגית קנוניקל. המטרה של תגית קנוניקל היא לטפל בתכנים משוכפלים, לא להוות מכניזם להודעה על כתובת שהוחלפה.
      • במידה והדף עבר דומיין או סאב-דומיין, יהיו (נכון לכרגע) בעיות עם מנועים שהם לא גוגל. גוגל, לפחות בתיאוריה, יודעים להתמודד עם תג קנוניקל שמפנה לדומיין אחר. מנועי החיפוש האחרים עדיין לא תומכים בכף.

      למה הפתרון מוצלח? אני לא רואה מצב בו אגדיר פתרון כזה כמוצלח. לא הצלחתי למצוא מצב שבו אמליץ על דבר כזה.

   4. ליצור הפניית 301 בדף ולהסיר אותו ממפת האתר: הדף הישן יפנה אל החדש ולא יסרק במפת האתר.
      למה הפתרון הזה מוצלח ומומלץ?
      • הפתרון מודיע לכל מנועי החיפוש לאן הדף עבר , וזו גם ההמלצה של גוגל לפתרון במקרים כאלה
      • מפת ה-XML תכיל את הדף החדש והמעודכן ולא דפים ישנים ולא רלוונטים.
      • דפים שמקשרים אל העמוד יגיעו אל היעד הסופי והנכון (ע"י הפניית 301) וכך נקבל את תועלת ה-SEO שלהם

כדי לסכם את הנושא, להלן ה-best practice לנושא:

1.  הפנית 301: אם כתובת של דף שונתה, הכתובת הישנה צריכה לעשות 301 מהכתובת הישנה אל הכתובת החדשה. הודעה זו מודיעה לגוגל שהדף עבר.
2. מפת XML:
   a. מפת האתר צריכה להכיל את הכתובת החדשה של הדף.
   b. כשדף עובר לכתובת חדשה, אסור לשים את הכתובת הישנה שעושה הפניה בתוך מפת האתר.
3. שינוי קנוניקל בכל הדפים הרלוונטיים: אם קיימים דפים משוכפלים של הדף שהועבר שהכתובת שלהם לא השתנתה, יש לבצע שינוי ה-canonical שלהם אל היעד החדש.

רפרנסים:

https://www.google.com/support/forum/p/Webmasters/thread?tid=2004975f2a743be9&hl=en

https://www.google.com/support/forum/p/Webmasters/thread?tid=2c6fb65087ef0901&hl=en

https://groups.google.com/group/google_webmaster_help-indexing/browse_thread/thread/c6c306412b6b29a2/be38be60f0e8bab7?lnk=gst&q&pli=1

הפוסט הזה מתאר מצב מאוד דומה למה שמעניין אותנו.

השאלה:

התשובה: