robots.txt (קובץ רובוטים) אומר לבוטים של מנועי חיפוש, crawlers (סורקים), אילו עמודים בחנות האונליין לבקש ולצפות. לכל חנות Shopify יש robots.txt ברירת מחדל שמותאם ל-Search Engine Optimization (SEO, אופטימיזציה למנועי חיפוש).

מפת האתר, sitemap (מפת אתר), משמשת מנועי חיפוש כדי למקם את החנות בתוצאות. לפני עריכת robots.txt חשוב להבין אם הבעיה קשורה לסריקה, אינדוקס או שליחת מפת אתר.

במדריך הזה

Crawling מול indexing

Crawling (סריקה) הוא מצב שבו בוטים כמו Googlebot בודקים תוכן וקוד בעמודים. Indexing (אינדוקס) הוא מצב שבו עמוד כשיר להופיע בתוצאות חיפוש. התהליכים אינם זהים: מנוע חיפוש יכול לאנדקס עמוד בלי לסרוק אותו אם גילה אותו בדרך אחרת.

שיקולים לפני עריכה

קובץ ברירת המחדל מתאים לרוב החנויות. כדי להתאים אותו צריך קודם להוסיף robots.txt.liquid לתיקיית templates (תבניות) ב-theme דרך code editor. אפשר לאפשר או לחסום URLs מסוימים, להוסיף crawl-delay (השהיית סריקה), להוסיף sitemap URLs או לחסום crawlers מסוימים.

עריכת robots.txt.liquidLiquid / ליקווידמונח Shopify שמשמעותו בעברית: ליקוויד. ההקשר המדויק תלוי בעמוד או בתהליך שבו המונח מופיע.פתיחה במילון

  1. עברו אל Online Store > Themes.
  2. בתבנית הרלוונטית לחצו … > Edit code.
  3. לחצו Add a new template ובחרו robots.
  4. לחצו Create template.
  5. בצעו את השינוי בתבנית ברירת המחדל לפי הנחיות Shopify Developer docs.
  6. שמרו את הקובץ בתבנית המפורסמת.

שינויים נכנסים מיידית, אבל סורקים לא תמיד מגיבים מיד. Shopify מפנה לבדוק שינויים באמצעות Google robots.txt Tester. אפשר למחוק את תוכן התבנית ולהחליף בטקסט רגיל, אך Shopify ממליצה מאוד לא לעשות זאת כי הכללים עלולים להתיישן.

Indexed though blocked

ב-Google Search Console עשויה להופיע הודעה “indexed, though blocked by robots.txt”. Shopify מציינת שבדרך כלל זה צפוי ולא דורש פעולה, במיוחד עבור עמודים שחסומים בכוונה אבל התגלו בדרך אחרת. אם עמוד רגיל כמו דף הבית מופיע כך, ייתכן שהמידע של Google עדיין לא התעדכן.

ברירת המחדל של Shopify

ברירת המחדל כוללת חסימות כמו /admin, /cart, /checkout, /collections/*+*, /search ו-/policies/. המטרה היא למקד מנועי חיפוש בתוכן ייחודי ובעל ערך במקום עמודים מנהלתיים, כפולים או רגישים לקופה.

מחיקת התאמות

כדי לחזור לברירת המחדל, פתחו Online Store > Themes > Edit code, מצאו את robots.txt.liquid, בחרו Delete permanently ואשרו Delete. אם שמרתם התאמות קודמות, אפשר להחזיר אותן בעתיד בזהירות.

שאלות נפוצות

האם צריך לאמת את ההגדרה בתוך Shopify admin?

כן. לפני שינוי בשיווק, SEO, ערוץ מכירה או דוח, בדקו את המסך הפעיל ב-Shopify admin ואת ההודעות שמופיעות בו, במיוחד כאשר ההגדרה תלויה בזכאות, במדינה, בהרשאות או באפליקציה חיצונית.

מה חשוב לתעד אחרי שינוי?

תעדו את מקור ההחלטה, מי ביצע את השינוי, אילו נכסים או ערוצים הושפעו, אילו בדיקות בוצעו, ואילו מדדים צריך לבדוק שוב אחרי שהמערכת צוברת נתונים.