050-427-4454
GEO

llms.txt, robots.txt ובוטים של AI: מה לאפשר ומה לחסום

מה ההבדל בין בוטי אימון לבוטי חיפוש של AI, אילו בוטים כדאי להכיר, איך להגדיר robots.txt נכון, ומה המצב האמיתי של llms.txt.

אסף מלכה 3 דק' קריאה
llms.txt, robots.txt ובוטים של AI: מה לאפשר ומה לחסום

רוב העסקים צריכים לאפשר לבוטים של מנועי החיפוש של ה-AI לגשת לאתר, כי בלי גישה הם לא יכולים לצטט אתכם. ההחלטה האמיתית היא לגבי בוטים שאוספים מידע לאימון מודלים. את זה קובעים בקובץ robots.txt. קובץ llms.txt הוא הצעה חדשה שעדיין לא אומצה רשמית על ידי המנועים הגדולים.

בשנה האחרונה התווספו לשרתים של כמעט כל אתר מבקרים חדשים: בוטים של חברות AI. חלקם אוספים מידע כדי לאמן מודלים, וחלקם מחפשים מידע בזמן אמת כדי לענות למשתמש. ההבדל ביניהם חשוב, כי חסימה לא נכונה יכולה להעלים אתכם מהתשובות.

שני סוגים של בוטים

  • בוטי אימון: אוספים תוכן כדי לאמן את המודל. חסימה שלהם לא מוציאה אתכם מתשובות שמבוססות על חיפוש בזמן אמת.
  • בוטי חיפוש ושליפה: ניגשים לעמוד כשמשתמש שואל שאלה, כדי לצטט ממנו. חסימה שלהם פוגעת ישירות בסיכוי שלכם להופיע ולקבל קישור.

הבוטים העיקריים שכדאי להכיר

User-agentשל מילמה הוא משמש
GPTBotOpenAIאיסוף מידע לאימון מודלים
OAI-SearchBotOpenAIחיפוש עבור ChatGPT ותוצאות עם קישורים
ChatGPT-UserOpenAIגישה לעמוד כשמשתמש מבקש זאת בשיחה
PerplexityBotPerplexityאינדוקס לתשובות של Perplexity
Google-ExtendedGoogleשליטה בשימוש בתוכן עבור Gemini, בלי השפעה על החיפוש בגוגל
ClaudeBotAnthropicאיסוף מידע לאימון מודלים
CCBotCommon Crawlארכיון פתוח שמשמש לאימון מודלים רבים
טעות שכדאי להימנע ממנה

חסימה של Google-Extended לא משפיעה על הדירוג בגוגל ולא מוציאה אתכם מ-AI Overviews, שנשענים על Googlebot הרגיל. מצד שני, חסימה של Googlebot עצמו תוציא אתכם מגוגל לגמרי.

מה אנחנו ממליצים לרוב העסקים

לעסק שרוצה להופיע בתשובות AI, ההמלצה הבסיסית היא לאפשר את בוטי החיפוש, ולשקול לגופו של עניין את בוטי האימון. לדוגמה:

# Allow AI search and retrieval
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Optional: opt out of model training
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

אם התוכן שלכם הוא הנכס העסקי עצמו, למשל מחקרים בתשלום, חסימת בוטי אימון הגיונית. אם המטרה היא חשיפה ומודעות, לרוב עדיף לאפשר גם אותם.

ומה עם llms.txt?

llms.txt הוא קובץ שהוצע ב-2024, שמטרתו לתת למודלי שפה סיכום מסודר של האתר וקישורים לעמודים החשובים, בפורמט Markdown. נכון לעכשיו, המנועים הגדולים לא הודיעו שהם משתמשים בו באופן רשמי. ההוספה שלו זולה ולא מזיקה, אבל אל תצפו שהיא לבדה תשנה משהו. אתר ברור, מהיר וסרוק היטב חשוב הרבה יותר.

איך בודקים מה קורה אצלכם

  1. פתחו את yoursite.co.il/robots.txt ובדקו אם יש חסימות כלליות או חסימות לבוטים שהוזכרו.
  2. בדקו גם חסימות ברמת השרת או ה-CDN, למשל חומת אש שחוסמת בוטים לא מוכרים. הרבה פעמים החסימה נמצאת שם ולא ב-robots.txt.
  3. בדקו בלוגים של השרת אם הבוטים באמת ניגשים לאתר.

רוצים שנבדוק אם בוטים של AI יכולים לקרוא את האתר שלכם?

לניתוח חינם

שאלות נפוצות

אם אחסום את GPTBot, ChatGPT עדיין יוכל להמליץ עליי?

כן. GPTBot משמש לאימון. החיפוש בזמן אמת ב-ChatGPT מתבצע על ידי OAI-SearchBot ו-ChatGPT-User, שנשלטים בנפרד.

האם llms.txt משפר דירוג?

אין לכך ראיה כרגע. זו הצעה פתוחה, והמנועים הגדולים לא הודיעו על תמיכה רשמית.

כל כמה זמן לבדוק את הקובץ?

בכל שינוי באתר או בשרת, ולפחות פעם ברבעון, כי חברות AI מוסיפות ומשנות בוטים מדי פעם.