רוב העסקים צריכים לאפשר לבוטים של מנועי החיפוש של ה-AI לגשת לאתר, כי בלי גישה הם לא יכולים לצטט אתכם. ההחלטה האמיתית היא לגבי בוטים שאוספים מידע לאימון מודלים. את זה קובעים בקובץ robots.txt. קובץ llms.txt הוא הצעה חדשה שעדיין לא אומצה רשמית על ידי המנועים הגדולים.
בשנה האחרונה התווספו לשרתים של כמעט כל אתר מבקרים חדשים: בוטים של חברות AI. חלקם אוספים מידע כדי לאמן מודלים, וחלקם מחפשים מידע בזמן אמת כדי לענות למשתמש. ההבדל ביניהם חשוב, כי חסימה לא נכונה יכולה להעלים אתכם מהתשובות.
שני סוגים של בוטים
- בוטי אימון: אוספים תוכן כדי לאמן את המודל. חסימה שלהם לא מוציאה אתכם מתשובות שמבוססות על חיפוש בזמן אמת.
- בוטי חיפוש ושליפה: ניגשים לעמוד כשמשתמש שואל שאלה, כדי לצטט ממנו. חסימה שלהם פוגעת ישירות בסיכוי שלכם להופיע ולקבל קישור.
הבוטים העיקריים שכדאי להכיר
| User-agent | של מי | למה הוא משמש |
|---|---|---|
| GPTBot | OpenAI | איסוף מידע לאימון מודלים |
| OAI-SearchBot | OpenAI | חיפוש עבור ChatGPT ותוצאות עם קישורים |
| ChatGPT-User | OpenAI | גישה לעמוד כשמשתמש מבקש זאת בשיחה |
| PerplexityBot | Perplexity | אינדוקס לתשובות של Perplexity |
| Google-Extended | שליטה בשימוש בתוכן עבור Gemini, בלי השפעה על החיפוש בגוגל | |
| ClaudeBot | Anthropic | איסוף מידע לאימון מודלים |
| CCBot | Common Crawl | ארכיון פתוח שמשמש לאימון מודלים רבים |
חסימה של Google-Extended לא משפיעה על הדירוג בגוגל ולא מוציאה אתכם מ-AI Overviews, שנשענים על Googlebot הרגיל. מצד שני, חסימה של Googlebot עצמו תוציא אתכם מגוגל לגמרי.
מה אנחנו ממליצים לרוב העסקים
לעסק שרוצה להופיע בתשובות AI, ההמלצה הבסיסית היא לאפשר את בוטי החיפוש, ולשקול לגופו של עניין את בוטי האימון. לדוגמה:
# Allow AI search and retrieval
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
# Optional: opt out of model training
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
אם התוכן שלכם הוא הנכס העסקי עצמו, למשל מחקרים בתשלום, חסימת בוטי אימון הגיונית. אם המטרה היא חשיפה ומודעות, לרוב עדיף לאפשר גם אותם.
ומה עם llms.txt?
llms.txt הוא קובץ שהוצע ב-2024, שמטרתו לתת למודלי שפה סיכום מסודר של האתר וקישורים לעמודים החשובים, בפורמט Markdown. נכון לעכשיו, המנועים הגדולים לא הודיעו שהם משתמשים בו באופן רשמי. ההוספה שלו זולה ולא מזיקה, אבל אל תצפו שהיא לבדה תשנה משהו. אתר ברור, מהיר וסרוק היטב חשוב הרבה יותר.
איך בודקים מה קורה אצלכם
- פתחו את
yoursite.co.il/robots.txtובדקו אם יש חסימות כלליות או חסימות לבוטים שהוזכרו. - בדקו גם חסימות ברמת השרת או ה-CDN, למשל חומת אש שחוסמת בוטים לא מוכרים. הרבה פעמים החסימה נמצאת שם ולא ב-robots.txt.
- בדקו בלוגים של השרת אם הבוטים באמת ניגשים לאתר.
רוצים שנבדוק אם בוטים של AI יכולים לקרוא את האתר שלכם?
לניתוח חינםשאלות נפוצות
אם אחסום את GPTBot, ChatGPT עדיין יוכל להמליץ עליי?
כן. GPTBot משמש לאימון. החיפוש בזמן אמת ב-ChatGPT מתבצע על ידי OAI-SearchBot ו-ChatGPT-User, שנשלטים בנפרד.
האם llms.txt משפר דירוג?
אין לכך ראיה כרגע. זו הצעה פתוחה, והמנועים הגדולים לא הודיעו על תמיכה רשמית.
כל כמה זמן לבדוק את הקובץ?
בכל שינוי באתר או בשרת, ולפחות פעם ברבעון, כי חברות AI מוסיפות ומשנות בוטים מדי פעם.
