یکی از مهم‌ترین خبرهای هفته برای مدیران سایت و متخصصان سئو، معرفی یک قاعده مشترک در فایل robots.txt هوش مصنوعی است. گوگل روز جمعه ۸ آبان ۱۴۰۵ (۳۰ اکتبر ۲۰۲۶) در وبلاگ رسمی Search Central اعلام کرد که از یک «کنترل مشترک آموزش هوش مصنوعی» پشتیبانی خواهد کرد. هم‌زمان مایکروسافت، OpenAI و Anthropic هم اعلام کردند که همین سیگنال را محترم می‌شمارند. یعنی صاحبان سایت به‌زودی می‌توانند تنها با یک قانون در robots.txt بگویند که نمی‌خواهند محتوایشان برای آموزش مدل‌های هوش مصنوعی مولد استفاده شود.

در این مطلب توضیح می‌دهیم این تغییر چیست، چطور کار می‌کند، چه تفاوتی با روش‌های قبلی دارد و آیا روی سئوی سایت شما اثر می‌گذارد یا نه.

مشکل قبلی چه بود؟

تا امروز اگر صاحب سایتی نمی‌خواست محتوایش در آموزش هوش مصنوعی استفاده شود، باید برای هر شرکت به‌صورت جداگانه قانون می‌نوشت. برای مثال یک گروه برای GPTBot، یک گروه برای ClaudeBot و یک گروه برای Google-Extended. با زیاد شدن تعداد خزنده‌های هوش مصنوعی، نگهداری این فهرست برای بیشتر وب‌مسترها، به‌خصوص سایت‌های کوچک، دشوار و پر از خطا شده بود.

قاعده جدید چطور کار می‌کند؟

سازوکار جدید بر پایه یک پیش‌نویس اینترنتی با عنوان «سیگنال ماشین‌خوان ترجیح آموزش» است که در ۳۰ اکتبر ۲۰۲۶ منتشر شد و از کار گروه AIPREF در IETF الهام گرفته است. در این روش یک «توکن سیاست» با نام __usage_ai-training تعریف می‌شود که به‌جای نام یک خزنده خاص، در خط User-Agent نوشته می‌شود. نمونه‌ای که در خود پیش‌نویس آمده چنین است:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

معنای این گروه این است که سایت با استفاده از همه مسیرهایش برای آموزش هوش مصنوعی مخالف است، به‌جز پوشه press-kit که استفاده از آن مجاز اعلام شده است.

نکته‌های مهم پیش‌نویس

  • گرامر جدیدی اضافه نمی‌شود: همان ساختار آشنای robots.txt و قانون طولانی‌ترین تطابق استفاده می‌شود؛ پارسرهای قدیمی هم این گروه را مثل یک خزنده ناشناخته نادیده می‌گیرند.
  • گروه ستاره حساب نمی‌شود: اگر با User-Agent: * همه خزنده‌ها را بسته باشید، از نظر این سازوکار هنوز ترجیحی درباره آموزش اعلام نکرده‌اید.
  • نبودن توکن یعنی نبودن ترجیح: اگر هیچ گروهی با این توکن در فایل نباشد، یعنی شما نظری اعلام نکرده‌اید.
  • دستور خزش نیست: این توکن فقط ترجیح شما درباره نوع استفاده از محتوا را بیان می‌کند و جلوی خزیدن صفحات را نمی‌گیرد.

موضع گوگل درباره Google-Extended

گوگل توضیح داده است که اگر سایتی با این توکن مشترک مخالفت خود را اعلام کند و به‌طور جداگانه درباره Google-Extended قانونی ننوشته باشد، گوگل آن را مثل بستن Google-Extended تفسیر می‌کند. کنترل‌های اختصاصی هر شرکت هم کنار سیگنال مشترک باقی می‌مانند؛ پس می‌توانید به‌صورت کلی مخالفت کنید و برای یک شرکت خاص استثنا بگذارید. گوگل همچنین یادآوری کرده که سایت‌هایی که Google-Extended را مجاز بگذارند، می‌توانند در پاسخ‌های اپلیکیشن Gemini دیده شوند و کلیک بگیرند.

زمان اجرا

این سازوکار هنوز فعال نیست. گوگل اعلام کرده هدفش پشتیبانی از آن در سال ۲۰۲۷ است و مستندات خزنده‌هایش به اوایل ۲۰۲۷ اشاره می‌کند. گزارش‌های منتشرشده می‌گویند مایکروسافت هم برنامه‌ای برای ابتدای ۲۰۲۷ دارد و OpenAI از اجرای آن «در ماه‌های آینده» خبر داده است. ضمناً پیش‌نویس فعلاً یک ارسال فردی است و هنوز جایگاه رسمی استاندارد در IETF را ندارد.

آیا این تغییر روی سئو اثر دارد؟

پاسخ کوتاه: مستقیماً خیر. این توکن به نمایش صفحات در نتایج معمولی جست‌وجو ربطی ندارد و فقط درباره آموزش مدل‌های مولد است. اما چند نکته را باید در نظر گرفت:

  1. دیده شدن در پاسخ‌های هوش مصنوعی: تصمیم درباره آموزش با تصمیم درباره حضور در پاسخ‌هایی مثل AI Overviews یکسان نیست؛ قبل از بستن، هدف خود را مشخص کنید.
  2. اشتباه در فایل robots.txt خطرناک است: هر تغییری را با ابزار تست robots.txt در سرچ کنسول بررسی کنید تا ناخواسته صفحات مهم را برای ربات پامنا موبایل گوگل نبندید.
  3. قانون ستاره جایگزین نیست: بستن همه خزنده‌ها با * به سئوی سایت آسیب می‌زند و از نظر این سیگنال هم کافی نیست.

پیشنهاد برای مدیران سایت

  • فایل robots.txt فعلی خود را مرور کنید و ببینید چه قانون‌هایی برای خزنده‌های هوش مصنوعی دارید.
  • درباره سیاست محتوای خود تصمیم بگیرید: آیا محتوای شما سرمایه اصلی کسب‌وکارتان است یا دیده شدن در ابزارهای هوش مصنوعی برایتان ارزش بیشتری دارد؟
  • تا زمان اجرای رسمی، قانون‌های اختصاصی فعلی را حذف نکنید؛ سیگنال جدید کنار آن‌ها کار خواهد کرد.
  • خبرهای گوگل و گروه AIPREF را دنبال کنید، چون جزئیات ممکن است تا ۲۰۲۷ تغییر کند.

جمع‌بندی

معرفی قاعده مشترک robots.txt هوش مصنوعی گامی مهم برای ساده‌تر شدن کنترل محتوای سایت‌هاست. به‌جای فهرست بلند خزنده‌ها، یک گروه با توکن __usage_ai-training کافی خواهد بود تا ترجیح شما به همه شرکت‌های همراه منتقل شود. این تغییر رتبه شما را در گوگل تغییر نمی‌دهد، اما زمان خوبی است که سیاست محتوای سایت خود را در برابر هوش مصنوعی روشن کنید.