هرکجا

راهنمای گوگل برای دسترسی Google-Agent به سایت

گوگل در ۱۷ نوامبر ۲۰۲۶ راهنمایی منتشر کرد که نشان می‌دهد چطور در CDN، فایروال و سرویس ضدربات به Google-Agent اجازه عبور بدهیم؛ از شناسایی با User-Agent، فهرست IP و امضای Web Bot Auth تا شش نکته عیب‌یابی برای صفحه رزرو و سبد خرید.

راهنمای گوگل برای دسترسی Google-Agent به سایت

گوگل در ۱۷ نوامبر ۲۰۲۶ راهنمایی منتشر کرد که نشان می‌دهد چطور در CDN، فایروال و سرویس ضدربات به Google-Agent اجازه عبور بدهیم؛ از شناسایی با User-Agent، فهرست IP و امضای Web Bot Auth تا شش نکته عیب‌یابی برای صفحه رزرو و سبد خرید.

 
 
 
✓
 
 
 
 
 
 
🤖
🤖 خبر وب و هوش مصنوعی 🗞️ ۱۷ نوامبر ۲۰۲۶

راهنمای تازه گوگل برای عبور Google-Agent از فایروال

گوگل روز ۱۷ نوامبر ۲۰۲۶ یک راهنمای فنی تازه منتشر کرد که توضیح می‌دهد صاحبان وب‌سایت چطور می‌توانند به Google-Agent اجازه دسترسی بدهند. به نوشته سرچ انجین رانتیبل، گوگل هدف این سند را کمک به ناشرانی دانسته که می‌خواهند این عامل هوشمند بتواند وارد سایتشان شود و کارش را انجام دهد.

🤖 Google-Agent دقیقاً چیست؟

طبق تعریف خود گوگل، Google-Agent نامی است که عامل‌های هوش مصنوعی میزبانی‌شده روی زیرساخت گوگل هنگام گشت‌وگذار در وب و انجام کار به درخواست کاربر از آن استفاده می‌کنند. تفاوتش با خزنده معمولی همین است: این عامل فقط صفحه را نمی‌خواند، بلکه به‌جای کاربر کاری انجام می‌دهد.

بری شوارتز در سرچ انجین رانتیبل یادآوری می‌کند که خود این عامل تازه نیست و این رسانه در ماه مارس هم درباره آن نوشته بود؛ آنچه تازه است، سند راهنمایی است که مشخصاً نحوه باز کردن راه آن را توضیح می‌دهد.

🪪

🪪 درخواست واقعی را از کجا بشناسیم؟

گوگل در این سند می‌گوید اگر ارائه‌دهنده شبکه تحویل محتوا (CDN)، فایروال برنامه وب (WAF) یا سرویس تشخیص ربات شما این عامل را خودکار تأیید نمی‌کند، می‌توانید با این قاعده‌ها درخواست‌های واقعی را تشخیص دهید:

شناسه مرورگر
سربرگ User-Agent درخواست باید عبارت Google-Agent را داشته باشد.
نشانی IP
درخواست باید از یکی از نشانی‌های فهرست user-triggered-agents.json بیاید.
امضای دیجیتال
اگر درخواست امضا داشت، سربرگ‌های Signature و Signature-Input طبق پروتکل Web Bot Auth بررسی شوند.

به گفته گوگل، برای درخواست‌هایی که این بررسی‌ها را پشت سر می‌گذارند باید از چالش‌های ضدربات صرف‌نظر شود. گوگل همچنین در حال آزمایش پروتکل Web Bot Auth با هویت https://agent.bot.goog است و در این آزمایش، درخواست‌ها را با استاندارد HTTP Message Signatures (RFC 9421) امضا می‌کند. کلید عمومی برای بررسی این امضاها هم در همان دامنه منتشر شده است.

🧰 شش جایی که راه عامل بی‌صدا بسته می‌شود

بخش عیب‌یابی سند برای وقتی است که با وجود قاعده اجازه، درخواست‌های واقعی هنوز مسدود می‌شوند. گوگل شش مورد را برای بررسی نام برده است:

۱ اولویت قاعده: قاعده اجازه باید پیش از مسدودسازی‌های گسترده مراکز داده، قواعد مدیریت‌شده ربات یا سیاست‌های کلی مسدود کردن عامل‌های هوش مصنوعی اجرا شود.
۲ چالش‌های تعاملی: علاوه بر مسدودسازی HTTP، کپچا و چالش‌های جاوااسکریپتی هم باید رد شوند؛ از جمله کپچایی که هنگام جست‌وجو یا ارسال فرم ظاهر می‌شود.
۳ کارهای داخل مسیر: اجازه نباید فقط به صفحه اول محدود شود؛ جست‌وجوی داخلی، فیلتر کردن، صفحه جزئیات، افزودن به سبد خرید، رزرو و سرویس‌های پشت آن‌ها مانند XHR و GraphQL هم باید پوشش داده شوند.
۴ محدودیت نرخ IP: چون درخواست‌های هم‌زمان کاربران مختلف از یک مجموعه نشانی مشترک می‌آیند، قواعد محدودیت نرخ باید این نشانی‌ها را در نظر بگیرند.
۵ به‌روز بودن فهرست IP: قواعدی که بر پایه نشانی IP هستند باید با آخرین نسخه فهرست گوگل هماهنگ بمانند.
۶ سربرگ‌های پراکسی: متعادل‌کننده بار و پراکسی‌ها باید IP اصلی، سربرگ User-Agent و سربرگ‌های امضا را دست‌نخورده عبور دهند.

⚠️ یک نکته امنیتی

در صفحه دیگری از مستندات، گوگل Google-Agent را در گروه واکشی‌کننده‌های «به درخواست کاربر» قرار داده و توضیح می‌دهد که چون این واکشی‌ها را کاربر درخواست کرده، معمولاً قواعد robots.txt را رعایت نمی‌کنند. همان صفحه هشدار می‌دهد که شناسه مرورگر قابل جعل است؛ پس بررسی نشانی IP و امضا را نباید کنار گذاشت.

✅ برای یک کسب‌وکار محلی چه معنایی دارد؟

این سند بیشتر فنی است و مخاطب اصلی‌اش مدیران سایت است، اما پیامش برای هر فروشگاه، رستوران یا مجموعه خدماتی که رزرو و سفارش آنلاین دارد روشن است: اگر دستیارهای هوش مصنوعی قرار است به‌جای مشتری وارد سایت شوند، فرم رزرو یا سبد خرید شما نباید پشت دیوار ضدربات بماند. چند قدم ساده:

🛡️
🛡️
از مسئول هاست یا فایروال بپرسید آیا درخواست‌های تأییدشده Google-Agent از کپچا و چالش‌ها معاف می‌شوند.
🗓️
🗓️
صفحه رزرو، فرم تماس و مسیر خرید را جداگانه بررسی کنید؛ باز بودن صفحه اول کافی نیست.
📍
📍
اطلاعات کسب‌وکار را در نقشه‌ها و فهرست‌های محلی کامل و به‌روز نگه دارید تا هر دستیاری، انسانی یا هوشمند، پاسخ درست پیدا کند.
📍

📍 در دسترس مشتری، در دسترس دستیارش

برای دیدن مجموعه‌های ثبت‌شده در رشت و شهرهای دیگر، فهرست هرکجا را ببینید و نشانی و خدمات هر گزینه را با نیاز خود تطبیق دهید.

🔎 رفتن به هرکجا