ربات گوگل یا گوگل بات (Googlebot) برنامه خودکاری است که صفحات وب را پیدا میکند، میخواند و برای ایندکس شدن به گوگل میفرستد. این ربات رتبه نمیدهد؛ کارش خزش (Crawl) است و به دو نسخه اصلی موبایل و دسکتاپ تقسیم میشود که بیشتر درخواستها با نسخه موبایل انجام میشود.
شناخت ربات گوگل به کارشناسان سئو کمک می کند درک درست تری از نحوه عملکرد گوگل داشته باشند. در ادامه این نوشتار با ربات گوگل، نحوه کار، انواع و وظایف ربات های گوگل آشنا می شوید و دید بهتری نسبت به ربات های گوگل پیدا می کنید که مطمئنا تاثیر بسیار زیادی در تصمیم گیری های آینده تان برای سئو سایت خواهد داشت.
اینکه گوگل چگونه میتواند صفحات متعدد موجود در اینترنت را بررسی کند و آنها را جزو نتایج جستجوی خود قرار دهد، سوالی است که برای بسیاری از کاربران اینترنت وجود دارد. این روزها میتوان گفت روزانه هزاران یا حتی شاید میلیونها صفحه در فضای اینترنت منتشر شده و میلیونها جستجو هم در گوگل انجام میشود. صفحاتی که به صدها زبان زنده دنیا نوشته میشوند و انواع محتواها از متن گرفته تا ویدئو و تصویر را در بردارند. به همین نسبت جستجوها در گوگل هم به زبانهای مختلف دنیا انجام شده و شامل انواع جستجوی سایت، تصویر و ویدئو میشوند.
گوگل درواقع به عنوان پلی در فضای اینترنت است که دو سوی این بازی را بهم میرساند. در یک سو کاربرانی که به دنبال اطلاعات میگردند، قرار دارند. در سوی دیگر هم سایتهایی حضور دارند که میخواهند کاربر را به سایت خود آورده و اطلاعات را به او برسانند. گوگل برای اتصال این دو طرف از رباتها استفاده میکند. رباتهایی که همواره در حال خزیدن بین صفحات وب هستند و همه چیز را زیر نظر دارند. در این مقاله از جت سئو میخواهیم با نحوه کار ربات گوگل و انواع آن آشنا شویم. تا پایان با ما همراه باشید.
ربات گوگل یا گوگل بات (Googlebot) چیست؟
قبل از اینکه بدانید ربات گوگل چیست، بهتر است ابتدا با اصطلاحات خزنده یا عنکبوت هم در گوگل آشنا شوید. جالب است بدانید ربات گوگل، خزنده گوگل یا عنکبوت گوگل همه اصطلاحاتی هستند که برای یک چیز به کار میروند؛ برنامههای گوگل که توسط آنها صفحات مختلف وب رصد میشوند. شاید برای شما هم این سوال پیش آمده باشد که گوگل چگونه میتواند این حجم از صفحات مختلف را در سایتهای اینترنتی به همه زبانهای دنیا بررسی کند و آنها را در نتایج جستجو نمایش دهد.

مطمئنا گوگل این کار را به صورت دستی توسط کارمندانش انجام نمیدهد! بلکه رباتهایی برای این کار تدارک دیده که به صورت خودکار در هر لحظه صفحات اینترنتی را زیر نظر دارند. هر ربات گوگل همواره در حال خزش در صفحات سایتها است. این رباتها با استفاده از لینکهایی که سایتها به یکدیگر میدهند، صفحات جدید را پیدا کرده و آنها را خزش میکند. همچنین محتواهای بهروزشده را هم رصد میکند. سپس در صورتی که محتواهای جدید، شرایط مورد تایید گوگل را داشته باشند، آنها را به ایندکس اضافه میکند. البته باید در نظر گرفت که ربات های گوگل برای هر سایتی یک بودجه خزش در نظر می گیرد و این که چند وقت یک بار به سایت شما سر بزند بستگی به عوامل زیادی دارد.
لازم به توضیح اضافی نیست که ایندکس در واقع مغز گوگل است، همان جایی است که منبع همه اطلاعات و دانش گوگل بوده و از آن برای انتقال اطلاعات مورد نیاز به کاربران استفاده میشود. از آنجا که عملکرد گوگل بیشتر از هر چیزی به مغز آن وابسته است، کارکرد ربات گوگل برای آن اهمیت ویژهای دارد. به همین دلیل به طور مرتب این رباتها را بهروزرسانی میکند. اجرای برنامه ربات گوگل توسط صدها کامپیوتر انجام میشود. این کامپیوترها ربات گوگل را به گوشه و کنار اینترنت میفرستند تا در صفحات سایتها بگردند و تغییرات آنها را رصد کنند. همچنین صفحات جدید را پیدا کرده و محتوای آنها را بررسی کنند و چنانچه محتوایی را مناسب تشخیص دادند، به ایندکس گوگل اضافه کنند. البته رباتهای گوگل برای این کار دستورالعملهایی دارد که بر اساس آنها کیفیت هر صفحه را سنجیده و درمورد آن تصمیمگیری میکند.
ربات گوگل چگونه کار میکند؟
رباتهای گوگل برای خزش در سایتها از اطلاعات sitemap و همچنین پایگاه دادهای که در خزشهای قبلی ایجاد کرده، استفاده میکنند. در واقع ربات از این اطلاعات استفاده میکند تا تشخیص دهد به چه سمتی حرکت کرده و کدام صفحات را خزش کند. علاوه بر این الگوریتمها هم به کمک ربات گوگل میآیند تا تصمیم درست را بگیرد. الگوریتمها مشخص میکنند کدام سایتها خزش شوند، کدام در اولویت بالاتری قرار گیرند و کدام یک ایندکس شوند.

نحوه انجام کار ربات گوگل بدین صورت است که در ابتدا از آدرسهایی که از قبل میشناسد، لینکهای صفحات دیگر و سایت مپ، لیستی از صفحات یک سایت را فهرست کرده و شروع به خزش در صفحات میکند. در این حین اگر صفحه یا لینک جدیدی پیدا کند، آن را به فهرست خود برای خزشهای بعدی اضافه میکند. همچنین اگر بروزرسانی در صفحات مشاهده کند یا متوجه اصلاح لینکهای شکسته سایت شود، آنها را به لیست بهروزرسانیها اضافه میکند. در نهایت این اطلاعات جمعآوری شده برای بهروزرسانی ایندکس گوگل استفاده میشوند. ربات پیش از خزش، قوانین فایل robots.txt را میخواند و مسیرهای مسدودشده را باز نمیکند.
اگر نمیخواهید صفحهای در نتایج گوگل ظاهر شود، از تگ noindex استفاده کنید. فایل robots.txt فقط خزش را کنترل میکند؛ اگر صفحه در آن مسدود باشد ربات noindex را نمیبیند و صفحه ممکن است باز هم در نتایج بیاید (راهنمای گوگل). همچنین در صورتی که نمیخواهید برخی لینکها در صفحات سایت شما توسط ربات گوگل خزش شوند، باید برچسب نوفالو برای آنها در نظر بگیرید. این برچسب به صورت "rel="nofollow به لینکها افزوده میشود. گوگل این برچسب را یک راهنما (hint) در نظر میگیرد و معمولاً لینک را دنبال نمیکند.
ربات گوگل فقط متن خام صفحه را نمیخواند. گوگل جاوا اسکریپت را با نسخه همیشه بهروز Chromium اجرا میکند (راهنمای گوگل)؛ یعنی بعد از خزش، صفحه در یک مرورگر بدون رابط کاربری (headless) رندر میشود تا محتوای ساختهشده با جاوا اسکریپت هم دیده شود.
برای اینکه بدانید رباتهای گوگل هر چند وقت یک بار سایت شما را خزش میکنند، باید به سراغ گزارش Crawl Stats در بخش Settings سرچ کنسول بروید. اما اگر واقعا میخواهید اقدامات تخصصی انجام دهید تا سایت خود را برای ربات گوگل بهینهسازی کنید، میتوانید از ابزار Kibana یا SEO Log File Analyser استفاده کنید.
همچنین مهمترین ابزاری که میتوانید برای بررسی قابلیت خزش سایتتان استفاده کنید، سرچ کنسول گوگل است. این ابزار سئو به شما کمک میکند سایت خود را از زاویه دید ربات گوگل ببینید. درواقع این یار همیشگی سئوکارها لیستی از خطاهای خزش سایت را به شما نشان میدهد.
همچنین میتوانید با استفاده از آن از ربات گوگل بخواهید سایتتان را خزش کند. همچنین برای اینکه سایت شما زودتر توسط رباتهای گوگل خزش شود، میتوانید برخی اقدامات فنی را برای بهینهسازی آن انجام دهید. چنانچه سایت شما مشکلاتی در زمینه خزش توسط ربات گوگل دارد، بهتر است خطاهای آن را برطرف کنید. برای پیدا کردن این خطاها، بخش تحلیل فنی و محتوایی جت سئو لینکهای شکسته، ریدایرکتها، تگ کنونیکال و عمق صفحات را بررسی میکند. چراکه اگر سایتتان خزش نشود، هیچ امکانی برای حضور در بین نتایج جستجوی گوگل نخواهید داشت.
مقاله انکر تکست چیست را در جت سئو بخوانید
انواع ربات گوگل و وظایف آن ها
گوگل از رباتهای مختلفی برای رصد فضای وب استفاده میکند که هرکدام وظیفه مشخصی بر عهده دارند. مثلا AdSense و AdsBot کیفیت تبلیغات را بررسی میکنند و Mobile Apps Android به بررسی برنامههای اندرویدی میپردازد. در این بین مهمترین انواع ربات گوگل موارد زیر هستند:
| نام ربات | وظیفه |
|---|---|
| Googlebot desktop | این ربات کار خزش و ایندکس کردن نسخه دسکتاپ صفحات وب را انجام میدهد. |
| Googlebot Smartphone | این ربات کار خزش و ایندکس کردن نسخه موبایل صفحات وب را انجام میدهد. طبق مستندات گوگل بیشتر درخواستهای خزش با همین ربات انجام میشود. |
| Googlebot Video | این ربات کار خزش و ایندکس ویدئوها را انجام میدهد. |
| Googlebot Images | این ربات کار خزش و ایندکس تصاویر را انجام میدهد. |
| Googlebot News | این ربات کار خزش و ایندکس سایتهای خبری را انجام میدهد. |
| Googlebot favicon | این ربات گوگل وظیفه تشخیص فاوآیکون سایت ها را برعهده دارد. پیشنهاد می کنیم مقاله فاو آیکون چیست؟ را در جت سئو بخوانید. |
ابزار URL Inspection سرچ کنسول هم از ربات Google-InspectionTool استفاده میکند. برای تست ربات گوگل، آدرس صفحه را در این ابزار وارد کنید و گزینه Test Live URL را بزنید تا ببینید گوگل صفحه را چطور میبیند.
ربات گوگل هر چند وقت یکبار به سایت میآید؟
عدد ثابتی وجود ندارد. گوگل میگوید برای بیشتر سایتها، ربات نباید به طور میانگین بیش از «once every few seconds» یعنی یک بار در هر چند ثانیه وارد سایت شود (مستندات Googlebot). فراوانی واقعی به اعتبار، سرعت سرور و تعداد صفحات بستگی دارد و در مقاله بودجه خزش توضیح داده شده است. همان مستند میگوید ربات برای جستجو فقط 2 مگابایت اول فایلهای پشتیبانیشده و 64 مگابایت اول PDF را میخزد؛ پس محتوای اصلی را پایین کدهای سنگین صفحه نگذارید.
چگونه ربات واقعی گوگل را تشخیص دهیم؟
بعضی اسکرپرها خود را Googlebot معرفی میکنند، بنابراین User-Agent کافی نیست. روش تأیید گوگل این است:
- با دستور host روی IP موجود در لاگ سرور، DNS معکوس بگیرید.
- ببینید دامنه به googlebot.com، google.com یا googleusercontent.com ختم شده باشد.
- روی همان دامنه DNS مستقیم بگیرید و نتیجه را با IP اولیه مقایسه کنید.
گوگل فهرست بازههای IP رباتهای خود را هم به صورت فایل JSON منتشر میکند. اگر ربات واقعی به صفحهای دسترسی ندارد، مقاله خطای blocked by robots.txt را ببینید.
جمعبندی
رباتهای گوگل برنامههایی هستند که توسط گوگل برای بررسی و ایندکس صفحات وب استفاده میشوند. این رباتها با کمک اطلاعات خزش قبلی خود و sitemap هر وبسایت، به گشتن در صفحات سایتها میپردازد و آنهایی را که مناسب میداند، جدا میکند. صفحات جدا شده در ایندکس گوگل قرار میگیرند و کمکم بین نتایج جستجوی گوگل نمایش داده میشوند. در واقع وظایف اصلی رباتهای گوگل، خزش و ایندکس سایتها است.
مطالب مهمی در حوزه سئو :
دلیل اینکه برخی مواقع دسترسی صفحات را میبندیم اما گوگل آنها را ایندکس میکند چیست؟
در فایل روبات صرفا دسترسی خزش را میتوانیم محدود کنیم و این موضوع از ایندکس شدن صفحه جلوگیری نمیکند، اگر میخواهید صفحات را از ایندکس خارج کنید باید از متا تگ robots استفاده کنید و مقدار آن را noindex قرار دهید.
با چه تنظیماتی به googlebot های گوگل بگیم که صفحاتی که به 404 ارجاع میده رو ایندکس نکنه؟
در صورتیکه صفحات 404 ساختار استاندارد داشته باشند و 404 https response به درستی not found برگرداند، ربات های گوگل این صفحات را ایندکس(index) نخواهند کرد.
چه راه حل هایی وجود دارد که بات های گوگل بیشتر به سایت ما سر بزنند؟
با افزایش سرعت سایت، به روز رسانی های مداوم محتوای صفحات و و افزایش تعداد بک لینک می توانید نرخ خزش ربات های گوگل را به سایت خود افزایش دهید.
سلام اگر یک صفحه در فایل robots.txt بسته شده باشد، آیا توسط ربات گوگل کراول می شود؟
سلام فایل robots.txt فقط جلوی ایندکس شدن صفحات را می گیرد و صفحاتی که توسط این فایل Disallow شده باشند هم کراول می شوند.
وقت بخیر آیا آنچه که در نسخه کش شده نشون داده میشه همون چیزی هست که گوگل در سایت ما دیده؟
به طور کلی بله. اما دقت داشته باشید که گاها بعضی المان ها در نسخه کش شده دیده نمی شوند که دلیل این موضوع کش نشدن فایل های CSS مربوطه می تواند باشد. این به این معنی نیست که گوگل این المان هارا ندیده است.
برای اینکه مطمئن بشیم گوگل بات به ساب دامین تست دسترسی نداره چه کاری انجام بدیم؟
می توانید از Password Protection استفاده کنید.
سلام نحوه برخورد ربات های گوگل با صفحات 404 چجوریه؟
سلام هنگامی که ربات های گوگل با صفحات 404 برخورد می کنند آن ها را از ایندکس خارج می کنند و تمام لینک های داخلی و بک لینک های این صفحات بی ارزش می شوند.
عرض ارادت دارم. ببخشید چرا گوگل صفحات سایت من رو ایندکس نمیکنه؟ هر چقدر درخواست میدم تو سرچ کنسول ایندکس نمیشه.
با سلام دلایل زیادی می تواند داشته باشد: از کم بودن کراول باجت گرفته تا کیفیت پائین محتوای سایت شما.
برای اینکه ربات های گوگل بیشتر به سایت شما سر بزنن و سرعت ایندکس مطالبتون بیشتر بشه میتونید از API گوگل برای ایندکسینگ استفاده کنید.
وقتی یک صفحه دیس الاو میشه ممکنه گوگل همچنان اون صفحه رو کراول کنه؟ چون تعدادی از صفحات سایتم علی رغم دیس الاو شدن ایندکس شدن.
خیر. گوگل به هیچ وجه صفحه ای که دیس الاو شده باشد را کراول نمی کند. با این حال ممکن است در شرایط خاصی صفحاتی که دیس الاو شده اند بدون کراول شدن ایندکس شوند.
گوگل بات های دیگه ای هم وجود دارن. مثل گوگل بات favicon که وظیفه تشخیص فاوآیکون سایت هارو برعهده داره. بهتر بود به اینها هم اشاره می کردید.
ممنون از نکته ای که فرمودید. در آینده نزدیک این توضیحات هم به این صفحه اضافه خواهند شد.