اگر سئوی سایتی را به ‌تازگی شروع کرده‌اید، احتمالا با این مشکل روبه‌رو شده‌اید که گوگل صفحات سایت را خزش نمی‌کند و مدت زیادی طول می‌کشد تا آن‌ها را در ایندکس قرار دهد. البته این مشکل تنها برای سایت‌های تازه‌کار ایجاد نمی‌شود و هر سایتی مخصوصا سایت‌های بزرگ و سایت‌های خبری ممکن است با آن دست‌وپنجه نرم کنند. مشکلی که از پایین ‌بودن بودجه خزش سایت ناشی می‌شود و می‌تواند روند فعالیت‌های سئو را با کندی روبه‌رو کند.

اگر شما هم با مشکل پایین‌ بودن بودجه خزش یا crawl budget سایت مواجه هستید، در این مقاله از جت سئو راه‌هایی برای افزایش آن ارائه کرده‌ایم. تا پایان با ما همراه باشید.

بودجه خزش یا crawl budget چیست؟

بودجه خزش (Crawl Budget) تعداد آدرس‌هایی از سایت است که گوگل در یک بازه زمانی می‌تواند و می‌خواهد خزش کند. گوگل در راهنمای بودجه خزش آن را "the set of URLs that Google can and wants to crawl" تعریف کرده است؛ یعنی مجموعه URLهایی که گوگل هم توان و هم تمایل خزش آن‌ها را دارد.

بودجه خزش تعداد صفحاتی از سایت است که در یک روز توسط گوگل خزش می‌شوند. ممکن است بودجه خزش هر روز با روز قبل یا بعد آن متفاوت باشد، اما به ‌طور کلی حول مقدار ثابتی نوسان دارد. گوگل ممکن است در یک سایت روزانه 6 صفحه را خزش کند، ممکن است در یک سایت 5000 صفحه را در روز بخزد یا حتی این عدد را برای یک سایت به چهار میلیون صفحه برساند. تفاوت این اعداد به بودجه‌ای بر می‌گردد که گوگل برای خزش سایت شما در نظر می‌گیرد.

بودجه خزش

روند خزش سایت بدین شکل است که خزنده یا گوگل بات لیستی از url‌هایی را که باید خزش کند، تحویل می‌گیرد و با استفاده از الگوریتم‌هایی که برای آن تعریف شده، شروع به گشتن در لیست موردنظر می‌کند. خزنده‌ها هر بار که به سایتی می‌رسند، ابتدا فایل ROBOTS.TXT آن را بررسی می‌کنند تا مطمئن شوند برای خزش صفحات اجازه دارند یا نه. سپس خزش صفحات را به ‌صورت تک‌به‌تک آغاز می‌کنند. در صورتی‌که هنگام خزش در سایت، یک صفحه جدید پیدا شود، خزنده آدرس URL آن را به لیست خود اضافه می‌کند تا در دفعات بعدی آن را خزش کند.

اهمیت بودجه خزش (crawl budget)

بودجه خزش از آنجا که سهمیه سایت شما را از ربات‌ها یا خزنده‌های گوگل نشان می‌دهد، اهمیت زیادی در به‌ثمرنشستن فعالیت‌های سئو سایت دارد. این موضوع به‌ خصوص وقتی اهمیت پیدا می‌کند که سایت بزرگی داشته‌ باشید. تصور کنید سایت شما 250 هزار صفحه دارد و گوگل بودجه خزش شما را 2500 در نظر گرفته است. یعنی روزانه 2500 صفحه از سایت شما را خزش می‌کند.
البته در این میان برخی صفحات مثل صفحه اصلی سایت لازم است چندین بار خزش شوند. درصورتی‌که کار جدیدی انجام ندهید و صفحه جدیدی روی سایت ایجاد نشود، با بودجه خزش گفته ‌شده، حداقل 100 روز طول می‌کشد تا صفحات سایت شما به طور کامل خزش شوند. البته با وجود اصلاحاتی که در صفحات رخ می‌دهد و اینکه برخی صفحات بیشتر از یک بار خزش می‌شوند، در واقعیت چیزی در حدود 200 روز برای خزش همه صفحات سایت زمان لازم است.

اهمیت بودجه خزش اینجا آشکار می‌شود. در این مثال با بودجه خزش موردنظر حداقل 100 روز زمان نیاز است تا صفحات سایت توسط گوگل خزش شوند، تصور کنید چقدر زمان برای ایندکس صفحات و رتبه‌ گرفتن آن‌ها نیاز است. به‌ خصوص آنکه در هنگام اجرای فعالیت‌های سئو داشتن بازخورد از نتیجه فعالیت‌ها برای اصلاح آن‌ها و بهبود روند سئو ضروری است. در کنار این‌ها ضرورت گزارش‌دهی به کارفرمای سایت را هم درنظر بگیرید.

اگر روند خزش صفحات سایت به ‌کندی پیش رود، امکان ارائه گزارش‌هایی قابل قبول به کارفرما یا صاحب سایت هم وجود نخواهد داشت. به‌طورکلی با وجود یک بودجه خزش پایین، روند انجام فعالیت‌های سئو به مشکل برمی‌خورد. در همین مثال اگر بودجه خزش سایت 50 هزار صفحه در روز بود، مشکل خاصی بوجود نمی‌آمد. ظرف پنج یا شش روز کل صفحات خزش می‌شدند و کار به اتمام می‌رسید.

آیا سایت شما باید نگران بودجه خزش باشد؟

طبق راهنمای گوگل، مدیریت بودجه خزش بیشتر برای این سایت‌ها اهمیت دارد:

نوع سایت تعداد صفحات یکتا سرعت تغییر محتوا
سایت‌های بزرگ بیش از ۱ میلیون صفحه حدود هفته‌ای یک بار
سایت‌های متوسط و بزرگ‌تر بیش از ۱۰ هزار صفحه بسیار سریع (روزانه)
سایت‌هایی که بخش زیادی از URLهایشان در سرچ کنسول وضعیت Discovered - currently not indexed دارند فرقی نمی‌کند فرقی نمی‌کند

گوگل این اعداد را تخمینی می‌داند و مرز دقیقی نیست. اگر سایت شما در این گروه‌ها نیست، معمولا کافی است سایت مپ به‌روز داشته باشید و وضعیت ایندکس صفحات را در گزارش Coverage سرچ کنسول دنبال کنید. با این حال فروشگاه‌های کوچک‌تر هم اگر فیلترهای محصول هزاران URL بسازند، با هدر رفتن بودجه خزش روبه‌رو می‌شوند.

بودجه خزش سایت توسط گوگل چگونه تعیین می‌شود؟

عواملی مختلفی بر تصمیم گوگل برای خزش یک URL تاثیر دارند. مهم‌ترین این عوامل شامل اندازه سایت، خطاهای سایت، سرعت بارگیری صفحات، محتواهای تکراری و بی‌کیفیت، صفحات هک شده و همچنین تعداد لینک‌هایی که سایت شما دریافت کرده، می‌شود. برای مثال پیدا شدن لینک‌هایی که به صفحه جدید اشاره دارند، خزنده‌های گوگل را به سمت آن هدایت می‌کند. همچنین اگر کسی صفحه جدید را توییت کند یا اگر آدرس صفحه در سایت مپ سایت وارد شود، صفحه موردنظر را در اولویت بالاتری برای خزش قرار می‌دهد. حقیقت آن است که نمی‌توان لیست دقیق و کاملی از عواملی که بر تصمیم گوگل برای خزش یک سایت تاثیر دارند، تهیه کرد. اما روند کار بدین شکل است که وقتی گوگل تصمیم گرفت صفحه را خزش کند، آن را به لیست خزنده‌ها اضافه می‌کند تا در دفعات بعدی به سراغ آن بروند.

گوگل بودجه خزش هر سایت را از ترکیب دو عامل تعیین می‌کند:

عامل معنی چه چیزی آن را تغییر می‌دهد
ظرفیت خزش (Crawl capacity limit) بیشترین مقدار خزشی که سرور سایت بدون کند شدن تحمل می‌کند سرعت پاسخ سرور؛ خطاهای 5xx و کد 429 باعث می‌شوند گوگل کمتر خزش کند
تقاضای خزش (Crawl demand) میزان تمایل گوگل به خزش صفحات سایت اندازه سایت، دفعات به‌روزرسانی، کیفیت صفحات و ارتباط آن‌ها با جستجوی کاربران

چطور بودجه خزش سایت را بررسی کنیم؟

  1. در سرچ کنسول به Settings بروید و گزارش Crawl stats (آمار خزش) را باز کنید.
  2. عدد Total crawl requests مربوط به ۹۰ روز گذشته را بر ۹۰ تقسیم کنید تا میانگین خزش روزانه به دست بیاید.
  3. در همین گزارش Average response time و بخش Host status را بررسی کنید. بالا رفتن زمان پاسخ یا مشکل در دسترسی به سرور و robots.txt، ظرفیت خزش را پایین می‌آورد.
  4. تفکیک درخواست‌ها بر اساس پاسخ (By response) را ببینید. سهم بالای 404، 301 و خطاهای سرور یعنی بودجه صرف آدرس‌های بی‌فایده می‌شود.
  5. میانگین خزش روزانه را با تعداد صفحات مهم سایت مقایسه کنید. اگر تعداد صفحات چند برابر خزش روزانه است و صفحات جدید دیر ایندکس می‌شوند، بودجه خزش برای شما محدودیت است.
  6. در گزارش Pages سرچ کنسول روند تعداد آدرس‌های Discovered - currently not indexed را دنبال کنید.

آمار سرچ کنسول نشان می‌دهد گوگل چقدر خزش کرده، اما نمی‌گوید کدام صفحات بودجه را هدر می‌دهند. برای پیدا کردن آن‌ها، بخش تحلیل فنی و محتوایی جت سئو خطاهای فنی، لینک‌های شکسته، ریدایرکت‌ها، مشکلات کنونیکال و عمق صفحات را برای کل سایت فهرست می‌کند.

راهکارهای افزایش بودجه خزش سایت

همان‌طور که گفتیم بوجه خزش سایت می‌تواند به‌ نوبه خود اهمیت زیادی برای سئوکارها داشته باشد به‌ خصوص وقتی با یک سایت بزرگ و گسترده روبرو هستیم. در این قسمت قصد داریم راه‌هایی برای افزایش بودجه خزش سایت معرفی کنیم:

سرعت سایت را بالا ببرید

سایتی که سرعت پایین دارد نه ‌تنها برای کاربران خسته‌کننده است بلکه حتی برای خزنده‌های گوگل هم آزاردهنده است. از آنجاکه چنین صفحاتی وقت خزنده‌ها را هدر می‌دهند، گوگل تمایلی به ماندن زیاد خزنده‌هایش در سایت شما نخواهد داشت و بودجه خزش سایت پایین می‌آید.

زمان پاسخ سرور (TTFB) در این میان اثر مستقیم دارد، چون ظرفیت خزش به آن وابسته است. روش‌های عملی را در مطلب افزایش سرعت سایت ببینید.

خطاهای فنی سایت را کاهش دهید

در قدم اول برای افزایش بودجه خزش سایت باید مطمئن شوید صفحات سایت شما در پاسخ به درخواست مرورگر، کد بازگشتی 200 یا 301 را برمی‌گرداند. کد بازگشتی درواقع کدی است که سرور سایت به مرورگر ارسال کرده و بوسیله آن وضعیت وجود یا عدم وجود صفحه، تغییر آدرس آن یا مثلا حذف کامل صفحه را مشخص می‌کند. کد 200 به معنای وجود صفحه و کد 301 به معنای ریدایرکت ‌شدن صفحه است.

تنها نمایش این دو کد است که از درست ‌بودن وضعیت دسترسی به صفحه خبر می‌دهند و بقیه کدها نشان‌دهنده بروز یک خطا در آن است. بنابراین لازم است ابتدا وضعیت کد بازگشتی تمام صفحات را بررسی کنید و آن‌هایی را که خطا دارند، اصلاح کنید. ممکن است برخی خطاها را با ریدایرکت‌ کردن بتوانید اصلاح کنید و برخی را با برطرف کردن منبع ایجاد خطا. فراموش نکنید که سرچ کنسول گوگل برای خطایابی در این قسمت هم می‌تواند به شما کمک زیادی کند.

صفحاتی را که برای همیشه حذف کرده‌اید با کد 404 یا 410 پاسخ دهید؛ گوگل کد 404 را نشانه‌ای قوی برای خزش نکردن دوباره آن آدرس می‌داند. صفحات Soft 404 برعکس دوباره خزش می‌شوند و بودجه را هدر می‌دهند. معنی هر کد را در مطلب کد وضعیت HTTP ببینید. فهرست صفحات خطادار کل سایت هم در بخش تحلیل فنی و محتوایی جت سئو آمده است.


بیشتر بخوانید: آموزش گوگل سرچ کنسول و بخش های مختلف آن


برخی از صفحات سایت را مسدود کنید

اگر در سایت‌تان صفحاتی دارید که واقعا قرار نیست در نتایج جستجوی گوگل ظاهر شوند، بهتر است آن‌ها را با استفاده از فایل ROBOTS.TXT برای خزنده‌های گوگل مسدود کنید تا بودجه خزش شما هدر نرود. یکی از مشکلاتی که معمولا مشاهده می‌شود، این است که سایت‌های فروشگاهی هنگام اعمال فیلتر در نمایش محصولات، URL صفحه را تغییر می‌دهند. درنتیجه خزنده‌های گوگل هر کدام را یک صفحه در نظر گرفته و بودجه خزش سایت را صرف آن می‌کنند. در چنین مواردی باید مراقب باشید قالب سایت‌تان هنگام اعمال فیلتر، URL صفحه را تغییر ندهد. درصورتی‌که URL تغییر می‌کند، باید آن‌ها را برای خزنده‌های گوگل مسدود کنید.

برای این کار از تگ noindex استفاده نکنید. گوگل صفحه noindex را باز هم درخواست می‌کند و بعد کنار می‌گذارد، پس زمان خزش هدر می‌رود. noindex برای بیرون نگه داشتن صفحه از نتایج است و robots.txt برای جلوگیری از خزش. برای بررسی سریع متا robots و کنونیکال یک صفحه، اکستنشن سئو کروم جت سئو کار را راحت می‌کند.

زنجیره ریدایرکت‌ها را کاهش دهید

هنگامی که صفحه‌ای را ریدایرکت 301 می‌کنید، وقتی خزنده‌های گوگل برای خزش آن می‌آیند، URL مقصد را در لیست خزش قرار می‌دهند تا در نوبت بعدی آن را خزش کنند. این نشان می‌دهد ریدایرکت‌ها بودجه خزش سایت را هدر می‌دهند. برای مثال وقتی آدرس بدون WWW را روی آدرس WWW ریدایرکت می‌کنید و آدرس HTTP را روی آدرس HTTPS ریدایرکت می‌کنید، برای هر صفحه از سایت دو ریدایرکت ایجاد کرده و بودجه خزش زیادی را برای آن هدر داده‌اید.

ریدایرکت‌ها را مستقیم به مقصد نهایی ببرید و لینک‌های داخلی را هم به آدرس نهایی تغییر دهید تا خزنده مجبور به عبور از ریدایرکت نشود.


بیشتر بخوانید: ریدایرکت چیست؟ معرفی انواع ریدایرکت‌ها 301، 302 و 307


لینک‌سازی کنید

لینک‌سازی پای ثابت تقریبا همه بخش‌های سئو است. هرچند اصلا کار ساده‌ای نیست اما انجام آن برای سئو اهمیت زیادی دارد. وقتی سایت شما لینک‌های خارجی زیادی داشته باشد، گوگل هم میفهمد که محتوای سایت شما جذاب بوده و برای دیگر سایت‌ها هم ارزشمند است. در نتیجه بودجه خزش بیشتری هم برای آن در نظر می‌گیرد. این کار علاوه بر دیگر مزیت‌هایی است که لینک‌های خارجی برای سایت فراهم می‌کنند. ضمن اینکه لینک‌سازی داخلی قوی هم به خزنده‌های گوگل کمک می‌کند صفحات مختلف و جدید سایت شما را راحت‌تر پیدا کنند.

سایت مپ را به‌روز نگه دارید

سایت مپ فقط باید آدرس‌های قابل ایندکس با کد 200 را داشته باشد. برای صفحاتی که به‌روز می‌شوند تگ lastmod را درست پر کنید تا گوگل بداند کدام صفحه تغییر کرده است.

صفحات یتیم و محتوای تکراری را کم کنید

صفحه‌ای که هیچ لینک داخلی ندارد (صفحه یتیم) دیر پیدا و کمتر خزش می‌شود. صفحاتی هم که چند کلیک با صفحه اصلی فاصله دارند، کمتر دیده می‌شوند. نسخه‌های تکراری یک محتوا (محتوای تکراری) هم بودجه را بین چند URL تقسیم می‌کنند؛ آن‌ها را با تگ کنونیکال یا ریدایرکت یکی کنید.

جمع‌بندی

بودجه خزش سایت در واقع تعداد صفحاتی است که گوگل در یک بازه زمانی از سایت خزش می‌کند. ازآنجاکه برای فعالیت‌های سئو سایت نیاز داریم صفحات زودتر خزش شده و در ایندکس گوگل قرار گیرند، بالا بردن بودجه خزش اهمیت پیدا می‌کند. بعد از آنالیز سایت و با استفاده از برخی اقدامات مثل کاهش خطاهای سایت، مسدود کردن صفحات غیرضروری، کاهش زنجیره ریدایرکت‌ها و لینک‌سازی داخلی و خارجی می‌توانید بودجه خزش سایت خود را افزایش دهید.


بیشتر بخوانید : انتقال دامنه سایت