فایل robots.txt یک فایل متنی در ریشه سایت است که به خزنده‌ها می‌گوید کدام URLها را بررسی کنند و کدام را نه. این فایل بیشتر برای مدیریت خزش و کم کردن فشار ربات‌ها روی سرور کاربرد دارد. ابزار امنیتی نیست و صفحه را از نتایج گوگل حذف نمی‌کند؛ برای این کار باید از noindex یا رمز عبور استفاده کنید.

به عنوان یک سئوکار قطعا تا کنون نام فایل robots.txt را شنیده اید و با آن کار کرده اید. اما اگر هنوز به صورت دقیق و علمی نمی دانید robots.txt چیست؟ و نحوه ی ساخت آن در سایت های وردپرسی و غیر وردپرسی چگونه است با جت سئو همراه شوید. در این مقاله قصد داریم به کاربرد فایل robots.txt و نحوه ساخت آن و همچنین دستورات مهم و کاربردی موجود در این سایت بپردازیم.

همان طور که از نام robots.txt برمی‌آید، این فایل برای ربات‌ها ساخته می‌شود و سطح دسترسی ربات‌ها به فایل‌های موجود در هاست را تعیین و محدود می‌کند. البته رعایت این فایل به خود ربات بستگی دارد. موتورهای جستجوی معتبر آن را می‌خوانند، اما ربات‌های مخرب می‌توانند نادیده‌اش بگیرند.

در واقع ربات‌ها چند نوع‌اند:

  • انواعی از آن برای موتورهای جستجو کار می‌کنند. کار این ربات‌ها (که به آن‌ها خزنده یا اسپایدر هم می‌گویند) این است که صفحات سایت را بررسی کنند و تغییرات آن را به اطلاع موتورهای جستجو برسانند. صفحاتی که توسط ربات‌ها بررسی می‌شوند در موتورهای جستجو به نمایش درخواهند آمد.
  • انواع دیگری ربات نیز در فضای وب وجود دارند که با قصد خراب‌کاری در سایت‌های دیگر به وجود آمده‌اند. این ربات‌ها نباید به فایل‌های محرمانه شما دسترسی پیدا کنند. در غیر این صورت می‌توانند به سایتتان صدمات جدی وارد نمایند.

کاربرد فایل robots.txt در سئو

همان‌طور که گفته شد، ربات‌های موتورهای جستجو به‌ طور پیش‌ فرض تمام صفحات و فایل‌های وبسایت شما را می‌خزند و اطلاعات آن را در اختیار موتورهای جستجو قرار می‌دهند. موتورهای جستجو نیز اطلاعات به‌ دست‌ آمده را در صفحات نتایج سرچ (SERP) نمایش می‌دهند. خب این چیز خوبی است؛ پس چرا باید برخی فایل‌ها و صفحات سایتمان را از دید ربات‌های گوگل و سایر موتورهای جستجو مخفی نگه‌داریم؟

robots.txt ابزار امنیتی نیست

تصور رایج این است که robots.txt از اطلاعات سایت محافظت می‌کند، اما این فایل عمومی است و هر کسی می‌تواند با باز کردن آدرس آن، مسیرهای ذکرشده را ببیند. پس نوشتن آدرس فایل محرمانه در robots.txt حتی ممکن است جای آن را لو بدهد. برای محافظت از اطلاعات، دسترسی را در سرور ببندید یا برای صفحه رمز عبور بگذارید.

مدیریت خزش و بودجه خزش

robots.txt به‌طور مستقیم رتبه سایت را بالا نمی‌برد. فایده سئویی آن این است که خزنده وقتش را روی URLهای کم‌ارزش مثل نتایج جستجوی داخلی، فیلترها و سبد خرید نگذارد. این موضوع بیشتر در سایت‌های بزرگ مهم است و در مقاله بودجه خزش توضیح داده شده است.

جلوگیری از خزش صفحات خاص

ممکن است صفحاتی را روی سایت خود ایجاد کرده باشید که فقط برای افراد خاصی کاربرد داشته باشد؛ مثلاً فرض کنید یک صفحه مخصوص عقد قرارداد با کسانی که قصد همکاری با شما را دارند ایجاد کرده‌اید و نمی‌خواهید این صفحه در نتایج جستجوی گوگل نمایش داده شود.

در این صورت می‌توانید مسیر این صفحه را در robots.txt بنویسید تا خزیده نشود، ولی این کار تضمین نمی‌کند که صفحه در نتایج نیاید. گوگل درباره robots.txt می‌گوید: «it is not a mechanism for keeping a web page out of Google» یعنی این فایل روشی برای بیرون نگه داشتن صفحه از گوگل نیست. اگر از جای دیگری به آن صفحه لینک داده شده باشد، آدرس آن می‌تواند بدون توضیحات در نتایج ظاهر شود. برای حذف از نتایج از تگ noindex یا رمز عبور استفاده کنید.

کاهش فشار ربات‌ها روی سرور

البته این مسئله فقط برای وبسایت‌هایی که روزانه کاربرهای خیلی زیادی دارند صادق است. فرض کنید وبسایت شما در روز هزاران بازدید داشته باشد. در کنار آن، هزاران ربات نیز هر روز سایت را می‌خزند و بررسی می‌کنند که این، خود باعث افت سرعت سایت خواهد شد. بنابراین مدیر سایت‌هایی که بازدید روزانه آن‌ها خیلی زیاد است، برای افزایش سرعت سایتشان، دسترسی ربات‌ها را به صفحاتی که برای سئو و رتبه سایت اهمیت زیادی ندارند محدود می‌کنند تا به این ترتیب فقط صفحات مهمشان توسط ربات‌ها بررسی‌شده و دچار افت سرعت نشوند. توجه داشته باشید که خزیدن ربات‌ها در سایت‌هایی که بازدید روزانه زیادی ندارند، تأثیر چندانی بر روی سرعت سایت ندارد. لذا این سایت‌ها نباید اقدام به محدود کردن دسترسی ربات گوگل با هدف افزایش سرعت سایتشان نمایند.

دستورات فایل robots.txt و کاربرد آن‌ها

بعد از اینکه فایل robots.txt را ساختیم (نحوه ساخت فایل robots.txt در ادامه آموزش داده شده است) باید دستورات لازم را در آن وارد کنیم. به عبارت دیگر باید مشخص کنیم که کدام ربات‌ها به چه فایل‌هایی اجازه دسترسی ندارند.

دستور user-agent

باید در اولین خطی که در فایل robots.txt می‌نویسیم مشخص کنیم که این دستور برای کدام ربات‌هاست.

در مقابل دستور user-agent: نام ربات نوشته می‌شود. مثلاً اگر شما قصد دارید دستور را برای ربات گوگل صادر کنید باید در فایل robots.txt دستور زیر را بنویسید:

User-agent: Googlebot

همچنین تعیین دستوری برای ربات‌هایی که تصاویر را برای گوگل رصد می‌کنند به صورت زیر است:

User-agent: Googlebot-image

چنانچه بخواهید دستوری برای کلیه ربات‌ها صادر کنید، باید در مقابل عبارت user-agent: علامت ستاره بگذارید. مانند زیر:

User-agent: *

دستور disallow

عبارت disallow به معنی اجازه ندادن است. بنابراین شما هر چیزی که در مقابل این دستور بنویسید، یعنی ربات‌ها اجازه دسترسی به آن را ندارند. بنابراین شما می‌توانید در مقابل این دستور نام فایل‌هایی را که قصد دارید برای ربات‌ها ببندید بنویسید.

مسدود کردن دسترسی ربات‌ها به یک پوشه یا فایل خاص

توجه داشته باشید که در هر دستور فقط نام یک فایل نوشته شود. به مثال زیر نگاه کنید:

User-agent: *
Disallow: /admin/
Disallow: /files/tutorial.mp4

در دستورات بالا، اجازه دسترسی به پوشه admin و فایل tutorial برای کلیه ربات‌ها مسدود شده است.

همان‌طور که مشاهده می‌کنید، در دستور خط سوم، مسیر دسترسی به فایل tutorial داده شده است. بنابراین چنانچه بخواهید اجازه دسترسی به فایل خاصی را مسدود کنید باید مسیر دسترسی به آن را در مقابل دستور disallow بنویسید. در انتهای مسیر نیز نام خود فایل به همراه فرمت آن نوشته می‌شود.

اما در خط دوم دسترسی به پوشه admin به همراه کلیه محتویات داخل پوشه مسدود شده است. هنگام محدود کردن دسترسی به محتویات یک پوشه، حتماً باید در انتهای نام پوشه یک اسلش دیگر بگذارید.

مسدود کردن دسترسی ربات ها به یک فرمت خاص

چنانچه بخواهید به ربات‌ها دستور بدهید که به یک فرمت مشخص از فایل‌ها دسترسی پیدا نکنند، باید دستور زیر را وارد کنید:

Disallow: /*.pdf$
Disallow: /*.gif$

در دو دستور بالا، دسترسی ربات‌ها به همه فایل‌هایی که با فرمت‌های gif و PDF نوشته‌شده‌اند، محدود شده است.

فرض کنید شما در سایت خود تعداد زیادی فایل pdf دارید؛ اما قصد ندارید دسترسی آن برای عموم آزاد باشد. بنابراین، این فایل‌ها نباید در نتایج سرچ گوگل نمایش داده شوند. در این حالت دستوری برای ربات‌های گوگل (یا همه ربات‌ها) می‌نویسید و به آن‌ها می‌گویید که به فایل‌های pdf شما کاری نداشته باشند.

مسدود کردن دسترسی ربات‌ها به یک صفحه خاص

برای اینکه دسترسی ربات‌ها به یک صفحه خاص را محدود کنید، آدرس آن صفحه را از آدرس دامنه اصلی به بعد در مقابل دستور disallow بنویسید.

برای مثال برای مسدود کردن دسترسی ربات‌ها به صفحه https://example.ir/blog/page1 به صورت زیر عمل نمایید:

Disallow: /blog/page1/

دستور  /:disallow

وقتی یک اسلش خالی در مقابل دستور :disallow بگذارید دسترسی به کل سایت را برای ربات‌ها غیر مجاز کرده‌اید. این دستور برای زمان‌هایی که قصد ایجاد تغییرات اساسی در سایتتان دارید یا زمان‌هایی که سایتتان دچار مشکل شده و از دسترس خارج شده است می‌تواند مناسب باشد. به این ترتیب گوگل و موتورهای جستجوگر در زمان‌هایی که سایت آماده استفاده نیست، آن را نمی‌خزند (crawl نمی‌کنند) و در دسترس کاربران قرار نمی‌دهند. به‌علاوه افت رتبه نیز پیدا نخواهید کرد.

البته بهتر است در کنار disallow کردن کل سایت، صفحات آن را noindex نیز بکنید؛ چراکه گاهی با وجود دستور disallow، برخی صفحات هم‌چنان در موتورهای جستجو ایندکس می‌شوند. اما با noindex کردن آن‌ها دیگر خیالتان راحت خواهد بود.


بیشتر بخوانید : noindex چیست؟


دستور allow

این دستور مشخص می‌کند که ربات مذکور، اجازه دسترسی به فایل مشخص‌شده را دارد. البته همان طور که گفته شد، به صورت پیش‌فرض، خزنده‌ها و ربات‌ها تمام فایل‌ها و صفحات سایت را بررسی می‌کنند، اما عده‌ای معتقدند برای تأکید بیشتر بر روی برخی صفحات یا فایل‌های خاص باید از دستور allow استفاده کرد.

دستور allow نیز مانند دستور disallow به کار می‌رود:

User-agent: googlebot
Allow: /files/project.docs

دستور sitemap

در فایل robots.txt می‌توانید نقشه سایت را برای ربات‌ها تعریف کنید تا به نقشه کل سایت دسترسی داشته باشند.

برای این منظور، دستور زیر را در فایل robots.txt وارد نمایید:

Sitemap: https://www.example.ir/sitemap_index.xml

بهتر است قبل و بعد از دستور sitemap یک خط خالی بگذارید تا از بروز خطا جلوگیری شود. در ضمن این دستور نیازی به user-agent ندارد.

دستور crawl-delay

با این کد دستوری به خزنده‌ها می‌گویید که بین بررسی هر صفحه از سایت شما، برای مدت‌ زمان مشخصی صبر کنند. برای مثال به دستور زیر توجه کنید:

Crawl-delay: 10

شما با این دستور به تمام ربات‌های خزنده (به جز ربات‌های گوگل – این دستور بر روی ربات‌های گوگل اثر ندارد) اعلام می‌کنید که بعد از بررسی و ایندکس کردن یک صفحه از سایتتان، 10 ثانیه صبر کنند و بعد از آن به بررسی صفحه بعدی بپردازند. دوباره 10 ثانیه تأمل و سپس صفحه بعدی. این کد برای کم شدن ترافیک سایتتان مناسب است و سرعت رفت‌ و آمد ربات‌ها به سایتتان را کاهش می‌دهد و در نتیجه سرعت سایتتان بهتر خواهد شد.

البته به این نکته هم توجه داشته باشید که با این کار، سرعت ایندکس شدن صفحات سایتتان پایین می‌آید. بنابراین چنانچه سایت خیلی بزرگی با تعداد زیادی صفحه دارید، تعداد صفحاتی که در روز ایندکس می‌شوند را نیز در نظر بگیرید تا بعداً دچار پشیمانی نشوید.

چه صفحاتی را از دید خزنده‌های گوگل مخفی کنیم؟

از آنجا که ما نمی‌خواهیم برخی صفحات مثل صفحه ورود به سایت در موتورهای جستجو به نمایش دربیاید باید با ساخت فایل robots.txt به موتورهای جستجو بگوییم که ربات‌های شما اجازه دسترسی به این صفحات یا فایل‌ها را ندارند. اما دقیقاً چه صفحاتی را باید از دید خزنده‌های گوگل مخفی کنیم؟ صفحاتی که نباید در نتایج جستجو به نمایش دربیایند. مثل:

فایل readme

فایل readme.html حاوی اطلاعات وردپرس شماست. اگر کسی به این اطلاعات دسترسی پیدا کند می‌تواند متوجه آپدیت نبودن نسخه وردپرس شما شده و با توجه به باگ‌هایی که برای آن شناسایی شده است به سایت شما حمله کند. بنابراین حتماً برای حفظ امنیت سایت خود، دسترسی به فایل readme.html را برای ربات‌ها محدود کنید:

User-agent: *
Disallow: /readme.html

پوشه افزونه‌ها را نبندید

در آموزش‌های قدیمی پیشنهاد می‌شد مسیر /wp-content/plugins/ در robots.txt بسته شود، اما این کار امنیتی ایجاد نمی‌کند و می‌تواند به سئو آسیب بزند. فایل‌های CSS و جاوا اسکریپت افزونه‌ها در همین مسیر هستند و گوگل برای رندر درست صفحه به آنها نیاز دارد. برای جلوگیری از حمله، افزونه‌ها را به‌روز نگه دارید.

صفحه ورود به وردپرس

اگر نمی‌خواهید ربات‌ها صفحه ورود را بخزند، می‌توانید آن را در robots.txt محدود کنید. برای disallow کردن صفحات wp-login.php و wp-admin به صورت زیر عمل کنید:

Disallow: /wp-login.php

فایل robots txt وردپرس

وردپرس اگر فایل واقعی در هاست پیدا نکند، خودش یک robots.txt مجازی می‌سازد. نمونه زیر برای بیشتر سایت‌های وردپرسی کافی است:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

نمونه فایل robots.txt

برای نوشتن دستورات allow و disallow لازم نیست هر بار یک user-agent تعریف کنیم. یک بار user-agent را تعریف کنید و در سطرهای بعدی دستورهای disallow (یا allow) را بنویسید.

چنانچه قصد دارید بعضی دستورات را برای ربات‌های خاصی بنویسید، می‌توانید دوباره یک user-agent دیگر نوشته و در سطرهای بعدی دستورات مخصوص به آن ربات را تعریف کنید.

در تصویر زیر می‌توانید یک نمونه فایل robots.txt را مشاهده کنید:

User-agent: *
Disallow: /readme.html

Sitemap: https://example.com/sitemap_index.xml
User-agent: googlebot-image
Disallow: /files/project.png

در دو سطر آخر مشاهده می‌کنید که دسترسی ربات جستجوگر تصاویر گوگل به تصویری با اسم project مسدود شده است. بنابراین تصویر مذکور در جستجوی تصاویر گوگل نمایش داده نمی‌شود.

مشاهده فایل robots.txt سایر سایت‌ها

شما هم‌چنین می‌توانید با اضافه کردن /robots.txt به انتهای آدرس هر سایتی، فایل رباتس آن سایت را مشاهده نمایید.

آموزش ساخت و تنظیم فایل robots.txt

فایل robots.txt در روت اصلی‌ هاست قرار می‌گیرد. قبل از اینکه اقدام به ساخت فایل robots.txt کنید، به انتهای آدرس سایتتان عبارت /robots.txt را اضافه کنید. چنانچه محتویات صحیحی مشاهده کردید یعنی این فایل قبلاً ساخته شده و شما فقط باید اطلاعات آن را طبق دلخواه خود تنظیم کنید. اما چنانچه با خطای 404 مواجه شدید یعنی این فایل ساخته نشده و باید آن را بسازید.

برای ساخت این فایل به کنترل پنل هاست خود بروید و طبق مراحل زیر عمل نمایید:

file manager یا مدیریت فایل را باز کنید.

آموزش ساخت و تنظیم فایل robots.txt

  1. سپس روی مسیر public_html کلیک نمایید.
  2. از بالای صفحه، گزینه +File یا new file را کلیک کنید و فایل robots.txt را در مسیر public_html بسازید.

آموزش ساخت فایل robots.txt

توجه داشته باشید که در ساخت این فایل، کوچکی و بزرگی حروف اهمیت دارند. بنابراین نام فایل را با حروف کوچک تایپ کنید. هم‌چنین در درج دستورات نیز، هنگام تایپ کردن نام فایل‌ها و پوشه‌ها، به کوچکی و بزرگی حروف نام آن‌ها توجه داشته باشید.

فایل ایجادشده را بر روی کامپیوتر خود ذخیره کنید.

آموزش تنظیم فایل robots.txt

  1. سپس آن را با برنامه notepad باز کرده و تغییرات لازم را بر روی آن ایجاد کنید.
  2. فایل مذکور را دوباره بر روی‌هاست خود آپلود و جایگزین فایل قبلی نمایید.

آموزش ساخت robots.txt در وردپرس

همچنین در پیشخوان وردپرس، از طریق افزونه یائوست نیز می‌توانید این فایل را ایجاد کنید.

به این منظور، بعد از نصب افزونه یائوست، در پیشخوان وردپرس، مراحل زیر را دنبال کنید:

  1. وارد قسمت سئو بشوید و روی گزینه ابزارها کلیک کنید. در صفحه‌ای که باز می‌شود بر روی دومین لینک با نام «ویرایشگر فایل» کلیک کنید.

آموزش ساخت robots.txt در وردپرس

  1. در صفحه جدیدی که باز می‌شود، روی ایجاد پرونده robots.txt کلیک کنید.
  2. تغییرات لازم را اعمال کرده و سپس بر روی ذخیره کلیک کنید.

تفاوت robots.txt و noindex

ویژگی robots.txt noindex
کار اصلی کنترل خزش کنترل ایندکس
محل قرارگیری یک فایل در ریشه سایت متا تگ یا هدر هر صفحه
حذف از نتایج تضمین نمی‌کند بعد از خزش مجدد انجام می‌شود

این دو را با هم روی یک صفحه به کار نبرید. اگر صفحه در robots.txt بسته باشد، گوگل آن را نمی‌خزد و تگ noindex را نمی‌بیند.

ربات‌های هوش مصنوعی در robots.txt

با همین فایل می‌توانید به خزنده‌های هوش مصنوعی هم دستور بدهید. برای مثال GPTBot خزنده OpenAI و ClaudeBot خزنده Anthropic است. گوگل هم توکن Google-Extended را برای کنترل استفاده از محتوا در آموزش مدل‌های Gemini دارد و طبق مستندات گوگل بستن آن روی حضور در جستجوی گوگل و رتبه اثر ندارد. مثال:

User-agent: GPTBot
Disallow: /

قبل از بستن این ربات‌ها فکر کنید که آیا می‌خواهید محتوایتان در پاسخ ابزارهای هوش مصنوعی دیده شود یا نه.

اشتباهات رایج در فایل robots.txt

  • قرار دادن Disallow: / روی سایت زنده بعد از انتقال از محیط تست.
  • بستن فایل‌های CSS و JS که گوگل برای رندر صفحه لازم دارد.
  • نوشتن نام فایل با حروف بزرگ یا قرار دادن آن در پوشه فرعی. فایل باید در ریشه و با نام robots.txt باشد.
  • فراموش کردن زیردامنه‌ها. هر زیردامنه فایل جداگانه خودش را می‌خواهد.
  • بزرگ شدن فایل. گوگل فقط تا ۵۰۰ کیلوبایت (KiB) را می‌خواند.

آموزش robots.txt در وردپرس

تست فایل robots.txt در سرچ کنسول

ابزار قدیمی robots.txt Tester دیگر استفاده نمی‌شود و برای بررسی فایل باید از گزارش robots.txt در سرچ کنسول کمک بگیرید. نیازی هم به معرفی دستی فایل به گوگل نیست، چون گوگل خودش آن را می‌خواند.

در سرچ کنسول به بخش Settings بروید و گزارش robots.txt را باز کنید. این گزارش نشان می‌دهد گوگل کدام فایل‌ها را پیدا کرده، آخرین بار چه زمانی آنها را خوانده و چه خطایی دارند. بعد از اصلاح فایل هم می‌توانید از همین‌جا درخواست خزش دوباره بدهید. برای بررسی یک آدرس خاص، از ابزار URL Inspection استفاده کنید.

گزارش سرچ کنسول فقط خود فایل را بررسی می‌کند. برای اینکه ببینید بعد از تغییر دستورات، صفحات مهم سایت دچار خطای فنی، ریدایرکت اشتباه یا مشکل کنونیکال نشده‌اند، از بخش تحلیل فنی و محتوایی جت سئو کمک بگیرید.

در این مطلب فایل robots.txt شما ساخته و تنظیم شد، سپس درستی فرایند را بررسی کردیم. اکنون ربات‌ها ابتدا فایل robots.txt شما را می‌خوانند و سپس طبق آن عمل می‌کنند. البته توجه داشته باشید که برخی ربات‌ها اهمیتی به این فایل نمی‌دهند و حتی صفحاتی که شما دسترسی به آن را مسدود اعلام کرده‌اید را بررسی می‌کنند.


بیشتر بخوانید : open graph چیست؟


برای آنالیز سایت پیشنهاد میکنیم از جت سئو و  افزونه جت سئو استفاده کنید. به کمک آن می توانید مشکلات فنی هر صفحه از سایت خود یا رقبا را به راحتی بیابید. همچنین برای مشاهده رتبه سایت خود بین رقبا هستید می توانید به صفحه مربوطه مراجعه کنید.