تگ نو ایندکس (noindex) همان طور که از نامش پیداست، برای ایندکس نشدن صفحات وب استفاده می‌شود. اما چرا باید بخواهیم برخی از صفحات سایتمان در صفحه نتایج جستجو ایندکس نشوند و چگونه می‌توان این کار را انجام داد؟ این‌ها سؤالاتی است که در این مطلب به آن پرداخته‌ایم.
نو ایندکس noindex به چه معناست؟
همان طور که می‌دانید، برای اینکه یک صفحه وب در صفحه نتایج موتورهای جستجو ظاهر شود، ابتدا باید توسط اسپایدرها یا همان ربات‌های موتور جستجو ایندکس شود.
در واقع وقتی ما کلیدواژه‌ای را در گوگل جستجو می‌کنیم، گوگل در میان صفحات ایندکس شده خود به دنبال آن می‌گردد. صفحاتی که اسپایدرهایش قبلاً آن را خزیده‌اند.
نو ایندکس دستوری است برای خزنده‌ها که به آن‌ها دستور می‌دهد یک یا چند صفحه مشخص از سایت را ایندکس نکنند.
این دستورالعمل اغلب به صورت یک متا تگ به کد منبع HTML صفحه وب اضافه می‌شود. البته روش‌های متنوعی برای no index کردن یک صفحه وب وجود دارد که در ادامه به آن‌ها خواهیم پرداخت.
کاربرد تگ noindex در سئو
دلایل متعددی می‌تواند باعث شود متخصصان سئو از تگ noindex استفاده کنند یا به عبارتی از موتورهای جستجو بخواهند صفحه‌ای را ایندکس نکنند.
- محتوای تکراری
معمول‌ترین دلیل، جلوگیری از بروز خطای duplicate content یا محتوای تکراری است. وقتی بیش از یک نسخه از یک صفحه توسط موتورهای جستجو ایندکس شود (مثلاً نسخه قابل پرینت صفحه هم ایندکس شود) باعث ایجاد محتوای تکراری در سایت شده که در نتیجه آن، صفحه مذکور با افت رتبه مواجه خواهد شد.
البته دلایل دیگری نیز برای عدم تمایل وبمستران به ایندکس شدن صفحات وب وجود دارد که از آن جمله می وان به موارد زیر اشاره کرد:
- محتوای ضعیف
بعضی صفحات وب هیچ سودی برای ایندکس شدن ندارند. این صفحات اطلاعات مفیدی برای کاربران به همراه نداشته و اصولاً کلیدواژه خاصی نیز ندارند. مثل صفحه «تشکر» که بعد از خرید یا دانلود نمایش داده می‌شود. هدف از طراحی این نوع صفحات صرفاً برقراری ارتباط دوستانه با کاربران و بازدیدکنندگان سایت است، نه کسب رتبه.
ایندکس شدن این صفحات، به دلیل محتوای غیرمفید و سطحی باعث افت رتبه کلی سایت خواهد شد.
تفاوت no index و disallow
دستور دیگری تقریباً مشابه دستور نو ایندکس وجود دارد با عنوان Disallow. اما تفاوت اینجاست که با دستور disallow به خزنده‌ها می‌گویید «صفحه مورد نظر را نخزند و اطلاعات آن را نخوانند». این در حالی است که با دستور no index به خزنده‌ها اجازه خزیدن صفحه داده می‌شود؛ اما از آن‌ها می‌خواهیم که «اطلاعات صفحه را در فهرست نتایج گوگل نشان ندهند یا به عبارت دیگر آن را ایندکس نکنند».
نحوه استفاده از تگ noindex
همان طور که گفته شد، روش‌های مختلفی وجود دارد برای اینکه به خزنده‌های موتورهای جستجو بگوییم صفحه یا صفحات مشخصی از سایتمان را ایندکس نکرده و آن را در صفحه نتایج موتورهای جستجو نشان ندهند. ساده‌ترین و مؤثرترین این روش‌ها استفاده از تگ noindex است.
این تگ به موتورهای جستجو می‌گوید که می‌توانند صفحه را بخزند (crawl کنند) اما نباید محتوای آن را در صفحه نتایج جستجو (SERP) نمایش دهند.
برای این منظور باید یک برچسب در بخش «HEAD» HTML یا در هدرهای response اضافه کنید. برای دیدن اطلاعات سایت توسط موتورهای جستجو، این صفحه نباید در فایل robots.txt مسدود شده باشد (disallowed شده باشد).
اگر این صفحه از طریق پرونده robots.txt مسدود شده باشد، گوگل هرگز برچسب noindex را نمی‌بیند و ممکن است صفحه همچنان در نتایج جستجو ظاهر شود. برای اینکه به موتورهای جستجو بگویید صفحه شما را ایندکس نکنند، فقط موارد زیر را به بخش <head/> اضافه کنید:
<meta name=”robots” content=”noindex, follow”>
تفاوت تگ نو ایندکس و نوفالو
تگ نو ایندکس کل یک صفحه را از حضور در صفحات نتایج جستجو منع می‌کند؛ در حالی که تگ نوفالو فقط برای لینک‌های موجود در یک صفحه به کار می‌رود و به موتورهای جستجو می‌گوید «با اینکه من در این صفحه یک لینک گذاشته‌ام، اما مورد تأیید من نیست. آن را فالو نکن و امتیاز صفحه‌ام را تحت تأثیر آن قرار نده». علاوه بر این، وقتی از تگ نوفالو استفاده کنید، امتیاز صفحه شما نیز به صفحه مقصد منتقل نخواهد شد.
جلوگیری از ایندکس شدن صفحه با استفاده از متا تگ robots
یکی دیگر از روش‌های noindex کردن صفحات، استفاده از متاتگ robots در صفحاتی است که نمی‌خواهید ایندکس شوند.
برای این منظور کد زیر را در HTML تمام صفحاتی که نباید ایندکس شوند اضافه کنید:
<meta name="robots" content="noindex >
تفاوت متا تگ robots و تگ x-robots
خیلی مهم است که متا تگ robots را با تگ x-robots اشتباه نگیرید. چراکه تگ x-robots کل سایت را نو ایندکس می‌کند و در نتیجه آن کل سایت شما از صفحات نتایج گوگل (SERP) محو خواهد شد.
اگر برچسب X-Robots را به شکل X-Robots-Tag: “noindex” در هدر HTTP استفاده کنید، این اتفاق خواهد افتاد.
استفاده از تگ noindex در فایل robots.txt
فایل robots.txt نوعی فایل متنی حاوی نقشه سایت و یک سری دستورات برای خزنده‌ها است. وقتی خزنده‌ها به یک سایت می‌رسند، ابتدا این فایل را چک کرده و بر اساس مقررات آن عمل می‌کنند.
شما می‌توانید با قرار دادن دستور نو ایندکس در فایل robots.txt صفحاتی که نباید ایندکس شوند را به اطلاع خزنده‌ها برسانید.
مزیت استفاده از فایل robots.txt این است که به وسیله آن می‌توانید علاوه بر ممنوع کردن یک صفحه از ایندکس شدن، یک دایرکتوری کامل، یک تصویر یا فایل را به حالت نو ایندکس دربیاورید.
کافی است در این فایل دستور no index را نوشته و سپس آن را در گوگل کنسول ثبت کنید. در زیر یک نمونه دستور نو ایندکس را مشاهده می‌کنید:
Noindex: /robots-txt-noindexed-page/
مشکل استفاده از فایل robots.txt برای نو ایندکس کردن صفحات این است که گوگل اعلام کرده الزامی برای استفاده از این فایل برای خود نمی‌بیند. بنابراین ممکن است با اینکه ایندکس شدن صفحه‌ای را در این فایل ممنوع اعلام کنید، خزنده‌های گوگل بی‌توجه به دستور، آن صفحه را در فهرست نتایج نمایش دهند.
جمع بندی
با اینکه همواره هدف ما از تولید محتوا و ایجاد صفحات وب، دیده شدن در صفحه نتایج جستجوی گوگل و سایر موتورهای جستجو است، گاهی به دلایلی که اکثر آن‌ها به سئو سایت و کسب رتبه بهتر برمی‌گردد ترجیح می‌دهیم صفحات بی‌ارزش یا تکراری سایتمان در جستجوهای کاربران نمایش داده نشود. به این منظور روش‌های مختلفی پیش پای شما وبمستران قرار دارد که در این مطلب به آن‌ها پرداخته شد.
از میان سه روش نام برده شده، متاتگ robots و تگ نو ایندکس مناسب‌تر بوده و به هدف ما از noindexing نزدیک‌ترند.
شما می توانید با عضویت رایگان در جت سئو از امکانات خوب این ابزار ایرانی تحلیل سایت بهره مند شوید و به صورت کاملا رایگان مشکلات سئو سایت خود را با جت سئو بررسی کنید!
