یکی از بزرگ‌ترین مشکلاتی که مدیران وب‌سایت‌ها از نظر سئوی وب‌سایتشان با آن دست و پنجه نرم می‌کنند محتوای تکراری یا Duplicate Content است که بعضاً در اثر ناآگاهی مدیران سایت‌ها با الگوبرداری از سایت‌های مشابه ایجاد می‌شود. در بیشتر اوقات به صورت ناخواسته و حتی بدون اطلاع مدیران وب‌سایت‌ها در سایتشان محتوای تکراری وجود دارد.
قبلا در مقاله "تولید محتوا چیست" کلیاتی را در مورد نحوه رعایت اصول سئو در تولید محتوا شرح داده ایم. در این مقاله نیز توضیح خواهیم داد که چطور محتوای تکراری را در سایت خود شناسایی و رفع کنیم.

محتوای تکراری یا Duplicate Content چیست؟

به محتوایی یکسانی که در دو صفحه مختلف با دو URL متفاوت ظاهر می‌شوند، محتوای تکراری یا Duplicate Content می‌گویند.
محتوای تکراری مشمول پنالتی گوگل نمی‌شود، اما از آنجا که موتورهای جستجو در نشان دادن نتایج دچار سردرگمی شده و نمی‌دانند هنگام جستجوی کلیدواژه، کدام صفحه را باید نمایش دهند ممکن است صفحه‌ای غیر از صفحه موردنظر شما در نتایج نمایش داده شود یا اعتبار صفحه بین چند آدرس تقسیم شود.

انواع محتوای تکراری

نوع توضیح مثال
محتوای تکراری داخلی یک محتوا در چند آدرس از همان سایت در دسترس است. نسخه با www و بدون www، صفحه محصول با پارامترهای رنگ و سایز
محتوای تکراری خارجی محتوای شما در سایت دیگری (یا محتوای دیگران در سایت شما) منتشر شده است. کپی مطلب توسط سایت دیگر، توضیحات محصول تولیدکننده که در ده‌ها فروشگاه تکرار شده
محتوای تقریبا تکراری (Near Duplicate) صفحات فقط در چند کلمه با هم فرق دارند. صفحات خدمات شهرهای مختلف با متن یکسان و فقط نام شهر متفاوت

محتوای تکراری چگونه به وجود می‌آید؟

گذشته از نویسندگان و تولیدکنندگان محتوایی که با بی‌دقتی مطلبی از سایت‌های دیگر را کپی می‌کنند؛ گاهی یک وب‌سایت برای تبلیغ مطالب خود، بخشی از محتوای موجود در سایت خود را در فروم‌ها و وبلاگ‌های دیگر، بدون تغییر، بازنشر می‌دهد که باعث ایجاد Duplicate Content خواهد شد.
اما در بسیاری از مواقع افراد نمی‌خواهند محتوای تکراری تولید کنند و به طور کاملاً ناخواسته این محتوا به وجود می‌آید. موارد زیر علل عمده تولید محتوای تکراری است:

علت ایجاد محتوای تکراری راه حل پیشنهادی
اگر چندین دامنه متفاوت برای یک سایت وجود داشته باشد و آن‌ها را روی یک هاست پارک کنیم، محتوای تکراری بوجود می‌آید. معمولاً صاحبان کسب‌وکار برای این‌که کسی دامنه‌های مشابه آن‌ها را ثبت نکند، چندین دامنه خریداری می‌کنند. مثلاً پسوندهای ir ،com و org برای یک دامنه خریداری شده و بر روی هاست پارک می‌شوند، در نظر داشته باشید که برای برطرف کردن چنین مشکلی حتما باید همه دامنه‌ها و حالت‌های مختلف لود شدن آنها (با www و بدون آن یا https و http) به یک حالت واحد ریدایرکت 301 شوند. ریدایرکت 301 همه دامنه‌ها به دامنه اصلی
محتوای یکسان با پارامترهای مختلف یک URL داشته باشند. مثلاً محصولات یک فروشگاه آنلاین توسط پارامترهای مختلف تقسیم‌بندی شود ولی در نهایت همه آن‌ها نتیجه‌ای یکسان را نمایش دهد. این مشکل در URL های سایت باعث می‌شود که گوگل آدرس‌های متفاوت را با محتوای یکسان مشاهده کند. تگ کنونیکال به نسخه اصلی صفحه و لینک داخلی به آدرس بدون پارامتر
محتوای یک سایت با www و بدون آن در سرچ گوگل قابل دسترس باشد. ریدایرکت 301 به یک نسخه واحد (با www یا بدون آن)
یک وب‌سایت هم‌زمان با HTTP و HTTPS در دسترس باشد. ریدایرکت 301 همه آدرس‌های HTTP به HTTPS (آموزش ریدایرکت http به https)
پیج صفحه اصلی با «index.html» و بدون آن در یو آر آل قابل دسترسی باشد. ریدایرکت 301 آدرس دارای index.html به آدرس اصلی
Session ID های موجود در یو آر آل که برای ردیابی رفتار کاربر استفاده می‌شوند. حذف Session ID از آدرس و ذخیره آن در کوکی، یا تگ کنونیکال
تغییر دامین و استفاده از محتوای دامین قبلی در دامین جدید ریدایرکت 301 صفحه به صفحه از دامنه قدیم به جدید و ثبت تغییر آدرس (Change of Address) در سرچ کنسول
صفحات قابل پرینت برای هر صفحه به صورت جداگانه وجود داشته باشد، برای برطرف کردن این مشکل باید صفحاتی که نسخه قابل پرینت هستند را با تگ کنونیکال به صفحه اصلی متصل کنیم و به گوگل بگوییم که نسخه اصلی صفحات قابل چاپ صفحه دیگری است. تگ کنونیکال از نسخه چاپی به صفحه اصلی
نسخه‌های مختلف زبان برای یک وب‌سایت واحد تگ hreflang بین نسخه‌های زبانی
نسخه سازگار با موبایل و تبلت با URL متفاوت برای محتوای یکسان صفحات سایت در نسخه موبایل جداگانه، تگ کنونیکال به نسخه دسکتاپ؛ طراحی واکنش‌گرا این مشکل را از اساس حذف می‌کند

چگونه محتوای تکراری را پیدا کنیم؟

  1. در سرچ کنسول وارد گزارش Pages (بخش Indexing) شوید و دلایل ایندکس نشدن صفحات را بررسی کنید. وضعیت‌های مربوط به محتوای تکراری در جدول زیر آمده است.
  2. با ابزار URL Inspection در سرچ کنسول یک آدرس را بررسی کنید تا ببینید کنونیکال انتخاب‌شده توسط شما و گوگل یکی است یا نه.
  3. یک جمله خاص از متن صفحه را داخل گیومه (" ") در گوگل جستجو کنید تا صفحات دیگر سایت خودتان یا سایت‌هایی که متن را کپی کرده‌اند پیدا شوند. با عملگر site: هم می‌توانید جستجو را به سایت خودتان محدود کنید.
  4. عنوان‌ها و توضیحات متا تکراری، تگ‌های کنونیکال و ریدایرکت‌ها را با تحلیل فنی و محتوایی جت سئو بررسی کنید تا صفحات مشابه در کل سایت یکجا مشخص شوند.
  5. برای پیدا کردن کپی متن در سایت‌های دیگر، از ابزارهای تشخیص کپی مثل Copyscape هم می‌توانید کمک بگیرید.
وضعیت در سرچ کنسول معنی
Duplicate without user-selected canonical گوگل صفحه را تکراری تشخیص داده و چون کنونیکالی تعیین نشده، آدرس دیگری را نسخه اصلی گرفته است.
Duplicate, Google chose different canonical than user شما صفحه را کنونیکال معرفی کرده‌اید، اما گوگل آدرس دیگری را مناسب‌تر دانسته و آن را ایندکس کرده است.
Alternate page with proper canonical tag این صفحه نسخه جایگزین صفحه دیگری است و به‌درستی به نسخه اصلی ارجاع می‌دهد؛ معمولا نیاز به اقدام ندارد.
Page with redirect این آدرس به صفحه دیگری ریدایرکت می‌شود و خودش ایندکس نمی‌شود.

دقت کنید که تگ کنونیکال برای گوگل یک پیشنهاد است، نه دستور قطعی. گوگل علاوه بر این تگ، ریدایرکت‌ها، حضور آدرس در نقشه سایت، HTTPS بودن و لینک‌های داخلی را هم در نظر می‌گیرد. پس همه این سیگنال‌ها باید به یک آدرس واحد اشاره کنند.

چگونه می‌توان مشکل محتوای تکراری را برطرف کرد؟

رفع محتوای تکراری

برای تمام مواردی که در بخش پیشین گفته شد، راه حلی وجود دارد که با کمی دقت می‌توان جلوی بروز محتوای تکراری در سایت را گرفت. در ادامه با برخی از آن‌ها آشنا خواهید شد. اینکه استفاده از کدام روش بر دیگری برتری دارد باید در موارد خاص تصمیم‌گیری شود.

ریدایرکت 301

ریدایرکت 301 پیامی حاوی «محتوای این صفحه برای همیشه منتقل شده است به صفحه ...» به موتورهای جستجو ارسال می‌کند و در نتیجه خزنده‌های گوگل و سایر موتورهای جستجو وقتی به صفحه‌ای با ریدایرکت 301 می‌رسند متوجه می‌شوند که به جای این صفحه باید صفحه مقصد را بخزند و آن را ایندکس نمایند.
از این راه حل معمولاً برای http به https استفاده می‌شود. برای جزئیات اجرا، مطلب ریدایرکت 301 را ببینید.

استفاده از تگ "Rel=Canonical"

راه دیگر برای حل مشکل محتوای تکراری، استفاده از تگ "Rel=Canonical" است. این تگی است که برای مراجعه به منبع اصلی محتوای صفحه در سورس کد یک وب‌سایت درج می‌شود. به این ترتیب، شما به موتورهای جستجو مانند Google می‌گویید که کدام URL ترجیح داده شده است و باید در نتایج جستجو ظاهر شود.

استفاده از کد follow,noindex

با استفاده از تگ noindex به همراه follow، به خزنده‌های گوگل می‌گویید که این صفحه نباید ایندکس شود، اما لینک‌های داخل آن دنبال شوند. ربات‌های گوگل می‌توانند صفحه را بخزند اما آن را ایندکس نمی‌کنند؛ به عبارت دیگر آن را در صفحه نتایج جستجو نمایش نمی‌دهند. این روش برای صفحاتی مثل نتایج جستجوی داخلی سایت یا فیلترهای کم‌ارزش مناسب است.

تأثیر محتوای تکراری بر سئو سایت

داشتن مقداری محتوای تکراری در یک سایت طبیعی است و گوگل در راهنمای رسمی کنونیکال صریحا می‌گوید: «it's not a violation of Google's spam policies» یعنی «این کار نقض سیاست‌های اسپم گوگل نیست». پس محتوای تکراری به‌خودی‌خود جریمه ندارد. مشکل این است که گوگل از بین صفحات مشابه فقط یکی را به‌عنوان نسخه اصلی (Canonical) انتخاب می‌کند و بقیه را کمتر می‌خزد و در نتایج نشان نمی‌دهد. اگر این انتخاب با خواست شما یکی نباشد، صفحه موردنظرتان رتبه نمی‌گیرد. البته کپی گسترده محتوای سایت‌های دیگر بدون افزودن ارزش، با هدف فریب موتور جستجو، موضوع دیگری است و می‌تواند به پنالتی سایت منجر شود. داشتن محتوای غیرتکراری و با کیفیت یکی از فاکتورهای مهم برای سئو از دید گوگل است.

محتوا از یونیک بودن خارج می‌شود

اگر محتوایی تکراری در وب‌سایت خود داشته باشید گوگل آن‌ها را اصطلاحاً منحصر به فرد یا «Unique» نمی‌داند.

کدام صفحه باید رتبه بگیرد؟

اگر خزنده‌های گوگل صفحات مختلف با محتوایی همسان ببینند، نمی‌دانند که کدام یک از صفحات یکسان را باید به عنوان نتیجه جست‌وجو نشان دهند. نتیجه این خواهد شد که رتبه بین صفحات متعدد تقسیم خواهد شد یا گوگل صفحه‌ای را در نتایج جست‌وجو نمایش می‌دهد که برای استراتژی سئوی شما مخرب باشد (مورد نظر شما نباشد).

امتیاز بک لینک‌ها پخش می‌شود

قضیه تنها به همین‌جا ختم نمی‌شود. محتوای تکراری در رابطه با بک لینک‌ها نیز مسئله‌ساز می‌شود. وقتی سایت‌های دیگر بخواهند به محتوای سایت شما بک لینک بدهند، نمی‌دانند کدام URL اصلی است. به این ترتیب به جای اینکه امتیاز بک لینک‌ها همه به یک URL خاص برسد و رتبه آن صفحه را بالا ببرد، بین آدرس‌های مختلف پخش خواهد شد.

محتوای تکراری

تفاوت محتوای تکراری و کنیبالیزیشن

در محتوای تکراری، متن چند صفحه یکسان یا بسیار شبیه است. اما در کنیبالیزیشن ممکن است متن صفحات کاملا متفاوت باشد، ولی همه برای یک کلمه کلیدی و یک نیت جستجو رقابت می‌کنند. راه حل محتوای تکراری بیشتر فنی است (ریدایرکت، کنونیکال، noindex)، اما برای کنیبالیزیشن معمولا باید صفحات را ادغام کنید یا موضوع هر صفحه را از هم جدا کنید.

چه زمانی استفاده از محتوای تکراری مجاز است؟

البته باید توجه داشت که همیشه هم محتوای تکراری ممنوع نیست و گاهی استفاده از آن اجتناب‌ناپذیر است. در این راستا توجه شما را به مثال‌های زیر جلب می‌کنم:

سایت‌های چندزبانه

اگر بخواهید یک نسخه از سایت خود را به زبان دیگری طراحی کنید و گوگل متوجه بشود که این ورژن از وب‌سایت شما برای کشورهای دیگر طراحی شده است به عنوان مثال بر اساس ویژگی hreflang آن را تنظیم کنید، محتوای شما از نظر گوگل تکراری محسوب نمی‌شود، بلکه ترجمه‌ای برای مردم دیگر کشورهاست. در واقع شما می‌توانید برای یک محتوای یکسان به زبان‌های مختلف، صفحات مختلفی داشته باشید.

توضیح قوانین

وقتی بخواهید قوانین را در یک محتوا توضیح دهید، نمی‌توانید آن‌ها را تغییر دهید. بنابراین مجبورید قوانین را به همان صورت که هستند بدون تغییر ذکر کنید. قوانین در سایت‌های مختلف با همان جملات و کلمات یکسان بیان می‌شوند و محتوای تکراری ایجاد خواهد شد.

ذکر منبع

فرض کنید محتوایی را از یک سایت خارجی ترجمه کرده و در سایت خودتان منتشر می‌کنید. چون زبان محتوا تغییر کرده، از نظر گوگل محتوای تکراری محسوب نمی‌شود. با این حال ذکر منبع و لینک به مطلب اصلی، هم از نظر اخلاقی و هم برای اعتماد خواننده لازم است. اگر بخشی از متن سایت دیگری را به همان زبان نقل می‌کنید، آن را کوتاه نگه دارید، منبع را ذکر کنید و تحلیل و اطلاعات خودتان را هم اضافه کنید.

چه زمانی محتوای تکراری مخرب است؟

در سایر موارد غیر از آنچه گفته شد، محتوای تکراری برای سایت مخرب خواهد بود و باید با راه‌حل‌های بیان‌شده رفع شود. نمونه‌های رایج آن کپی کامل مطالب سایت‌های دیگر، صفحات متعدد با متن یکسان که فقط نام شهر یا محصول در آن‌ها عوض شده و استفاده از توضیحات آماده تولیدکننده برای همه محصولات فروشگاه است. برای متن‌های تقریبا تکراری می‌توانید از بازنویسی محتوا در جت سئو کمک بگیرید و بعد اطلاعات اختصاصی و تجربه خودتان را به متن اضافه کنید.

جمع‌بندی

همان طور که مشاهده کردید، بسیاری از ما ممکن است با تغییر دامنه، با خرید گواهی SSL، با درج محتوای ترجمه شده از سایت‌های خارجی و بسیاری اقدامات به ظاهر ساده و قانونی باعث ایجاد محتوای تکراری در وب‌سایتمان ‌شویم. با بالا بردن آگاهیمان نسبت به انواع محتوای تکراری، نحوه به وجود آمدن آن‌ها و برطرف کردنشان به بهبود رتبه وب‌سایتمان کمک کنیم. آیا شما هم انواع دیگری از محتوای تکراری یا روش‌های دیگری برای رفع آن می‌شناسید؟ آن را با ما در میان بگذارید.

اگر به دنبال اطلاع از ایرادات سئو در سایت خود هستید پیشنهاد می کنیم که ابزار آنالیز سئو سایت جت سئو را امتحان کنید. این ابزار یک اکستنشن سئو نیز دارد که امکانات مختلفی را در اختیار شما قرار می دهد. همچنین اگر می خواهید رتبه سایت خود را بین رقبا بدانید کافی است به صفحه مربوطه در جت سئو مراجعه کنید.

مقالات مرتبط :

تایتل چیست؟