SEO به معنای بهینه‌سازی سایت برای موتورهای جستجو است و تعاریف زیادی از آن وجود دارد که تقریبا محتوای اصلی آنها یکسان است. به مجموعه اقداماتی که برای حضور در نتایج برتر موتورهای جستجو و دریافت ترافیک ارگانیک انجام می‌دهید سئو گفته می‌شود.
فایل robots.txt برای ربات‌ها ساخته می‌شود و سطح دسترسی ربات‌ها به فایل‌های موجود در هاست را محدود می‌کند. این کار برای جلوگیری از صدمه به سایت، افشا شدن فایل‌های محرمانه و ... ضروری است.
