از خزیدن جایی که با robots.txt نیازی نیست خودداری کنید یک فایل “robots.txt” به موتورهای جست و جو می گوید که آیا آن ها می توانند دستیابی داشته باشند و بنابراین در میان قسمت های سایت شما بخزند.

(۱)این فایل که باید “robots.txt” نام گذاری شود، در فهرست اصلی سایت شما جاگذاری می شود .

(۲)ممکن است شما نخواهید قسمت مشخصی از سایتتان خزیده شود، به این خاطر که ممکن است آن قسمت ها برای کاربران زمانی که در نتایج جست و جویشان می بینند مفید نباشند.

 اگر واقعا می خواهید از این که موتورهای جست و جو در صفحات شما بخزند جلوگیری کنید، ابزار سازندگان سایت گوگل یک robots.txt generator خوشایند دارد که به شما کمک می کند تا این فایل ها را ایجاد کنید. توجه کنید اگر سایت شما از زیر دامنه ها استفاده می کند و شما می خواهید که صفحات شخصی خزیده نشده روی یک زیر دامنه ی خاص داشته باشید، شما مجبور خواهید شد یک فایل “robots.txt” جداگانه برای آن زیر دامنه ایجاد کنید. برای اطلاعات بیش تر از robots.txt، ما این راهنمای مرکز کمک سازندگان وب را پیشنهاد می کنیم using robots.txt files.

راه های کم دیگری هم وجود دارند تا از ظاهر شدن متن در نتایج جست و جو جلوگیری کنید مثل اضافه کردن “NOINDEX” به robots meta tag تان، استفاده از .htaccess برای پسورد فهرست های حفاظت، و ز ابزار سازندگان وب گوگل تا متنی که در حال حاضر خزیده شده را از بین ببرید. از متدهای مطمئن تری برای متن های حساس استفاده کنید شما نباید حس خوبی (راحتی) از استفاده از robos.txt برای مسدود کردن موضوعات سری یا حساس داشته باشید. 

یکی از دلایلش این است که موتورهای جست و جو هنوز می توانند URLهایی که شما مسدود کردید را ارجاع بدهند (نشان دادن تنها URL، نه عنوان و نه تکه ی توضیحی) اگر آنجا لینک شود به آن URLها، جایی در اینترنت(like referrer logs).

همچنین موتورهای جست و جویی که ب صورت سرکش استفاده نمی کنند (مخرب) و Robots Exclution Standard را تأیید نمی کنند می توانند از دستورالعمل های robots.txt شما سرپیچی کنند. در آخر، یک کاربر کنجکاو می تواند فهرست ها و زیر فهرست ها را در فایل robots.txt شما کشف کند و URL متنی که شما نمی خواهید دیده شود را حدس بزند.

رمزگذاری یا حفاظت پسوردی متن با .htaccess انتخاب های مطمئن تری هستند.

اجتناب ها: 

• اجازه دادن ؟ – کاربران ترک کردن یک صفحه ی نتیجه ی جست و جو و آمدن روی صفحه ی نتیجه ی دیگر که مقدار قابل توجهی برای آن ها استفاده نمی کند را دوست ندارند.

• اجازه دادن این که URLها به عنوان نتایج سایت هایی که رمز عبور نیاز دارند تا بتوان داخلشان خزید، ایجاد شوند.