آشنایی با فایل robots.txtReviewed by معین همراهی on Oct 1Rating:
فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر public_html و در بالاترین سطح)
از فایل robots.txt برای مواردی استفاده می شود که نمی خواهیم صفحاتی از سایتمان توسط موتورهای جستجو بررسی و ایندکس شود
به طور مثال اگر در فایل خود کد زیر را قرار دهیم:
User-agent: *
Disallow: /personal/
ربات ها با پیروی از این قانون، دیگر محتوای فولدر personal را بررسی نکرده
بدون دیدگاه