فایل متنی ربات تکست robots.txt

فایل متنی ربات تکست robots.txt: Robots Exclusion Protocol یک فایل متنی است که در ریشه یک وب سایت قابل دسترسی است و به خزنده های موتورهای جستجو می گوید که کدام قسمت های یک وب سایت باید ایندکس یا نادیده گرفته شوند.

درباره فایل متنی ربات تکست robots.txt

The Robots Exclusion Protocol is a text file, accessible at the root of a website, that tells search engine crawlers which areas of a website should be ignored.