Robots.txt – файл за индексиране

Robots.txt – файл за индексиране

Robots.txt – текстов файл, съхраняван на сървъра на уебсайта, който включва основни правила за индексиране на роботи, които „обхождат“ сайта. Този файл ви позволява конкретно да разрешите (или да забраните) някои файлове и папки да бъдат преглеждани от обхождащите ботове, които могат да поддържат вашите индексирани страници ограничени само до тези, които желаете.