Для того чтобы задать правила поведения для поисковых роботов, используется файл robots.txt. С его помощью вы можете влиять на процесс индексации сайта. Сканер поисковой машины будет искать этот файл в корневом каталоге вашего сайта и, обнаружив, исполнит содержащиеся в нем инструкции; в противном случае паук будет индексировать все, до чего сможет дотянуться.
подробнее...
подробнее...
Комментариев нет:
Отправить комментарий