Создание файла robots.txt

Для того чтобы задать правила поведения для поисковых роботов, используется файл robots.txt.
подробнее...