Формат
Формат и семантику "/ robots.txt" файла следующим образом: Файл состоит из одной или нескольких записей, разделенных одной или несколькими пустыми строками (прекращено CR, CR / NL или NL). Каждая запись содержит строки вида "<field>: <optionalspace> <value> <optionalspace>". Имя поля чувствительны к регистру.
Комментарии могут быть включены в файл, используя Unix Bourne оболочки конвенций: символ '#' используется, чтобы указать, что предыдущий пространства (если есть), а остальная часть линии до линии прекращения отбрасывается. Строки, содержащие только комментарии удаляются полностью, и, следовательно, не указывают на границе записи.
Запись начинается с одной или несколькими User-Agent линий, за которым следует один или более Запретить линии, как описано ниже. Непризнанные заголовки игнорируются.
User-Agent
Значение этого поля является имя робота запись описывает политику доступа для.
Если более чем один User-Agent поле присутствует запись описывает политику доступа идентичны для более чем одного робота. По крайней мере одно поле должно присутствовать в записи.
Робот должен быть либеральным в интерпретации этой области. Нечувствительны к регистру матч подстроку имя без информации о версии рекомендуется.
Если значение равно '*', запись описывает политику доступа по умолчанию для любого робота, который не соответствует любому из других записей. Не допускается иметь несколько таких записей в "/ robots.txt" файл.
Запрещать
Значение этого поля указывает частичного URL, который не для посещения. Это может быть полный путь или частичный путь; любой URL, который начинается с этого значения не будут извлечены. Например, Disallow: / Справка запрещает и / help.html и / Справка / index.html, тогда как Disallow: / Справка / бы запретить / Справка / index.html, но разрешить / help.html.
Любое пустое значение, указывает, что все URL-адреса может быть восстановлен. По крайней мере одно поле Disallow должен присутствовать в записи.
Наличие пустых "/ robots.txt" файл не имеет явного связанные семантики, он будет рассматриваться как если бы это был не настоящий, то есть все роботы будут считать себя приветствовать.
Примеры
В следующем примере "/ robots.txt" указывает, что файл не роботы должны посетить любые URL, начинающиеся с "/ кибермире / карты /" или "/ TMP /", и / или foo.html:
# Robots.txt для http://www.example.com/
User-Agent: *
Disallow: / кибермире / карты / # Это бесконечное виртуальное пространство URL
Disallow: / TMP / # этих скоро исчезнут
Disallow: / foo.html
В этом примере "/ robots.txt" указывает, что файл не роботы должны посетить любые URL, начинающиеся с "/ кибермире / карты /", за исключением робота называют "cybermapper":
# Robots.txt для http://www.example.com/
User-Agent: *
Disallow: / кибермире / карты / # Это бесконечное виртуальное пространство URL
# Cybermapper знает, куда идти.
User-Agent: cybermapper
Disallow:
Этот пример указывает, что роботы должны посетить этот сайт дальше:
# Уйти
User-Agent: *
Disallow: /
Естли что та понял обиясни мне плиз мой сайт TyT
![Аватар [ru]Internal_Error](https://4252684521.uid.me/avatar.jpg "[ru]Internal_Error"){kind=avatar}
