Что писать в файл robots.txt

Файл robots.txt расставляет ориентиры для поисковой системы при определении индексации вашего сайта. 

Назначение файла

Данный файл массово начали использовать с 1994-го года, когда было принято соответствующее соглашение. Файл представляет собой текстовый документ на языке, который хорошо распознают и индексируют поисковые роботы. Поисковые роботы представляют собой ПО, индексирующее документы, которые выложены в сеть интернет. Под индексированием понимают процесс внесения данных о страницах сайта в общую базу данных поисковых систем. Процесс индексирования необходим для того, чтобы был быстро произведен процесс поиска нужной информации в интернете пользователями поисковиков (Google, Яндекс, Bing, DuckDuckGo).

Данные, которые содержит правильный файл robots txt, необходимы для того, чтобы указать поисковику те каталоги и файлы, которые не нужно индексировать и добавлять в свою поисковую базу данных. На каждом сайте имеется часть файлов и каталогов, которые не несут в себе полезную информацию для большинства пользователей всемирной паутины. Процесс индексирования таких каталогов и файлов вызывает дополнительную нагрузку на сервер и может принести вред сайту при расчете ранжирования в поисковой выдаче.

Создание файла robots txt очень важно. Файл ограничивает доступ поисковым роботам к файлам и каталогам такого типа, что оказывается выгодно и пользователям, и поисковым системам. Чаще всего индексации не подвергают каталоги, которые содержат скрипты, и программные файлы. Файлы и каталоги, в которых находится служебные и прочие данные, для процесса индексации не предназначены.

Формат файла

Чтобы поисковик начал процесс индексирования для вашего сайта, необходимо создать пустой файл robots.txt, который необходимо поместить в корневой папке сайта. Именно в корневой папке происходит процесс индексации поисковыми системами. Файловый путь должен выглядеть следующим образом:

http://ваш_домен/robots.txt

Особое внимание стоит обратить на то, что файл robots.txt должен называться только так и никак по-другому. Пустой файл дает разрешение на начало полного процесса индексации вашего сайта абсолютно всем имеющимся на сегодняшний день поисковым системам. Сам же файл robots.txt выполняет рекомендательные функции, а никак не запрещающие. Если перед поисковым роботом поставить задачу обследовать весь ваш сайт, он так и сделает, не обращая внимания на файл robots.txt.

Синтаксис файла

Для того чтобы создать рекомендации для процесса неиндексации определенных файлов и каталогов на вашем сайте поисковым системам, необходимо применить одну или сразу несколько записей в настройке файла robots txt, которые бы заканчивались служебными символами окончания строки. Если имеется несколько строк, то они делятся между собой несколькими пустыми строками. В каждой записи должна находиться строки такого типа:

<field>:<value>

Здесь в поле <field> необходимо вписывать директивы, которые не обладают чувствительностью к вводимым символам регистра. В поле <value> необходимо вписывать значения, которые будут приниматься директивой к исполнению. Таких директив всего 3: Host, Use-agent, Sitemap.

Также в содержимом файла robots txt могут содержаться комментарии, которые обязательно должны начинаться со знака «#», а заканчиваться концом строки. В начале строк разрешены пробелы, но использовать их все же не рекомендуется. Также не нужно редактировать файл в DOC-формате, редактируйте в UNIX, а загрузку файла на сайт осуществляйте с помощью ASCII-режима.

Читайте также статью о DNS и доменах.