Файл robots.txt в WordPress нужен не для «ускорения индексации», а для управления тем, что поисковые роботы могут или не могут обходить. Ошибка здесь обычно одна и та же: в файл добавляют слишком жёсткие запреты и случайно закрывают важные страницы, изображения или служебные ресурсы. Поэтому настраивать его стоит аккуратно, понимая, что именно вы разрешаете и запрещаете.
Для большинства WordPress-сайтов достаточно простого и безопасного файла: он не должен мешать индексации публичных страниц, но может ограничивать обход технических разделов, которые не нужны в поиске. Если сайт уже работает, не стоит переписывать robots.txt «на всякий случай» — сначала проверьте, есть ли у вас реальная проблема и кто именно её создаёт: сам файл, плагин, тема или сервер.
Что должен делать robots.txt на WordPress-сайте
robots.txt — это текстовый файл в корне сайта, например https://example.com/robots.txt. Его читают поисковые роботы перед обходом сайта. Файл подсказывает, какие разделы можно сканировать, а какие лучше не трогать. Это именно подсказка для роботов, а не способ скрыть страницу от людей или гарантированно убрать её из поиска.
Для WordPress обычно задача одна: не мешать поисковикам обходить полезные страницы и не тратить их обход на служебные URL, которые не нужны в выдаче. При этом важно помнить, что запрет в robots.txt не удаляет уже известную страницу из индекса автоматически. Если URL уже попал в поиск, одного запрета часто недостаточно.
С чего начать: проверьте, не создаёт ли файл плагин или хостинг
В WordPress файл robots.txt может быть виртуальным. Это значит, что его содержимое генерируется системой, плагином или сервером, а не лежит как обычный файл в корне сайта. Поэтому перед правками откройте адрес /robots.txt в браузере и посмотрите, что там уже есть.
Если вы видите правила, которые добавил SEO-плагин или хостинг, не спешите создавать новый файл поверх них. Сначала поймите, кто управляет текущим содержимым. Иначе можно получить ситуацию, когда вы редактируете один файл, а сайт отдаёт другой вариант.
Если на сайте уже есть физический файл robots.txt в корне, он обычно имеет приоритет над виртуальной версией. Это удобно, но и опасно: одна неудачная правка сразу меняет поведение для всех роботов.
Безопасный базовый вариант для WordPress
Если вам нужен рабочий стартовый вариант без лишних ограничений, используйте простой файл, который не блокирует важные публичные разделы. Для большинства обычных сайтов этого достаточно:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Здесь закрывается административная часть сайта, а файл admin-ajax.php остаётся доступным, потому что его часто используют темы и плагины на фронтенде. Это не «обязательное правило для всех случаев», но для WordPress оно обычно безопасно и практично.
Такой вариант не запрещает обход публичных записей, страниц, рубрик и медиафайлов. Именно это и нужно в большинстве случаев: не мешать поисковику видеть контент сайта.
Что обычно не стоит закрывать в robots.txt
Самая частая ошибка — пытаться спрятать от поисковиков всё подряд. На WordPress это особенно вредно, потому что вместе с техническими URL легко закрыть то, что должно индексироваться или хотя бы нормально обходиться.
Обычно не стоит без необходимости закрывать:
- публичные записи и страницы;
- изображения и другие медиафайлы из библиотеки;
- CSS и JavaScript, если они нужны для корректного рендеринга страницы;
- адреса, которые уже участвуют во внутренней навигации сайта.
Отдельно осторожно относитесь к запрету ресурсов темы и плагинов. Если закрыть CSS или JS, поисковик может хуже понять, как выглядит и работает страница. Это не всегда критично, но на практике часто создаёт лишние проблемы при диагностике.
Типичные ошибки в robots.txt и чем они опасны
Ниже — ошибки, которые встречаются чаще всего именно на WordPress-сайтах.
| Ошибка | Что происходит | Как правильно |
|---|---|---|
Disallow: / | Вы закрываете весь сайт для обхода | Используйте только точечные запреты, если они действительно нужны |
Закрытие /wp-content/ целиком | Могут пострадать изображения, стили и скрипты | Не блокируйте весь каталог без понимания последствий |
| Запрет важных страниц вместо удаления из индекса | URL может остаться в поиске без возможности переобхода | Для удаления из индекса используйте другие механизмы, а не только robots.txt |
| Слепое копирование чужого файла | Чужие правила не подходят вашему сайту | Настраивайте файл под конкретную структуру сайта |
Особенно опасно копировать готовые шаблоны из старых статей без проверки. WordPress-сайты отличаются структурой, а плагины и темы добавляют свои URL. То, что безопасно для одного проекта, на другом может сломать обход нужных страниц.
Как редактировать robots.txt без риска
Если вы меняете физический файл на сервере, сначала сделайте копию текущего содержимого. Это простая мера, которая экономит время, если после правки что-то пойдёт не так. На хостинге файл обычно можно редактировать через файловый менеджер или по FTP/SFTP.
Если файл создаёт SEO-плагин, править его нужно в настройках этого плагина, а не в корне сайта. Иначе изменения могут не примениться или будут перезаписаны при следующем обновлении настроек.
После правки проверьте, что файл доступен по адресу /robots.txt и возвращает именно тот текст, который вы ожидаете. Если вместо него открывается другая версия, значит, на сайте работает виртуальный файл, правило сервера или кэш, который нужно учитывать.
Как проверить, что настройка работает
Проверка нужна не формально, а чтобы убедиться, что вы не закрыли лишнее. Начните с простого: откройте https://ваш-домен/robots.txt в браузере и посмотрите содержимое. Затем проверьте несколько важных URL сайта: главную страницу, обычную запись, страницу категории, изображение из медиабиблиотеки и административный раздел.
Если вы используете Google Search Console или другой инструмент для вебмастеров, можно дополнительно проверить, как робот видит файл и не блокируются ли нужные адреса. Но даже без внешних сервисов базовая проверка в браузере уже помогает поймать грубые ошибки: лишний Disallow, неверный путь или отсутствие нужного Allow.
Хороший признак — когда публичные страницы доступны для обхода, а административная часть остаётся закрытой. Плохой признак — если после правки исчезли стили, не открываются изображения или робот перестал видеть разделы, которые должны индексироваться.
Когда robots.txt не решает задачу
Есть ситуации, в которых robots.txt не подходит как единственный инструмент. Если страница уже в индексе и её нужно убрать, одного запрета на обход может быть недостаточно. Если нужно скрыть контент от людей, robots.txt тоже не поможет: адрес всё равно можно открыть напрямую, если он известен.
Поэтому используйте этот файл именно как настройку обхода, а не как универсальный способ «спрятать» разделы сайта. Для WordPress это особенно важно: сайт часто состоит из множества динамических страниц, и грубый запрет легко приносит больше вреда, чем пользы.
Если нужен простой и безопасный подход, начните с минимального файла, проверьте его в браузере и не добавляйте лишних правил без понятной причины. Для большинства сайтов этого достаточно, чтобы не мешать поисковикам и не закрыть важные страницы по ошибке.