Если вы хотите управлять обходом сайта поисковыми роботами, robots.txt в WordPress нужен не для «магического SEO», а для точечной настройки доступа к служебным разделам и лишним URL. Ошибка здесь обычно одна: закрывают слишком много и сами мешают поисковику нормально обходить сайт. Поэтому сначала стоит понять, что именно делает этот файл, а уже потом править правила.
Что делает robots.txt в WordPress и чего от него не стоит ждать
Файл robots.txt лежит в корне сайта и подсказывает роботам, какие разделы можно или нельзя обходить. Это именно подсказка для краулеров, а не механизм защиты. Если URL закрыт в robots.txt, он всё равно может попасть в индекс по внешним ссылкам, просто робот не сможет нормально его просканировать и увидеть содержимое.
Для WordPress это особенно важно: у CMS есть служебные страницы, параметры, архивы и технические URL, которые не всегда нужны в обходе. Но закрывать нужно только то, что действительно не полезно для поисковой обработки. Если запретить важные разделы, поисковик может хуже понимать структуру сайта или вообще не увидеть нужные страницы.
Что обычно имеет смысл закрыть
На типичном WordPress-сайте в robots.txt обычно ограничивают доступ к техническим и служебным путям, которые не предназначены для поиска. Чаще всего это:
/wp-admin/— административная часть сайта;/wp-includes/— системные файлы WordPress;- служебные URL с параметрами, если они создают мусорные дубли и реально обходятся роботами;
- внутренние страницы поиска по сайту, если они не несут самостоятельной ценности и создают много бесполезных URL.
При этом не стоит механически закрывать всё подряд. Например, если тема или плагин отдают полезный контент через публичные файлы в /wp-content/uploads/, блокировать весь каталог без разбора не нужно. Поисковику часто полезно видеть изображения и медиафайлы, если они участвуют в выдаче.
Что лучше не закрывать
Самая частая ошибка — запретить в robots.txt то, что должно участвовать в обходе. Не стоит закрывать:
- основные страницы сайта, которые должны индексироваться;
- CSS и JavaScript, если они нужны для корректного рендеринга страниц;
- изображения и другие медиафайлы без явной причины;
- категории, записи, страницы и другие публичные URL, если вы хотите, чтобы они нормально обходились поисковиком.
Особенно осторожно нужно относиться к запрету ресурсов, которые участвуют в отображении страницы. Если робот не может загрузить стили или скрипты, он может хуже оценить мобильную версию, структуру и поведение страницы. Для WordPress это актуально, потому что темы и плагины часто подключают ресурсы из разных директорий.
Как выглядит базовый robots.txt для WordPress
Если сайт обычный и без нестандартной архитектуры, достаточно аккуратного базового файла. Его можно создать вручную в корне сайта или отредактировать существующий файл через FTP, файловый менеджер хостинга или панель управления. Перед изменением сделайте копию текущего файла: если что-то пойдёт не так, откат займёт минуты.
Пример простого варианта:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЗдесь закрывается административная часть, но оставляется доступ к admin-ajax.php, который часто нужен для работы темы и плагинов на публичной части сайта. Это не универсальная «идеальная» конфигурация для всех, но для большинства WordPress-сайтов она безопаснее, чем агрессивные запреты по каталогам.
Если у вас уже есть собственные правила, не переписывайте файл вслепую. Сначала проверьте, нет ли там директив для конкретных поисковых систем, карт сайта или нестандартных исключений. В robots.txt важен порядок и отсутствие конфликтов между правилами.
Как редактировать robots.txt в WordPress без лишнего риска
Сам WordPress не хранит robots.txt как обычный файл в базе данных. Если в корне сайта файла нет, CMS может отдавать виртуальный вариант, но для нормальной работы лучше использовать физический файл robots.txt в корне сайта. Тогда вы точно контролируете содержимое и не зависите от поведения среды.
Практически это делается так:
- Откройте корень сайта на хостинге через FTP, SFTP или файловый менеджер.
- Найдите или создайте файл
robots.txt. - Внесите нужные правила и сохраните файл в кодировке UTF-8 без лишних символов.
- Проверьте, что файл доступен по адресу
https://ваш-домен/robots.txt.
Если сайт работает на нескольких поддоменах или в нестандартной структуре, убедитесь, что редактируете именно тот корень, который обслуживает нужный домен. Ошибка с путём — одна из самых частых причин, почему изменения «не работают».
Как проверить, что настройка сработала
После сохранения файла откройте его в браузере по прямому адресу. Вы должны увидеть именно тот текст, который записали в robots.txt. Если вместо него открывается старая версия, проверьте кэш на сайте, на хостинге и у CDN, если он подключён.
Дальше имеет смысл проверить несколько вещей вручную:
- доступен ли сам файл по HTTPS;
- не закрыты ли случайно важные разделы;
- не конфликтуют ли новые правила с уже существующими;
- не пропали ли из обхода ресурсы, нужные для отображения страниц.
Если вы используете инструменты для проверки robots.txt в поисковых системах, ориентируйтесь не только на формальное «валидно», но и на смысл правил. Файл может быть технически корректным и при этом вредным для сайта, если в нём закрыты нужные страницы или ресурсы.
Типичные ошибки, из-за которых robots.txt мешает индексации
На практике проблемы чаще всего возникают не из-за самого файла, а из-за слишком жёстких запретов. Вот что встречается особенно часто:
- закрывают весь сайт одной строкой
Disallow: /и забывают убрать её после разработки; - блокируют CSS и JS, а потом удивляются проблемам с рендерингом;
- дублируют правила и сами не понимают, какое из них срабатывает;
- редактируют не тот robots.txt, который реально отдаётся сайтом;
- путают запрет обхода с удалением страницы из индекса.
Последний пункт особенно важен: если задача именно убрать страницу из поиска, robots.txt сам по себе не решает её надёжно. Но если ваша цель — управлять обходом и не тратить краулинговый бюджет на мусорные URL, robots.txt подходит хорошо, если использовать его аккуратно.
Когда robots.txt лучше не усложнять
Если сайт небольшой и у него нет заметных технических дублей, не нужно превращать robots.txt в длинный список запретов. Чем сложнее файл, тем выше шанс случайно закрыть что-то нужное. Для обычного WordPress-сайта часто достаточно минимального набора правил для админки и пары точечных исключений.
Вместо попытки «закрыть всё лишнее» лучше сначала посмотреть, какие URL реально создаются сайтом, какие из них доступны роботам и где возникают дубли. Тогда robots.txt будет выполнять свою задачу: помогать поисковым системам обходить сайт рационально, а не ломать индексацию из-за избыточной осторожности.