Если сайт ещё в разработке, это не значит, что его нужно прятать целиком и навсегда. Обычно задача проще: не отдавать в поиск тестовые страницы, служебные разделы, дубли и черновые копии, но при этом не задеть важные URL, которые уже должны индексироваться. Для этого в WordPress используют два разных инструмента: robots.txt и meta robots.
Они решают похожую задачу, но работают по-разному. robots.txt управляет обходом сайта поисковыми роботами, а meta robots — поведением конкретной страницы в индексе. Если перепутать их назначение, можно получить неприятный результат: страница останется в поиске, хотя вы ожидали обратного, или, наоборот, робот перестанет заходить туда, где это было нужно.
Что именно закрывать от индексации
Закрывать стоит не «весь WordPress», а только то, что не должно попадать в выдачу. На практике это обычно:
- сайт на стадии разработки или тестовая копия;
- служебные страницы, которые не несут ценности для поиска;
- результаты внутреннего поиска по сайту;
- страницы фильтров, сортировок и параметров, если они создают мусорные дубли;
- архивы, которые не нужны в поиске в конкретном проекте;
- отдельные посадочные страницы, если они временно не должны индексироваться.
А вот главную, важные страницы услуг, записи, категории и другие публичные материалы закрывать без необходимости не стоит. Если вы случайно запретите их в robots.txt или поставите на них noindex, они могут выпасть из поиска или перестать нормально переобходиться.
Когда использовать robots.txt, а когда meta robots
Это ключевой момент. robots.txt подходит для запрета обхода, а meta robots — для запрета индексации конкретной страницы. Если нужен быстрый ориентир, смотрите так:
| Инструмент | Что делает | Когда применять |
|---|---|---|
robots.txt | Просит роботов не заходить в указанные разделы | Для служебных директорий, тестовых зон, технических URL |
| meta robots | Говорит поисковику не индексировать страницу или не показывать её в выдаче | Для отдельных страниц, записей, архивов и шаблонов |
Есть важная тонкость: запрет в robots.txt не гарантирует, что URL исчезнет из поиска. Если на него уже есть внешние ссылки, поисковик может продолжать показывать адрес без сниппета. Если вам нужно именно убрать страницу из индекса, используйте noindex.
Как закрыть сайт WordPress от индексации через robots.txt
Файл robots.txt лежит в корне сайта и обычно доступен по адресу https://example.com/robots.txt. В WordPress его можно создать вручную на уровне хостинга или отдать через SEO-плагин, если он умеет редактировать этот файл. Для базовой задачи этого достаточно.
Если сайт в разработке и вы хотите ограничить обход всего сайта, можно использовать такой вариант:
User-agent: *
Disallow: /Это самый жёсткий вариант: он просит всех роботов не обходить сайт вообще. Но применять его нужно осторожно. Если вы случайно оставите такой файл на рабочем проекте после запуска, поисковики перестанут нормально переобходить страницы. Для боевого сайта это почти всегда ошибка.
Если нужно закрыть только технические разделы, лучше перечислять их точечно. Например:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cgi-bin/Для WordPress это типичный минимум. При этом директорию /wp-admin/ обычно закрывают от обхода, но файл admin-ajax.php часто оставляют доступным, потому что его используют темы и плагины. Если вы не уверены, не добавляйте лишние запреты «на всякий случай».
Ещё один момент: не пытайтесь через robots.txt закрыть уже проиндексированные страницы, если ваша цель — убрать их из выдачи. Для этого нужен noindex на самой странице или удаление URL через инструменты поисковой системы.
Как поставить meta robots на страницы WordPress
Meta robots — это директива в HTML-коде страницы. Чаще всего она выглядит так:
<meta name="robots" content="noindex, nofollow">На практике чаще используют не ручную вставку в шаблон, а настройки темы или SEO-плагина. Для отдельной страницы или записи это удобнее и безопаснее: вы не трогаете код темы и не рискуете сломать шаблон.
Если нужен именно запрет индексации, достаточно noindex. Атрибут nofollow означает, что поисковику не нужно переходить по ссылкам на странице. Его добавляют не всегда. Для обычных служебных страниц часто хватает noindex, follow: страница не попадёт в индекс, но ссылки с неё не будут искусственно обрезаны.
В WordPress это обычно настраивается на уровне записи, страницы, категории или шаблона архива. Логика простая: если раздел должен существовать для пользователей, но не нужен в поиске, ставьте noindex именно там, где формируется этот раздел.
Как не закрыть важные страницы случайно
Самая частая ошибка — закрыть не то, что планировали. Обычно это происходит в трёх случаях:
- в
robots.txtдобавляют слишком общий запрет, например на весь сайт; - на уровне SEO-плагина ставят
noindexдля всех записей или всех архивов без проверки; - после переноса сайта с тестового домена забывают убрать старые ограничения.
Перед публикацией или после переноса сайта проверьте три вещи:
- главная страница доступна для индексации;
- важные страницы услуг, записей и категорий не имеют
noindex; - в
robots.txtнет случайногоDisallow: /или запрета на нужные разделы.
Если сайт уже работает и вы меняете правила индексации, делайте это аккуратно. Сначала проверьте текущие настройки, потом внесите одно изменение и убедитесь, что оно затронуло только нужный раздел. Так проще понять, где именно возникла проблема, если страница исчезнет из поиска.
Как проверить, что всё настроено правильно
После настройки не полагайтесь только на визуальную проверку в админке. Откройте в браузере /robots.txt и убедитесь, что там нет лишних запретов. Затем откройте HTML-код страницы, которую вы закрывали, и проверьте наличие meta robots с нужным значением.
Если используете SEO-плагин, посмотрите исходный код страницы через браузер: в нём должна быть видна директива noindex, если она включена. Для robots.txt достаточно проверить сам файл по прямому адресу. Если файл отдаётся с ошибкой 404, значит, поисковики просто не увидят ваши правила.
Для тестового сайта полезно также проверить, не закрыт ли он случайно от индексации на уровне настроек WordPress. В админке есть опция «Попросить поисковые системы не индексировать сайт» в разделе «Настройки» → «Чтение». Она удобна для временной блокировки, но на рабочем сайте её нужно обязательно выключить. Иначе вы можете долго искать причину, почему страницы не попадают в поиск, хотя в коде всё выглядит нормально.
Что выбрать для сайта в разработке и для уже работающего проекта
Если сайт только собирается и публичный доступ к нему не нужен, проще всего временно закрыть его целиком: через настройки WordPress, через robots.txt или, если это предусмотрено хостингом, через базовую защиту доступа. Но для уже опубликованного проекта такой подход слишком грубый.
Когда сайт работает, обычно нужен более точный сценарий: закрыть тестовые разделы, служебные страницы и дубли, а остальное оставить доступным. Здесь лучше сочетать оба инструмента:
robots.txt— для технических и служебных путей, которые не должны обходиться;noindex— для страниц и архивов, которые не нужны в выдаче, но должны открываться пользователям.
Такой подход даёт контроль без лишнего риска. Вы не блокируете важные страницы, не мешаете поисковику переобходить нужные URL и не создаёте ситуацию, когда сайт «закрыт», но причина этого спрятана в нескольких разных настройках.
Если вам нужно быстро навести порядок в индексировании WordPress-сайта, начните с простого: определите, какие URL действительно не должны попадать в поиск, проверьте robots.txt, затем точечно поставьте noindex на нужные страницы. Этого обычно достаточно, чтобы закрыть разработку, тестовую копию или служебный раздел без побочных эффектов для основного сайта.