Проиндексировано, несмотря на блокировку в файле robots.txt, как исправить?
Google такую выдал ошибку.
Интересно, что указывает ссылку на страницу авторизации с редиректом:
https://basseyn-svoy.ru/wp-login.php?redirect_to=h...
Если перейти по ней, то будет страница авторизации. После авторизации открывает пост.
В ROBOTS.TXT есть запрет на /WP-LOGIN.php.
Стандартное решение этой проблемы - прописать noindex в head. Но здесь нужно лезть в ядро WORDPRESS.
Как быть и какие есть предложения? Благодарю всех за ответы заранее.
Дополнительно:
Ответы:
1. Задайтесь вопрос, а Вам это как мешает? На сколько критично, что wp-login проиндексирован как и у миллиарда других сайтов на WP. Если бы это было действительно проблемой, WP уже давно бы подсуетился и поправил head для этой страницы.
2. Robots для Гугла не запрет, а лишь рекомендация. Поэтому через роботс эту проблему не решить.
3. Я не WPшник, вероятно, есть способ поправить ситуацию с meta robots или meta goolebot, не ломая ядро, как это делается в других CMS.
4. Погуглите тему HTTP-заголовка "X-Robots-Tag: googlebot: noindex".
5. Ну, и самый извратный способ - отлавливать гуглобота (или сразу всех ботов) на уровне веб-сервера (например, по User-Agent или каким-то другим признакам, по подсетям), и возвращать им 403 при обращении к wp-login.php.
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Для того чтобы страница была проиндексирована поисковыми системами, несмотря на блокировку в файле robots.txt, можно использовать следующие методы:
1. Изменить robots.txt: Проверьте файл robots.txt на вашем сайте и убедитесь, что он не запрещает индексацию страниц, которые вы хотите проиндексировать. Если есть необходимость, измените файл robots.txt, чтобы разрешить доступ к соответствующим страницам.
2. Использовать мета-теги: Добавьте мета-теги на страницу, которую вы хотите проиндексировать. Например, мета-тег разрешает индексацию страницы поисковыми системами.
3. Использовать канонические ссылки: Добавьте каноническую ссылку на страницу, которую вы хотите проиндексировать. Это поможет поисковым системам понять, что страница является основной и должна быть проиндексирована.
4. Использовать Google Search Console: Загрузите страницу в Google Search Console и запросите индексацию. Поисковая система Google может проиндексировать страницу, игнорируя правила robots.txt.
5. Проверить наличие ошибок: Проверьте страницу на наличие ошибок, которые могут препятствовать индексации поисковыми системами. Убедитесь, что страница доступна для индексации и не содержит ошибок загрузки или содержимого.
Следуя этим рекомендациям, вы сможете добиться индексации страницы поисковыми системами, даже при наличии блокировки в файле robots.txt.