Почему google не видит robots.txt?
гугл перестал видит у сайта, сам сайт блокирует иностранные айпи, но проверял на доступность для ip-адресов googlebots, все возвращают 200 ответ, нигде не стоит блокировок или что-то подобного. User-agent googlebots также доступен. Перестал видеть роботс где-то в ноябре-октябре, сайт переезжал. В GSC говорит ошибку "Эту страницу нельзя проиндексировать: Страница недоступна из-за проблемы со всем сайтом"
Сайт работает, но к роботс, а соответственно с sitemap.xml
Дополнительно:
ссылку можно?
Ответы:
У Гугла нескольуо списков айпи для сервисов около 6 штук видимо какой то из них вы не добавили в размещенные
- Если ты про эти, то все доступны
https://developers.google.com/search/apis/ipranges... - Gabib, это один список из 6 списоков Гугла
Неудивительно что не доступен - Пума Тайланд, Так, а какая разница?
Это именно поисковые googlebots, я конечно сейчас проверю остальные, но и они будут доступны, тут проблема в чем-то другом( - Gabib, ну вы закрыли иностранные айпи , гугл перестал после этого видеть ваш сайт
открыли один список но там опять такие не все айпи
мы уже делали тоже самое и ловили ту же самую ошибку не так давно решилось доабвление всех списокв гугла в белый список вот и все - Пума Тайланд, Проверил, все гугловские ip работают, возвращают 200 ответ.
- Gabib, а все это какие ?
о боже, ошибок в тексте море, тебе бы лучше на курсы русского языка сходить...
а по поводу доступности - в google search console можно ввести ссылку, нажать энтер и бот пойдет на нее, дальше будет видно что с ней не так.
если там редирект стоит - бот покажет код ответа 200 и страницу на которую идет редирект.
P.S. карта сайта давно не работает, индексировать сайт нужно через API
- Господи, все мы такие умные, а читать не научились? Извините, что мой родной язык не русский, но тот факт, что ты даже не увидел, что я сделал это уже. Редиректа не стоит, всё нормально, всё открывается, везде доступно, но выдаёт ошибку
В GSC говорит ошибку "Эту страницу нельзя проиндексировать: Страница недоступна из-за проблемы со всем сайтом"
Карта сайта не работает, также, как и сео умерло?
Я бы на твоем месте, сначала читать научился, а потом бы уже ответы писал. Удачи тебе, посмешил)
- Gabib, к чему ты задаешь глупые вопросы если ты споришь с умными ответами потом?
Ответ на решение проблемы указан выше, если ты хочешь с кем то поспорить - поспорь с одноклассниками, мне это не интересно
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Проблема с тем, что Google не видит robots.txt может быть вызвана несколькими причинами. Во-первых, убедитесь, что ваш robots.txt файл находится в корневой директории вашего сайта. Это очень важно, потому что поисковые роботы ищут файл именно там.
Если файл находится в правильном месте, проверьте его содержимое. Возможно, вы допустили ошибку в написании директив или забыли указать User-agent. Убедитесь, что ваш файл robots.txt написан правильно и содержит необходимые инструкции для поисковых роботов.
Еще одной причиной может быть неправильная настройка прав доступа к файлу. Убедитесь, что у файла robots.txt правильные разрешения доступа, чтобы поисковые роботы могли его прочитать.
Также стоит убедиться, что ваш robots.txt не заблокирован в файле robots.txt. Иногда владельцы сайтов могут случайно заблокировать доступ к своему собственному файлу robots.txt, что приведет к тому, что поисковые роботы не смогут его прочитать.
Если после всех этих проверок проблема все еще не решена, возможно, дело в том, что Google просто еще не проиндексировал ваш файл robots.txt. Подождите некоторое время и проверьте снова. Google иногда требуется время, чтобы обновить свои данные и увидеть изменения на вашем сайте.
Надеюсь, эти советы помогут вам разобраться с проблемой отсутствия robots.txt в поисковой выдаче Google. Если проблема сохраняется, обратитесь к специалистам по SEO для дальнейшей помощи.