Почему Google ругается на robots.txt?
Google не индексирует сайт, ссылаясь на блокировку в robots.txt. Хотя в robots.txt нет блокировки для индексации. Директивы задавал следующие (а так же много других разных вариантов перепробовал):
User-agent: *
Allow: /
Dissallow:
Я даже удалял сам файл robots.txt, но Google все равно выдает эту ошибку. Т.е. файла непосредственно не существовало, Но Google ссылался на блокировку в нем.
Есть кто-то, кто может подсказать что происходит?
Дополнительно:
Т.е. файла непосредственно не существовало
А посредственно существовал? Имеет значение не файл, а ответ на HTTP-запрос.
Спасибо
User-agent: *
Allow: /
Dissallow:
Google ругается на него.
К тому же если файла не существует, согласно информации в интернете, то робот сканирует все.
Суть вопроса:
Почему Google ругается на robots.txt?
Есть кто-то, кто может подсказать что происходит?
Суть вопроса:
Почему Google ругается на robots.txt?
Есть кто-то, кто может подсказать что происходит?
User-agent: *
Allow: /
Dissallow:
Получается, что если Роботс удалить, все должно работать автоматически, полный доступ на скан всех файлов сайта для всех ботов по дефолту, однако вылазит ошибка.
А так же если и разрешить в Роботсе, - тоже ошибка. Интернет облазил, не нашел инфы, потому и пишу сюда, может я что-то в корне не так сделал?
вот лог с redbot.org
вот лог с bertal.ru
вот лог с Rex Swain's HTTP Viewer,
Dissallow:
не смущает?
User-agent: * Sitemap: /sitemap/sitemap.xml |
User-agent: * Sitemap: /sitemap/sitemap.xml
И гугловая консоль ругается на Sitemap; потому что там надо полностью путь указывать: Sitemap: http://bestsert.by/sitemap/sitemap.xml
1: robots.txt вы сейчас видели уже модифицированным по отношению к тому варианту, который был в статье вопроса.
2: даже этот пример, который вы увидели, обратившись к robots.txt через адрес, не блокирует индексацию
3: сайт-мап не блокирует индексацию, а адрес я исправил. Это замечание было верным
4: САМОЕ ГЛАВНОЕ: индексация заработала... сама по себе, чудесным образом. Я ничего не делал и на след. день все само заработало. Почему так было, я так и не понял.
Ответы:
Убери Dissallow:
Dissallow: неверно написан. Нужно Disallow.
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Google может ругаться на robots.txt по нескольким причинам:
1. Неправильный синтаксис: robots.txt должен быть написан правильно и содержать корректные директивы для инструкций по индексации страниц. Например, неправильно использованные символы или отсутствие необходимых параметров могут привести к ошибкам.
2. Отсутствие robots.txt: если на вашем сайте отсутствует файл robots.txt, Google может ругаться из-за невозможности найти инструкции по индексации страниц.
3. Заблокированные страницы: если в вашем файле robots.txt есть директивы, которые блокируют доступ к важным страницам сайта (например, страницам с контентом или страницам, которые вы хотите, чтобы Google проиндексировал), то Google может ругаться из-за невозможности индексации этих страниц.
4. Ошибки в robots.txt: если в файле robots.txt есть ошибки или несовместимость с протоколом robots.txt, то Google может ругаться из-за невозможности правильно интерпретировать файл.
5. Проблемы с доступом: если сервер вашего сайта имеет проблемы с доступом к файлу robots.txt (например, из-за неправильных настроек сервера или блокировок), то Google может ругаться на robots.txt.
Для исправления проблемы с руганьем Google на robots.txt, вам следует:
- Проверить синтаксис вашего файла robots.txt на наличие ошибок.
- Убедиться, что файл robots.txt находится в корневой директории вашего сайта.
- Проверить, что в файле robots.txt нет директив, которые блокируют доступ к важным страницам сайта.
- Убедиться, что сервер вашего сайта правильно обрабатывает запросы к файлу robots.txt.
- Проверить настройки сервера и файловой системы на предмет возможных блокировок доступа к файлу robots.txt.
После выполнения этих шагов, вы можете запросить переиндексацию вашего сайта в Google Search Console, чтобы убедиться, что проблема с руганьем на robots.txt была успешно исправлена.