Почему google bot заходит на одни и те же страницы?
Подскажите пожалуйста, с чего бы гугл бот заболел амнезией и 4ый день уже долбит две посадочные страницы с завидной регулярностью?
До этих странностей бот обходил рендомно страницы (их более 100) и не было приоритета по частоте для какой-то одной.
Не понятно с чего вдруг, но он полюбил две посадочные и тошнит их от 5ти до 10 раз в час. Не то чтобы что-то поменялось в выдаче (за 4дня так уж точно нет).
Но имея уже определенную картину, как бот гугла обычно бегает по страницам, данные действия кажутся странными.
p.s. знаю, что гугл бот можна направить на любой ресурс искать все что угодно, просто вбив на сервисе https://search.google.com/test/mobile-friendly любой текст после URL cайта
И он придет искать то, чего нету. В данном же случае - это не похоже на использование вышеупомянутого сервиса.
Есть идеи, почему гугл боту вдруг стало важно обходить две страницы сайта с частотой в 10 раз в час и так в течении 4суток уже?
Дополнительно:
А у Вас к этим урлам нет случайно на сайте ссылок с параметрами ?
имя переменной сессии стандартное ? что будет если запретить прием кук в броузере ?
sitemap.xml есть ? не могли там сами себе такое устроить, каждый раз отвечая, что страница была обновлена час назад из-за ошибки в часовом поясе на сервере.
И лучше такое анализировать через поисковую консоль от гугла .
А у Вас к этим урлам нет случайно на сайте ссылок с параметрами ?
имя переменной сессии стандартное ?
Хороший вопрос, еще бы знать что такое "переменная сессия"...
Эти две посадочные, как и сто остальных - сделаны по одному шаблону. Все посадочные имеют внутренние ссылки на портфолио и контакт форму. На сами посадочные нигде на сайте ссылок нету.
И лучше такое анализировать через поисковую консоль от гугла .
Каким образом лучше? Честно говоря, я понятия не имею как обход бота около 10раз в час на две посадочные (на другие он тоже заходит, но эти стали любимыми) - как это все проанализировать в search console.
Буду благодарен, если подскажете.
Текст роботса:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/themes/bridge/style.css
И сфига гугл бот индексирует или че он делает в плагине Wordfence?
Все больше вопросов)
А в сеачконсоли гугла , что гет параметр hid не должен учитываться
Впрочем, похоже "собака порылась" в плагине Wordfence
C какого-то дива гугл бот по доброте душевной - проиндексировал кеш этого плагина.
Отправил на удаление из кеша все URL, который затесались в индекс.
Через пару дней станет понятнее, в этом ли проблема.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
не пишут в принципе.
Ответы:
У Вас крутиться реклама на внешних ресурсах.
Ссылка на ваши посадочные страницы содержит get параметр для отслеживания перехода hid
Объясните в Google Search Console, что этот (эти) get параметры не нужно учитывать.
Search console - Прежние инструменты - Параметры урл
hid - Нет, параметр не влияет на содержимое страницы.
Дополнительно можно указать в теле посадочных страниц канонический урл
https://seoprofy.ua/blog/optimizaciya-sajtov/rel-c...
rel cannonical
-
У Вас крутиться реклама на внешних ресурсах.
Нет конечно. С чего у вас такие выводы? Никто рекламу не заказывал никогда вообще.
Дополнительно можно указать в теле посадочных страниц канонический урл
Я создал более 100 посадочных, из которых около 20 в топ 3 по коммерческому запросу. И никогда не указывал дополнительно canonical, все просто работает и так, учитывая мои весьма скромные познания в SEO.
То есть,проблема не в этом, иначе такие траблы были бы намного раньше.
-
Ссылка на ваши посадочные страницы содержит get параметр для отслеживания перехода hid
вы точно уверенны, что параметр HID в работе плагина Wordfence - связан именно с рекламой а не параметрами самого плагина?
- я точно уверен , что из-за этого бот видит одну и туже страницу как новую.
вам нужны в индексе 100500 копий одно и того же ? бот их все равно отправляет в мусор.
указание игнорировать поисковикам этот параметр ничего не сломает для сайта. -
я точно уверен , что из-за этого
Тогда как вы обьясните связь плагина Wordfence и рекламы, которую точно не владелец сайта заказывал?
То есть, допустим вы правы - это реклама. Причем тут начало ЮРЛа c отсылкой к плагину?
- еще раз.
Бот парсит какую то страницу.
все найденные урлы собираются в очередь.
Урл включает в себя и часть после знака вопроса.
В вашем случае бот скачивает одну и туже страницу с разными окончания. отличия в hid.
Видит дубль. Выкидывает.
Но он постоянно находит еще варианты . пробует и выкидывает . Как вы пишите в темпе 10 раз в минуту.
Так что игнорируйте эти запросы как всю жизнь до этого.
Или научитесь помогать ботам не делать бесполезную работу. - Олег, Так а вопрос был то - почему URL, который попал в индекс, есть слово Wordfence - название плагина безопасности. Вы сказали, что параметр HID относится к рекламе. Я же спросил, в чем связь между плагином безопасности и не заказанной рекламой? Скорее, это к рекламе отношения не имеет а вот к плагину Wordfence - имеет.
Так что игнорируйте эти запросы как всю жизнь до этого.
таких запросов не было 5дней назад в принципе
- Какая разница что конкретно делает этот гет параметр и откуда он взялся. Угадал я его назначение или нет.
Для вашего вопроса почему бот запрашивает одну и туже страницу это не важно.
ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется. -
ответ в том, что бот проверяет разные ссылки, а не одну и туже как вам кажется
Тут гадать мне не приходится, я в режиме реального времени вижу все заходы бота и это для меня не было вопросом,что мол бот проверяет только две страницы.
- вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)
иметь сайтемап с актуальной датой изменения страниц и указанием ожидаемой частоты переобхода.
управлять ответами сервера
- етаг
- ластмодифи
- правильно обрабатывать запрос If-Modified-SinceИзбегать доступности одного и того же контента по разным урлам.
Давить индексацию как в вашем случае размножение урлов не значимые гет параметрами.Например. Вы сделали форму запроса о товаре
/rerust.php?good=числозадавите /rerust в robots
ссылки на эту форму только с модификатором nofollow
Не знаю на сколько сейчас достаточно только его, раньше еще оборачивали еще все целиком в noindex -
вы сами скормили ему для обхода кучу мусорных урлов, поэтому до нормальных страниц, которые
нужно индексировать, он никак не дойдет.А вот за это спасибо, поржал.
Для нормальной внутренней сео оптимизации сайта
нужно срезать паразитные урлы в робот (увы только по началу урла)Вам видимо нужна оптимизация ради оптимизации. А мне нужно,чтобы созданные мною посадочные были по ключевым запросам в топ 3, максимум в топ10.
И так и есть для минимум 20 страниц - они в топ 3.
Видимо у вас свои понимания "мусорных юрлов", да только этот "мусор" в топе и приносит трафик и клиентов.Если вы ВНИМАТЕЛЬНО читали, что уже понятно, что не особо...
Я там выше указывал, что в немало посадочных прекрасно себя чувствуют в топе.Вы видимо плохо понимаете, что человек, который не понимает что такое параметр HID и прочее - может неплохо вести сайт, который приносит клиентов.
В итоге вы снизошли мне обьяснить "про мусорные юрлы" сами толком не понимая, что мусорных посадочных там нету. Там все по делу. И ничего в роботс не закрыто, представляете какая дикость? Все же учат роботс создавать;)
Но вы же профи ;)
Вообщем спасибо так или иначе. - https://wordpress.org/support/topic/wordfence_lh1hid/
нус , господин СЕО вам предстоит решить правильно эту траблу с индексацией. - Олег, Господин SEO здесь только вы. Я так.. балуюсь.
За ссылку мерси. - Я не сео, просто 20 лет пилю движки для сайтов. Что там для семантики нужно это к сео, а как нравиться краулерам это уже ко мне.
Итого, результаты следующие.
Плагин Wordfence в режиме Live Traffic (нужная вещь, помогает банить конкретных редисок) "умеет" наплодить то ли кеша то ли еще чего в таком виде:
Что потом видится Google Search Console как страница. Осталось до конца не ясно, в какой момент генерации таких "страниц" гугл бот начал обхаживать 2 конкретные страницы сайта по 10 раз в час.
Решение следующее:
- все левые такие страницы, сгенерированные плагином Wordfence,подаем на исключение из индекса в Search Console
- обновил robots.txt и подал его на индексацию еще раз
После того, как Search Console скушал новый robots, вся эта эпопея с обходом двух страниц тут же закончилась.
p.s. и по неверным догадкам, предложенным здесь же. Нет никакой рекламы и нигде она не крутиться и даже не вертится. Параметр HID в url, который проиндексировал гугл - не относится к рекламе никоим образом.
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос






Проблема, когда Google Bot посещает одни и те же страницы на вашем сайте, может быть вызвана несколькими причинами. Вот некоторые из наиболее распространенных причин и способы их решения:
1. Дублирование контента: Google Bot может посещать одни и те же страницы из-за дублирования контента на вашем сайте. Убедитесь, что у каждой страницы есть уникальный контент и уникальный мета-тег
<?php // Пример уникального мета-тега title <title>О нас - Лучший магазин обуви в Москве</title>
2. Неправильная настройка канонических ссылок: Убедитесь, что у каждой страницы на вашем сайте правильно настроены канонические ссылки. Канонические ссылки помогают поисковым системам понять, какая страница является основной для данного контента.
<?php // Пример канонической ссылки
3. Ошибки в файле robots.txt: Проверьте файл robots.txt на вашем сайте и убедитесь, что он не блокирует доступ к страницам, которые вы хотите индексировать Google Bot.
<?php // Пример файла robots.txt User-agent: * Disallow:
4. Проблемы с индексацией: Если Google Bot посещает одни и те же страницы из-за проблем с индексацией, убедитесь, что у вас нет мета-тега на страницах, которые вы хотите индексировать.
<?php // Пример мета-тега noindex
Если вы уверены, что все вышеперечисленные причины не являются проблемой, вам может потребоваться более глубокий анализ вашего сайта и его структуры, чтобы выявить причину посещения Google Bot одних и тех же страниц. Также, не забывайте регулярно мониторить и анализировать логи сервера для более детального понимания того, как Google Bot взаимодействует с вашим сайтом.