Гугл бомбит сайт левыми запросами, как исправить?
Вот уже больше месяца бот гугл забрасывает группу сайтов однотипными запросами.
Вот пример из лога Апача.
66.249.64.174 - - [23/Dec/2019:08:25:08 +0200] "GET /109367389/sudationreflex.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:25:02 +0200] "GET /archegone-109244901_mammarymammary/df9d4eo.com.co HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:57 +0200] "GET /supervene-109309288_incipience.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:51 +0200] "GET /fishpaste/109008726_synchronicitysynchronicity415a3aj.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:45 +0200] "GET /tawney_111772799-corregidor.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:39 +0200] "GET /109320230-planningladylady.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:33 +0200] "GET /f74292bzebeck_109137128_adenovirus.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:28 +0200] "GET /stormfulunswornunsworn-108902950.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:22 +0200] "GET /a28d13udexterous/109361993/baguio.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:16 +0200] "GET /dupabilitydupability/underagef7c707h-108817600.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:10 +0200] "GET /emissary_111090867/a7b33dlperpetrationemissary.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" |
66.249.64.174 - - [23/Dec/2019:08:25:08 +0200] "GET /109367389/sudationreflex.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:25:02 +0200] "GET /archegone-109244901_mammarymammary/df9d4eo.com.co HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:57 +0200] "GET /supervene-109309288_incipience.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:51 +0200] "GET /fishpaste/109008726_synchronicitysynchronicity415a3aj.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:45 +0200] "GET /tawney_111772799-corregidor.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:39 +0200] "GET /109320230-planningladylady.fyi HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:33 +0200] "GET /f74292bzebeck_109137128_adenovirus.jp HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:28 +0200] "GET /stormfulunswornunsworn-108902950.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:22 +0200] "GET /a28d13udexterous/109361993/baguio.art HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:16 +0200] "GET /dupabilitydupability/underagef7c707h-108817600.software HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 66.249.64.172 - - [23/Dec/2019:08:24:10 +0200] "GET /emissary_111090867/a7b33dlperpetrationemissary.wang HTTP/1.0" 404 3752 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Разумеется страниц таких нет. Ссылок таких на сайте нет. В сайтмепе тоже.
IP я проверял, это именно Гугл.
Обращения с разных IP. Это поведение бота серьезно грузит сайты. По сути DDOS получается.
Банить не хочется, ибо чревато последствиями и выпадением из поиска.
Как решить проблему?
Дополнительно:
Ответы:
Поставь CDN перед сайтом, например, cloudflare и настрой на нем кэширование (хотябы на 404)
- Саму проблему нагрузки я решил.
Но мне хочется все таки, чтобы Гугл прекратил вредительство. - fStrange, Гугл прекрасно справляется с 404 и больше не мучает. Единственная причина такого поведения - ссылки с других ресурсов. Надо анализировать запросы на предмет реферера. Если нет систематики то сочувствую
- Иван Шумов, т.е. это не ошибка бота, а именно ссылки с других ресурсов?
Хм, но я же так, могу задосить большинство сайтов расположенных на слабеньких хостингах, чисто теоретически. Генеря левые ссылки на сайт конкурента, через сеть сайтов. Неужели нет средства сказать Гуглу, что по подобным ссылкам ходить не надо?
- у этих запросов реферрера нет. Я анализировал логи за неделю примерно.
- fStrange, так, а частности, иногда и происходит. Объяснить Гуглу невозможно по тому что нет специального алгоритма "подобных ссылок". Бот Гугла не ошибается - что нашел а интернете то и парсит
- fStrange, ну, если нет реферера то все совсем грустно. Можно было бы хоть к владельцам ресурсов обратиться
- Забанить смысла нет, скорее всего это не Гугл, а тот, кто под него косит понимая, что врядли его будут банить.
Это атака на сайт. Скорее всего, конкуренты стараются, сталкивался с таким.
Способ атаки - ссылки на сторонних сайтах (чаще всего лом или дырки в защите) или бото-софт, работающий через паблик-прокси.Сloudflare + кэширование = слабое решение, от которого может быть больше вреда для трафика и SEO, чем пользы.
Попробуйте взять ВПС/ВДС, может справится с нагрузкой. Скорее всего, надолго конкурента не хватит, т.к. оплачивать атаку недешево, если не сам занимается. Если через 3-4 недели не отстанут, то пробуйте Сloudflare + кэширование, хотя лично мне это решение не нравится.
- WebReklamist, IP посмотрите. Это Гугл.
И это никакие не конкуренты , у сайтов посещаемость. 5-10 посетителей в сутки. 2 сайта из 5 вообще благотворительные. Нет смысла ддосить.А с нагрузкой я справился и без Cloudfare и ВПС, об этом написано же выше.
- Усли IP гугловский, это не значит, что это не атака. И атака не обязательно типа ДДОС. Есть много других вариантов. Если бот гугловский, то это уже проясняет часть общей схемы.
Неправильные ссылки на ваш сайт могут размещать либо конкуренты (при никаком трафике это исключено), либо взломщик-экспериментатор. В вашем случае, больше всего похоже на второе.
Бот гугла переходит на ваш сайт по неправильной ссылке, получает 404 (это лучше) или нет (это хуже), но вы в обоих ситуациях в минусе. Если ссылки размещает экспериментатор, то возможно, он что-то сделал не так. Например, ошибка/невнимательность или непонимание некоторых механизмов работы ПС.
Или еще один вариант - агрессор пытался массово ломать сайты с одним движком и работать через найденную, либо созданную дырку на сайте, а потом, например, индексировать свои говносайты, используя дырку. Только не проверил наличие дырки на всех ломаемых сайтах или получил неверный ответ при проверке ее наличия. Теперь он тупо размещает на гостевухах или редиректных ссылках софтом ссылки на другие ресурсы, на которых и находит их бот гугла. Если он анализирует результаты своей деятельности, то скоро увидит, что с вашим сайтом не сработало и почистит список атакуемых, если не ленивый дебил конечно. :)
У вас используются на сайте редиректы? Если покажете сайт, попробую посмотреть подробнее. Самому интересен этот случай. У меня было подобное, хотелось бы разобраться в механизме.
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Для борьбы с гугл-бомбингом, когда ваш сайт получает нежелательный трафик от поисковых запросов, необходимо принять ряд мер для улучшения ситуации. Вот несколько шагов, которые могут помочь вам исправить эту проблему:
1. Изучите аналитику: Прежде всего, важно понять, какие запросы приводят к нежелательному трафику на ваш сайт. Используйте инструменты аналитики, такие как Google Analytics, чтобы выявить эти запросы.
2. Оптимизируйте контент: Пересмотрите свой контент и убедитесь, что он соответствует вашей тематике. Удалите или измените любой контент, который может привлекать нежелательный трафик.
3. Используйте роботс.txt: Создайте файл robots.txt и добавьте в него инструкции для поисковых роботов, чтобы они не индексировали определенные страницы или категории вашего сайта.
4. Обратитесь к Google: Если проблема с гугл-бомбингом стала серьезной, обратитесь в службу поддержки Google. Они могут помочь вам в решении этой проблемы и предпринять необходимые шаги.
5. Обновляйте контент регулярно: Чем чаще вы добавляете свежий и качественный контент на свой сайт, тем выше вероятность того, что ваш сайт будет показан в релевантных поисковых запросах.
Надеюсь, эти советы помогут вам бороться с проблемой гугл-бомбинга и улучшат качество трафика на вашем сайте. Если у вас возникнут дополнительные вопросы, не стесняйтесь задавать их.