Google начал удалять из поиска заведомо несуществующие страницы?
Всем привет, заметил такую странность. Есть фан-сайт про сериал российский Содержанки - и потенциально он действительно мог бы навлечь гнев правообладателей, но...
Недавно прилетела от Google жалоба по DMCA, но, что самое интересное, пришла она на страницы, которых на сайте нет и никогда не было:
/soderzhanki-2-sezon-5-seriya
/soderzhanki-2-sezon-4-seriya
Наравне с теми, что уже были:
/soderzhanki-2-sezon-3-seriya
/soderzhanki-2-sezon-2-seriya
Как думаете, это случайна ошибка/опечатка или правообладатели уже решили наперед каким-то образом удалять из поиска даже то, чего там нет, а может даже и не будет? То есть, удаляют заведомо несуществующие страницы только ради того, чтобы в будущем такие не могли появиться в выдаче (если, конечно, будут созданы на сайтах вообще).
Кто-то еще сталкивался с таким "нововведением"?
Дополнительно:
Это Вы так специально домен назвали - чтобы его легче было отнести к разряду "сайты для взрослых"? :)
Человек, писавший жалобу, мог вполне предположить - "если есть 5-я серия, наверное есть и 2-я" :) и "на всякий случай" добавить ее :) Гугл - он такой Гугл...
Составитель жалоб - компания Web Kontrol Ltd, наверное, у них даже не человек, а скрипт такой специальный, со своего рода опережением мыслепреступлений :))
Самое интересное, что:
1. Судя по вашей же карте сайта и кэшу Google(см запрос ниже) на сайте никогда не было url: /soderzhanki-2-sezon-3-seriya и /soderzhanki-2-sezon-2-seriya
2. Судя по whois дата регистрации домена 2020-01-23, то есть сайт - свежак, и ещё даже не проиндексировался поисковиками. Из ~25 страницы, имеющихся на сайте:
- 10 страниц в индексе Google
- 3 страницы в индексе Яндексе, (одна появилась в выдаче позавчера, и две - 8 часов назад)
3. Судя по информации с вашей же карты сайта:
- 2 сезон 3 серия была выложена 2020-02-13, то есть только сегодня.
Не объясните, как вы успели получить на неё DMCA?
spoilerПотому, что, есть у меня сомнение, что ты, мил человек, просто спамер, и пытаешься накрутить себе посещаемость, "поведенские факторы", и получить ссылку с qna.habr.com.
PS: Хотя жалоба DMCA болтается в выдаче по запросу вашего сайта, но она на сериал "Фитнес", и вашего сайта в ней нет. Я не поленился, и запросил из lumendatabase.org полный список url по жалобе...
UPDATE: В комментариях топикстартер частично реабилитировался и смог предоставить правильный DMCA, соответствующий критериям заданного им вопроса, правда, на другой сайт - mazhor3.ru. Поэтому появилась возможность проверить ситуацию и ответить по существу вопроса.
На сайте mazhor3.ru, действительно нет некоторых страниц, указанных в жалобе DMCA (пришлось повозится, ибо автор топика редиректами уже сменил структуру URL на сайте, чтобы формально выйти из-под DMCA)
Это не ошибка Google - он не проверяет url-ы, присланные правообладателем в жалобе. Эти url могут быть вообще не в индексе Google, сайт может использовать клоакинг по IP. Поэтому Google не тратит свои ресурсы на расследования, а просто блокирует присланные url-ы, не проверяя существуют они или нет.
Правообладатели иногда злоупотребляют этим, и присылают "url на будущие серии". Они знают, что встречную жалобу на них подавать не станут (ведь у этого вебмастера на сайте полно нелегального контента, и таких сайтов у него целая сетка).
- О, я действительно впопыхах перепутал два разных своих домена. Ссылку на второй давать не буду, и так уже записали в спамеры.
Вот пруф - список жалоб, которые пришли на существующие и на несуществующие страницы:
https://www.lumendatabase.org/notices/20083096
https://www.lumendatabase.org/notices/20073905
https://www.lumendatabase.org/notices/20050518
https://www.lumendatabase.org/notices/20061111
- zemavo,
DMCA https://www.lumendatabase.org/notices/20061111 полностью соответствует критериям заданного вами вопроса:
Поэтому я дал ответ по существу вашего вопроса.
Риторический вопрос:
Вы не боитесь регистрировать сайт в зоне RU? (я про soderzhanki2.ru). Это уже юрисдикция РФ, данные о владельце домена и кто его оплачивал открываются на раз-два-три. А в российском суде вас правообладатели раскатают по полной. -
В комментариях топикстартер частично реабилитировался и смог предоставить правильный DMCA
перевели назад в мужики
- dimonchik2013, да, ложечки то нашлись, но осадок остался...
Мне ж надо было всё проверить досконально, прежде чем ответить. - granty, как говорилось в фильме "Поколение П" - "Боюсь, а кто не боится"?
- granty, можно сделать вывод, что в данный момент в борьбе брони и снаряда побеждает броня...
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Да, Google начал активно удалять из поиска страницы, которые ранее были заблокированы по причине ошибок 404 (страница не найдена) или других ошибок сервера. Это делается в рамках их постоянной работы над улучшением качества поисковой выдачи и предоставлением пользователям наиболее актуальной и полезной информации.
Если ваш сайт имеет много страниц, которые были заблокированы или удалены, это может повлиять на его рейтинг в поисковой выдаче. Поэтому важно следить за тем, чтобы все страницы на вашем сайте были доступны и не содержали ошибок.
Чтобы избежать проблем с удалением страниц из поиска Google, рекомендуется следовать следующим рекомендациям:
1. Перенаправляйте удаленные или перемещенные страницы на актуальные страницы с помощью кода статуса HTTP 301 (перемещено навсегда) или 302 (перемещено временно).
2. Используйте файл robots.txt для блокировки доступа к страницам, которые не должны быть индексированы поисковыми системами.
3. Используйте инструменты для веб-мастеров Google Search Console, чтобы проверить наличие ошибок индексации на вашем сайте и исправить их.
Приведу пример кода на PHP для реализации перенаправления страниц:
Соблюдение этих рекомендаций поможет избежать проблем с удалением страниц из поиска Google и поддерживать высокий рейтинг вашего сайта в поисковой выдаче.