Почему Google так медленно индексирует популярный сайт?

Всем привет, пересоздаю тему из-за того что до сих пор актуальна.

Проблема вот какая есть популярный сайт который оооооочень медленно индексируется Google. Есть новости которые уже спустя месяц до сих пор не проиндексированны пока не добавил сам в ручную и не попросил проиндексировать. Если статья и попадает в Google под индексацию то обычно в течении 1-2 недель, попадает сразу в ТОП-3 и за пару дней на ТОП-1 переходит. Но почему так долго? Есть сайты где контент добавляются и он через час в Google есть хоть и в ТОП-10 а мой не добавляют и спустя недели. Куда копать? В чем беда может быть?

Что касается жалоб от Google. Были жалобы на повторяющееся метаописание (description) на 4 страницах, уже исправлено. Больше жалоб не поступало...

Дополнительно:

Что такое "популярный"?

Ответы:

Чтобы ответить что с "больным" - нужно увидеть этого "больного". Т.е что с сайтом сказать сложно. Проблема может быть в организации перелинковки внутри проекта, его авторитетности( трасте) который напрямую зависит от количества и КАЧЕСТВА ссылающихся на Вас , сайтов и качестве самого контента, как его тематичности. Всё это может давать подобный эффект.

• К сожалению не получится просто на сайте закрыта внешка и доступ имеют только Google,Yandex и пользователи страны, никто больше не сможет зайти на на него. Что касается самой беды забыл еще вот что указать у сайта менялся домен на старом индексация была в течении 2-3 часа, старому домену был год. Новому домену уже 9 месяцев.
• Константин Хаиров,
  

  К сожалению не получится просто на сайте закрыта внешка и доступ имеют только Google,Yandex и пользователи страны, никто больше не сможет зайти на на него.

  Вас обманул кто-то.
  Это технически невозможно реализовать.

• abmanimenja, Возможно проще простого. В Firewall пропускаешь только диапозон IP своей страны и диапозон Google с Yandex , проще простого.
• Константин Хаиров, Возможно еще причина в "прошлом" домена. Был заражён вредоносным кодом, или некачественное ссылочное. Если домен новый - то некорректно выполнили редирект. Ну и само по себе - закрыть сайт от пользователей оставив только роботов - и ожидать его в индексе- так себе идея , поскольку философия поисковых машин всё-таки сайт для людей. А если только для роботов - могут быть нюансы.
• Андрей Голубев, Заражений не было, переадресация выполнил верно через NGINX этот способ видел на большинстве сайтов когда искал ответ на вопрос "Как сделать редирект со старого домена на новый" Заражений не было и домен совсем новый без истории. Что касается закрытой внешки то там сайт 2 года работа и за обновлением или добавлением новых IP у Google стараюсь следить, ни разу не было жалобы от Google что сайт недоступен.
• Константин Хаиров,
  

  В Firewall пропускаешь только диапозон IP своей страны и диапозон Google с Yandex , проще простого.

  Яндекс и Гугль не разглашают адреса своих поисковых ботов.
  Полагаю, вы просто забанили поисковик. Но не полностью - часть ботов все же прорывается (например, это сервера внутри вашей страны). И потому он обходит вас столь редко.

  Давным-давно сделано - использование в качестве ботов серверов в чужих датацентрах. Тот же Яндекс даже и не скрывал зачем - для того, чтобы избежать обмана (когда к вам приходит бот из IP, принадлежащего Яндексу, вы показываете одно; когда приходит обычный посетитель - показываете другое).

  А на IP адреса самого Яндекса и Гугля - там совсем другие сервисы.

  Дело в том, что бот только собирает информацию. А ее анализ, индексация, хранения и выдача ответов - вот там как раз используются сервера из подсети Яндеса, Гугля. Тут уже скрывать не нужно.

  А боты - они не факт, что имеют IP, которым владеет Yandex LLC

• abmanimenja, ну, справедливости ради, все, что представляется подтвережденным Гуглботом, ходит таки из Калифорнии, даже не из остального US

  ну а так да, ручные индусы у Гугла в Индии

• ну, справедливости ради, все, что представляется подтвережденным Гуглботом, ходит таки из Калифорнии, даже не из остального US

  Возможно ваши сайты расположены на хостингах там?
  На моих российских такого не наблюдается.

• Константин Хаиров, зачем??????

Проблем может быть много.

Вот список самых частых в порядке убывания:
-много js на страницах
-отсутствует или плохо настроена сайтмапа
-на сайт мало внешних ссылок
-очень большое количество страниц с сомнительным качеством или малым количеством контента
-редкая обновляемость контента

• Не ясность именно в том что ничего из этого нет у меня. Контент ежедневно обновляется по 5-10 статей. JS на странице (Bootstrap+owl carousel) Внешних ссылок около 50 с разных сайтов 10-15 из которых с лучших сайтов моей страны посещаемости. Все страницы получают ТОП-3 именно за счет достоверной информации и привлеченности пользователей.
• Это странно. Предполагаю что проблема техническая и возможно вы ее просто не видите.

  Попробуйте использовать сервисы пинга, они очень хорошо помогают.

Короче сайт твой с точки зрения гугла - говно, не стоящее частого индексирования

Гугл инлексирует часто только то, что ему интересно
а ему интересен оригинальный контент

в целом без данных слона глупо осматривать, но смотрите за вебмастер тулс , и логами, там бывают подсказки

• а ему интересен оригинальный контент

  qaru

• sim3x, Кстати да, часто видел этот сайт в выдаче и индексация быстрая. Но насколько я замечал все копирует от https://stackoverflow.com/

• qaru

  Гугл , к счастью, не настолько умен , или, тут скорее , преимущество локализованной выдачи

  мы сталкивались когда переведенные страницы убирались под фильтр с присыланием сообщения в вебмастер, но при правильных настройках hreflang и региона сайты оставались

• dimonchik2013, Я вот что еще заметил. Я добавлял страницу в ручную и Google пишет что страницу уже давно отсканированна но не проиндексированна.

Гугл пингуете при добавлении контента?
Новый сайтмап Генерите при каждом обновлении и в нем проставлены повинные интервалы обновления?
В Твиттер скармливаете ссылки новые?

Думается на сайтмап и внутреннюю перелинковку. Возможно боту сложно найти ваши новые статьи, вот он их и игнорит. Сложно судить