Как правильно закрывать технические каталоги и дубликаты страниц сайта из индексации Google?

Ссылка скопирована
1 ответ

Продвигаю несколько сайтов на CMS Opencart, и возник вопрос по закрытию от индексации технических страниц и каталогов:

Ссылка на robots.txt на одном из этих сайтов - miumia.net.ua/robots.txt
и ссылка на сайтмапу - miumia.net.ua/sitemap.xml

Вот пример страницы при переходе из категории на сайте - miumia.net.ua/katalog-tkanej/byaz-dlya-poshiva?pro...
Вот пример страницы дубликата (из модуля просмотренные товары скорее всего) - miumia.net.ua/index.php?route=product/product&prod...

Как подобные страницы эффективнее и правильнее исключить из индексации:
1) Прописать ЧПУ на категории и товары, а остальные технические страницы в роботсе закрыть?
2) Прописать на каждой ненужной для поисковика странице <meta name=“robots” content=“noindex,nofollow”> + исключить их в роботсе (и есть ли смысл закрывать их и в роботсе и на каждой отдельной странице)?
3) Или есть плагины, которые прописывают ЧПУ для Opencart (если товаров мало, то можно вручную прописать, но когда их сотни и тысячи - тяжко :С )?

И хотелось бы узнать - если в начале оптимизации робот Google уже проиндексировал все эти технические каталоги и дубликаты страниц - и я начну оптимизировать способами указанными выше эти сайты и отправлю изменения в Google Webmaster, - сколько потребуется времени (примерно), чтобы они выпали из индекса и выпадут ли они вообще такими способами?

Заранее спасибо, опыт в оптимизации и продвижении небольшой и адекватной инфы по этому поводу узнать пока не от кого :)

Дополнительно:

robots это только рекомендации роботу, это значит, что он может игнорировать. Согласно справке гугла запретить попадание в индекс можно:
- ответ сервера кодами 40*
- специальный заголовок в ответе сервера
- meta name=“robots” content=“noindex,nofollow"
если в индекс попали страницы, или есть ссылки извне, то robots будет игнорирован, правда в выдаче будет написано, что результат скрыт и т.д., но судя по всему этот контент будет участвовать в ранжировании

  • И каким же способом можно их удалить из индекса - meta name=“robots” content=“noindex,nofollow" - этим? Со временем они не выпадут при наличии только роботс?
  • если вы сделаете то что я написал, то конечно выпадет, вначале из выдачи, потом из индекса.
    если будет код 404 или 410 удаление вообще из памяти гугла доходит до 180 дней. Остальные варианты значительно быстрее, зависит от скорости обхода, если сайт мало интересен гуглу, тогда дольше процесс.
  • Александр, спасибо большое за совет. Т.е. ноиндекс, нофоллоу на каждой странице и отправить на переиндекспцию в вебмастере?

    А если прописать чпу для них, то эти дубликаты в выдаче ж останутся? Все равно для них ноиндекс прописывать?

  • если убрать дубликаты нельзя, тогда нужно использовать в метатеге canonical в которой указывается верная страница, как вам посоветовали здесь. Отправлять на переиндексацию можно ограниченное кол-во страниц, и не факт что это сработает, все это только рекомендации роботу.
    А еще лучше, заменить вашу систему управления сайтом на нормальную, в которой нет этих проблем.
  • Александр, понял, т.е. когда пропишу чпу для них, то и каноникал на них сразу нужно прописать? Мне просто понять нужно что делать, подскажите - все вышеперечисленное - прописать чпу + каноникал на них, затем ноиндекс и нофоллоу на старые ссылки?
  • если программно удалить не нужные страницы нельзя, тогда просто каноникал и все, больше ничего, по мере обхода робот склеит и все.
  • Александр, я понял, спасибо большое за консультацию :)

Ответы:

Наверняка там можно настроить каноникал урл и не мучатся с закрытием

  • Вы имеете ввиду, что если прописать каноникал, то старые уйдут из индекса?
  • Oleg Keeach, что такое старые?
    Как это может быть связано с каноникал?
  • Пума Тайланд, я имел ввиду, если каноникал прописать для нужных мне страниц, затем прописать для них чпу, то старые без чпу или их дубликаты исчезнут из индекса и выдачи?

    П.С.: Под старыми ссылками я подразумевал ссылки без чпу, т.е. если где-то на них уже ссылаются, то они же не исчезнут из индекса правильно или каноникал поможет?

  • Oleg Keeach, в индексе будет каноникал урл
Нужно решить такую задачу?

Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.

Заказать помощь
Лучший ответ
1
Роман IT Ответ

Для того чтобы правильно закрыть технические каталоги и дубликаты страниц сайта из индексации Google, необходимо использовать файл robots.txt и метатеги noindex на соответствующих страницах.

1. Robots.txt:
Robots.txt - это текстовый файл на сервере, который указывает поисковым роботам, какие страницы сайта им разрешено индексировать, а какие нет. Для блокировки технических каталогов или дубликатов страниц, необходимо добавить соответствующие директивы в файл robots.txt. Например, чтобы запретить индексацию каталога "technical" и всех его подкаталогов, можно добавить следующую строку:

User-agent: *
Disallow: /technical/

User-agent: * Disallow: /technical/

2. Метатег noindex:
Для блокировки индексации конкретных страниц сайта, можно использовать метатег noindex в HTML-коде каждой страницы. Добавьте следующий метатег в раздел каждой страницы, которую вы не хотите, чтобы Google индексировал:

 

После того как вы добавили соответствующие директивы в файл robots.txt и метатеги noindex на страницы сайта, которые вы хотите исключить из индексации, не забудьте проверить корректность настроек с помощью инструментов Google Search Console. Также рекомендуется периодически проверять индексацию страниц сайта с помощью поисковых запросов в Google, чтобы убедиться, что изменения вступили в силу и сайт отображается в поисковой выдаче корректно.

Другие ответы (0)

Пока нет других ответов. Будьте первым, кто поможет автору.

Ответить на вопрос

комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Вам также может быть интересно