Почему продолжает индексироваться сайт?
Нужно закрыть сайт от индексации, прописал в robots.txt нужную запись, плюс поставил <meta name="robots" content="none"> на главной странице сайта, но проверка в онлайн сервисах показывает что он по прежнему индексируется
Дополнительно:
Потому что процесс его удаления не быстрый.
Просто удалить его через вебмастер не помогает? Тем самым ускорив сообщение поисковику, что страницы не нужны?
Ответы:
Сколько путаницы.
Чтобы деиндексировать сайт, правильнее всего всем страницам присвоить мета "robots" со значением noindex.
Мгновенного результата это не даст. Впрочем, мгновенного результата это не даст при любом способе.
В robots.txt вы прописываете запрет на сканирование - что вовсе не равнозначно запрету на индексирование. В выдаче достаточно сайтов, сниппеты с которых не выводятся: скачивать странички запрещено директивами robots.txt. А ссылки в выдаче - есть. И даже в топах. Потому что даже если там есть мета с запретом на индексирование, ПС об этом узнать не могут - поскольку сканировать/скачивать страницу им нельзя.
Помимо мета рекомендую воспользоваться инструментарием Яндекс-Вебмастер и Search Console. Там есть инструменты, позволяющие напрямую запросить удаление из индекса ненужного контента.
И имейте в виду, что все эти меры в принципе ничего не гарантируют. Это лишь пожелания, не приказы. А тот же гуглобот по деиндексированным и удаленным URL может потом ходить годами. Зачем – не знаю.
проверка в онлайн сервисах показывает
это несерьезно
должны логи "показывать"
но в целом все верно: робот не ходит "на главную и дальше", робот ходит по сохраненным и с них
так что, думаю, ничего вы, кроме главной, индексировать не запретили
закройте от индексации все страницы и сам домен в вебмастере Яндекса/Гугла и т.п.
Если хотите мгновенный результат - анализируйте User-Agent пришедшего клиента, отвечайте HTTP кодом 403 или 404.
А онлайн сервисы, показывающие "сайт индексируется" - от самих Гуглов/Яндексов, или посторонние какие-то сайты, которые могут свистеть что угодно?
1) исключить старицы из sitemap.xml (это рекомендации для поисковиков для индексации)
2) прописать метатеги noindex и nofollow
3) запретить страницы в robots txt (это рекомендации для поисковиков для индексации или для исключения из индексации)
4) проверить сайт на дубли и ошибки. Тут сложно сказать, нужно смотреть по ситуации. Возможно страница или её дубли уже про индексировалась и страница уже известна поисковикам - если так, то просто подождать переиндексации.
Если есть внешние ссылки на Ваш сайт, то ничего не поможет.
Если таких ссылок нет, то:
1) robot.txt
User-agent: *
Disallow: /
2) Добавьте метатег в HTML-код страниц сразу после
<html><head> <meta name="robots" content="noindex"> |
<html><head> <meta name="robots" content="noindex">
Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.
Пока нет других ответов. Будьте первым, кто поможет автору.
Ответить на вопрос
Существует несколько причин, почему сайт продолжает индексироваться поисковыми системами. Во-первых, поисковые роботы регулярно сканируют интернет в поисках нового или обновленного контента. Если ваш сайт содержит интересную и актуальную информацию, поисковые системы будут индексировать его, чтобы предложить пользователям самую свежую информацию.
Во-вторых, если на вашем сайте есть ссылки с других ресурсов, это также способствует его индексации. Поисковые системы используют ссылки как один из факторов ранжирования, поэтому чем больше ссылок на ваш сайт, тем выше вероятность его индексации.
Также важно уделять внимание SEO (Search Engine Optimization) - оптимизации сайта для поисковых систем. Это включает в себя использование ключевых слов, уникального контента, удобной навигации, быстрой загрузки страниц и многих других факторов, которые могут повлиять на индексацию сайта.
Если ваш сайт не индексируется, возможно, есть проблемы с его структурой, контентом или техническими аспектами. Рекомендуется провести аудит сайта, чтобы выявить возможные причины и исправить их.
В целом, чтобы сайт продолжал индексироваться, необходимо постоянно обновлять его контент, работать над его улучшением и следить за его техническим состоянием. Только таким образом можно обеспечить постоянный трафик и видимость в поисковых системах.