Такой вопрос, проверил статистику обхода в гугле и яндексе, и понял, что есть проблема, он переходит на страницы, которые я заблокировал в robots.txt. Все страницы, в которых находится вопросительный знак
Прописана такая строчка
Disallow: /?/
Также гугл выдает ошибку, проиндексировано, не смотря на блокировку в robots.txt, что можно сделать?(
В карте сайте нет ничего, прямых ссылок на сайте также нет, за исключением страницы с другими страницами, там ссылки где поменять страницы с первой на вторую и т.д.
Пагинация страниц
Дополнительно:
Disallow: /*?*
Для решения данной проблемы вы можете воспользоваться услугами фрилансеров. Мы выполним необходимую работу быстро и качественно.
Оставить комментарий Отменить
Ответы
- Есть ответ! к записи Как уменьшить масштаб меньше 100% в Windows 10 (22H2)
- Есть ответ! к записи Аналоги CloudFlare в России?
- Есть ответ! к записи Аналоги CloudFlare в России?
- Есть ответ! к записи Как называется человек, который дизайн придумает для сайта и сверстает его?
- Есть ответ! к записи Можно ли установить Яндекс.Диск на АльтЛинукс?
- Есть ответ! к записи Картинки мутные только на сафари, есть выход?
- Есть ответ! к записи Keenetic. Как настроить SSTP клиент с сертификатом?
- Есть ответ! к записи Чем заменить executor в aiogram 3?
Запретить переобход страниц сайта можно с помощью различных методов и технологий, которые помогут защитить сайт от несанкционированного доступа и манипуляций. Ниже приведены некоторые из них:
1. Использование robots.txt: robots.txt - это текстовый файл, который содержит инструкции для поисковых роботов о том, какие страницы сайта они могут индексировать. В robots.txt можно указать запрет на индексацию определенных страниц или каталогов.
2. Установка мета-тега noindex: Добавление мета-тега noindex на страницы, которые не должны быть индексированы поисковыми системами, поможет предотвратить их переобход.
3. Использование CAPTCHA: CAPTCHA - это технология, которая проверяет, что пользователь является человеком, а не ботом. Добавление CAPTCHA на страницы сайта поможет предотвратить автоматический переобход.
4. Аутентификация и авторизация: Требование ввода логина и пароля для доступа к защищенным страницам сайта поможет предотвратить несанкционированный доступ.
5. Использование технологии Web Application Firewall (WAF): WAF - это средство защиты веб-приложений, которое фильтрует и мониторит HTTP-трафик на предмет вредоносных запросов и атак, включая переобход страниц.
6. Шифрование данных: Использование SSL-сертификата для шифрования данных, передаваемых между пользователем и сервером, поможет предотвратить перехват и изменение информации при переобходе страниц.
7. Мониторинг и аналитика: Регулярный мониторинг журналов доступа к сайту и анализ запросов помогут выявить попытки переобхода страниц и принять меры по их предотвращению.
В целом, комбинация различных методов и технологий поможет сделать сайт более защищенным от переобхода страниц и других видов атак. Важно регулярно обновлять и улучшать меры безопасности, чтобы обеспечить надежную защиту сайта и данных пользователей.