Парсинг сайтаблога. Нужны уведомления о поступлении новых постов. Как сделать?

Добрый день всем. Нужна Ваша помощь!!!)
Суть в том, что имеется несколько десятков блогов(чужихлевых 😉 т.е доступа к админке какой либо и тд нету.) на определенную тематику и нужно как-то отслеживать появление на них новых постов. Когда соответственно новый пост в этих блогах появляется, то нужно что бы приходило какое-то оповещение например на почту. Скажите какими средствами такое лучше реализовать? Есть может какая програмка или скрипт готовый на гите или где там еще.
Так же в дальнейшем скорее всего нужно будет сделать так, что бы при появлении новых постов в блогах, не только уведомление приходило, но и сами статьи парсились и дальше заносились в Базу данных основного другого блога.

Возможно нужен именно парсер странички для этой цели или что то большее? Короче нужна помощь вот с этим делом)
Помогите ссылками, примерами, или в правильном направлении направьте)

Заранее всем спасибо, господа!

Дополнительно:

RSS

  • Спасибо. Подредактировал описание. Блоги не мои. Нет доступа не к админкам не к чему короче) Но на получать уведомление, что на том то блоге опубликовалась новая статья...
  • StiveM, для чужих сайтов остаётся только лонг поллинг - в цикле делаете опрос сайта на предмет новых постов с каким-то интервалом времени.
  • StiveM, погугли RSS программа, просто даешь url ей и все, она собирает все что нужно, раньше был RSS от гугла, вот была вещь... очень жаль что закрылась
    но сейчас и аналогов много как сервисы/сайты
  • Спасибо Всем, попробую погуглить какую-нибудь RSS программку)) А может кто-то встречал самописные скрипты, на пример на PHP или JS, для таких дел?

Можно написать бота, который будет с нужной периодичностью проходить по списку блогов и при наличии обновлений выполнять какие-либо действия. Например, сообщать в телеграм, парсить контент, собирать в эксель и прочее.
Если нужно больше информации о всем процессе - задавайте вопросы.

  • О Супер!! Да, это именно то, что и нужно))) Пройтись по всем блогам сторонним, потом оповестить на почтутелеграм о том, на каком блоге появилась новая записьстатья) А как дополнительный функционал - спарсить данные нового поста(картинка там, заголовок, текст и тд) и на пример залить эти новые посты в базу данных.

    Скажите какими средствами можно создать такого бота ? Или это может быть парсер на PHPJS?
    Интересует в первую очередь только возможность - пройти по списку блогов и прислать на почту или телеграм те блоги в которых появилась новая статья. Подскажите справиться ли с такой задачей обычный парсер, которых можно найти на Гите в достатке? Или тут что то более сложнее нужно думать?

    Заранее очень благодарю!

  • StiveM, можно на чем угодно, в принципе. Я подобных ботов делал на Python.
    Универсальной "отмычки" не бывает. Потому для каждого блога нужно искать свой подход, как взять нужную информацию. То есть, парсер один, но ему нужно будет писать инструкции для каждого блога.
  • MonAmur, А.. Вот оно что. Блин.. Я просто пока не прикидывал даже еще. Но где то предположительно будет 30-50 блогов)))) с которых нужно будет получать оповещение , что появилась новая статья.. - Это будет гораздо сложнее сделать для такого количества или все же не на столько ? Если знаете можете скинуть пару готовых скриптов или примеров как другие люди писалиделали такое?? Я гуглил , но находил не то, находил парсеры простые типа - спарсить список товаров на каком-то то сайте и все. А как вот сделать так что бы оно оповещало пробегаясь по всем и тд и тп пока что не предстовляю. Или может какой алгоритм действий подскажитеиз чего должен быть построен скрипт сам, типа что должен минимально делать типа того..? Боже я наверное ужасно глупые вопросы задаю.. Извиняюсь заранее.

См. followthatpage.com, feed43.com.

  • Спасибо, гляну!)

+ Заказать

 

Для решения данной проблемы вы можете воспользоваться услугами фрилансеров. Мы выполним необходимую работу быстро и качественно.

 

    • Парсинг сайтаблога. Нужны уведомления о поступлении новых постов. Как сделать?Есть ответ
    • 09.04.2024
    Ответить

    Для реализации уведомлений о появлении новых постов на сайтаблоге, вам потребуется использовать парсинг HTML страницы сайта для получения информации о новых постах. Для этого можно воспользоваться библиотеками парсинга HTML, такими как BeautifulSoup для Python или Simple HTML DOM Parser для PHP.

    Вот пример использования PHP и Simple HTML DOM Parser для парсинга сайта и получения информации о новых постах:

    find('a');
 
// Перебираем найденные ссылки
foreach ($links as $link) {
    $postTitle = $link->plaintext; // Заголовок поста
    $postUrl = $link->href; // Ссылка на пост
 
    // Делаем проверку на новый пост
    // Здесь можно сравнивать заголовки постов, даты публикации и т.д.
 
    // Если пост новый, отправляем уведомление
    if ($isNewPost) {
        // Отправляем уведомление о новом посте
        // Например, через email, SMS и т.д.
        echo "Новый пост: $postTitle - $postUrl";
    }
}
?>

    Этот код парсит HTML страницу сайта по указанному URL, находит все ссылки на посты и проверяет их на новизну. Если пост является новым, то выводится уведомление с заголовком и ссылкой на него.

    Не забудьте заменить 'http://example.com/blog' на URL вашего сайтаблога и настроить отправку уведомлений в соответствии с вашими предпочтениями (email, SMS и т.д.).

    Надеюсь, данное решение поможет вам реализовать уведомления о новых постах на вашем сайтаблоге. Если у вас возникнут дополнительные вопросы, не стесняйтесь задавать их.

    • Парсинг сайтаблога. Нужны уведомления о поступлении новых постов. Как сделать?Есть ответ
    • 07.04.2024
    Ответить

    Для решения данной задачи – парсинга сайтаблога и получения уведомлений о поступлении новых постов, можно использовать различные подходы и инструменты. Рассмотрим несколько возможных вариантов решения данной проблемы.

    1. Использование веб-скрапинга и библиотек Python.
    Для парсинга сайтаблога и получения информации о новых постах можно воспользоваться библиотеками Python, такими как BeautifulSoup и requests. Сначала необходимо получить HTML-код страницы сайта, затем с помощью BeautifulSoup извлечь необходимую информацию о новых постах (например, заголовок, дату публикации и ссылку на пост). Далее можно установить расписание выполнения скрипта с помощью библиотеки schedule и отправлять уведомления о новых постах через email или мессенджеры.

    2. Использование RSS-фидов.
    Многие сайты и блоги предоставляют RSS-фиды, которые содержат информацию о новых постах. Для получения уведомлений о новых постах можно использовать библиотеки Python для работы с RSS-фидами, например feedparser. После получения данных из RSS-фида можно отправлять уведомления о новых постах пользователю.

    3. Использование сервисов мониторинга изменений на сайтах.
    Существуют различные сервисы, которые могут мониторить изменения на сайтах и отправлять уведомления о новых постах или обновлениях. Например, можно воспользоваться сервисами, такими как ChangeTower, Distill.io или PageMonitor. Эти сервисы могут отслеживать изменения на странице сайтаблога и отправлять уведомления в реальном времени.

    4. Использование API сайта.
    Некоторые сайты предоставляют API для получения информации о новых постах или обновлениях. Для работы с API сайта необходимо зарегистрироваться на сайте, получить API ключ и изучить документацию по использованию API. После этого можно написать скрипт на Python или другом языке программирования для получения данных о новых постах и отправки уведомлений.

    Выбор способа решения данной задачи зависит от конкретных требований и возможностей сайтаблога, а также от удобства использования и предпочтений пользователя. Каждый из предложенных вариантов имеет свои преимущества и недостатки, поэтому стоит выбрать наиболее подходящий способ и реализовать его для получения уведомлений о новых постах на сайтаблоге.

Оставить комментарий