Как автоматизировать сбор замеров (DevTools) статистики открытия веб-страниц сайта в БД?

Приветствую.

Посоветуйте как автоматизировать такую задачу?

Требуется автоматически собирать замеры определенных разделов сайта (чтобы потом спарсить всё это дело через PHP в БД).

Сейчас мы в ручную по 10 раз открываем в Chrome нужные разделы в DevTools и записываем нужные данные для будущих сверок.

Грубо говоря, простой вариант - хотелось бы создать механизм (или использовать готовый) который по нужным разделам сайта (раз по 20) без кеширований высчитывал среднюю скорость открытия первичного контента, полной загрузки страницы сайта, обьём страницы, число изображений, css-файлов (со списками), js-сок, их весом и тд и тп (всё что есть в DevTools Chrome). Для дальнейшей выгрузки в БД (чтобы иметь динамику замеров за различные периоды).

HAR-файл приходится вручную выгружать + он не хранит ту же информацию по итоговым цыфрам (Load, DocumetContent load и тд)

Есть ли готовые инструменты/механизмы для аналогичных задач или как можно выгружать и автоматизировать выгрузку из DevTools для дальнейшей обработки полученных данных?

Дополнительно:

Сейчас мы в ручную по 10 раз открываем в Chrome нужные разделы в DevTools и записываем нужные данные для будущих сверок.

мсье знает толк в извращениях

  • Selenium 4.x это позволяет автоматизировать
    конечно если нравится то продолжайте вручную

    • Ответы:

    открой для себя APM - Newrelic и все такое подобное,
    + автотесты фронтэнда - на ошибки,
    + фичи от Cloudflare да и того же гугла по средней загрузке страниц

    а если в СЕО играетесь - то Селениум

    • Спасибо за наводки, погуглю аналоги. РЕЛИК да, довольно навороченная штука.
      Но как понимаю с теперь РУ проблемы + платно
    • он доогой, есть аналоги попроще - на Хабр бывает списки / статьи

    + Заказать

     

    Для решения данной проблемы вы можете воспользоваться услугами фрилансеров. Мы выполним необходимую работу быстро и качественно.

     

      • Как автоматизировать сбор замеров (DevTools) статистики открытия веб-страниц сайта в БД?Есть ответ
      • 09.04.2024
      Ответить

      Для автоматизации сбора замеров статистики открытия веб-страниц сайта в базу данных, вы можете использовать инструменты разработчика браузера (DevTools) в сочетании с скриптами на стороне сервера.

      Вот примерный план действий, который вы можете использовать для этой задачи:

      1. Используйте DevTools для сбора замеров производительности при загрузке страницы. Откройте вкладку "Network" и "Performance" в DevTools, чтобы получить информацию о времени загрузки ресурсов, выполнения JavaScript кода и других метрик.

      2. Напишите скрипт на стороне сервера (например, на PHP) для сохранения этих замеров в базу данных. В этом скрипте вы можете использовать функции для работы с базой данных (например, mysqli или PDO для работы с MySQL).

      Пример скрипта на PHP для сохранения замеров в базу данных:

      connect_error) {
    die("Connection failed: " . $conn->connect_error);
}
 
// Получение данных из DevTools
$performance_data = $_POST['performance_data']; // Предполагается, что данные передаются методом POST
 
// Вставка данных в базу данных
$sql = "INSERT INTO performance_stats (data) VALUES ('$performance_data')";
 
if ($conn->query($sql) === TRUE) {
    echo "Запись успешно добавлена в базу данных";
} else {
    echo "Ошибка: " . $sql . "<br>" . $conn-&gt;error;
}
 
$conn-&gt;close();
?&gt;

      3. Настройте скрипт для выполнения автоматически после загрузки каждой страницы вашего сайта. Для этого вы можете использовать событие "onload" в JavaScript для отправки данных на сервер.

      Пример скрипта на JavaScript для отправки данных на сервер:

       
window.onload = function() {
    var performance_data = JSON.stringify(window.performance.timing); // Получение данных о времени загрузки страницы
 
    // Отправка данных на сервер
    var xhr = new XMLHttpRequest();
    xhr.open("POST", "save_performance_data.php", true);
    xhr.setRequestHeader("Content-Type", "application/json");
    xhr.send(performance_data);
};

      Это лишь примерный план действий, который вы можете использовать для автоматизации сбора замеров статистики открытия веб-страниц сайта в базу данных. При необходимости вы можете доработать и оптимизировать этот подход под свои конкретные требования и условия использования.

      • Как автоматизировать сбор замеров (DevTools) статистики открытия веб-страниц сайта в БД?Есть ответ
      • 07.04.2024
      Ответить

      Для автоматизации сбора замеров статистики открытия веб-страниц сайта в базу данных можно использовать различные инструменты и технологии. Один из способов - это использование DevTools, интегрированных с Google Chrome, для сбора данных о производительности и загрузке веб-страниц.

      Для начала необходимо определить, какие конкретно метрики вы хотите отслеживать, например, время загрузки страницы, время до первой отрисовки, количество запросов к серверу и т.д. Затем можно написать скрипт на JavaScript, который будет использовать DevTools Protocol для сбора этих метрик.

      С помощью DevTools Protocol можно автоматизировать процесс открытия веб-страницы в браузере, выполнить необходимые замеры и отправить данные в базу данных. Например, можно использовать Puppeteer - библиотеку Node.js для управления браузером с помощью DevTools Protocol.

      Для сохранения данных в базу данных можно использовать язык программирования, который поддерживает работу с БД, например, Python с библиотекой SQLAlchemy для работы с SQL базами данных.

      Таким образом, автоматизация сбора замеров статистики открытия веб-страниц сайта в базу данных требует использования DevTools, DevTools Protocol, Puppeteer и языка программирования для работы с базой данных. После настройки и запуска скрипта, вы сможете получать актуальные данные о производительности вашего сайта и анализировать их для улучшения пользовательского опыта.

    Оставить комментарий