Автор: DevOps компании Hostkey Никита Зубарев
Инфраструктура нашей компании поддерживается на высоких уровнях SLA, что требует от нас измерять, наблюдать и отправлять отчеты, которые фиксируют метрики производительности систем.
В одной из прошлых статей мы рассмотрели варианты установки федерации Prometheus, Alertmanager и Node Exporter, но у нас также есть задача мониторинга задержки производительности наших приложений и точного выявления проблемных конечных точек. Мы отслеживали время отклика всех конечных точек, которые использовались в потоке приложения, и с помощью BlackBox Exporter обнаружили наши конечные точки, вызывающие задержку. Соответственно, перед нами возникла задача наладить мониторинг статус-кодов ответов наших web-сервисов, а также сроков действия SSL-сертификатов.
Что такое мониторинг конечных точек, зачем он нужен?
Мониторинг конечных точек позволяет обнаруживать и анализировать подозрительную активность на устройствах, такую как несанкционированные попытки доступа к системе, внедрение вредоносного ПО, изменение настроек без разрешения пользователя и другие аномальные действия.
Такой мониторинг позволяет обеспечить безопасность информации, защитить конфиденциальные данные, предотвратить утечки информации и другие кибератаки. Он также помогает управлять рисками и повышать эффективность работы сети, используя данные о конечных точках для оптимизации настроек и процессов.
В целом, мониторинг конечных точек — важный инструмент информационной безопасности, который позволяет обнаруживать и предотвращать угрозы, связанные с конечными точками в сети.
В контексте нашей статьи мониторинг конечных точек относится к мониторингу внутренних и внешних конечных точек (HTTP/S, DNS, TCP и ICMP) для различных параметров, включая задержки HTTP, задержки поиска DNS, информацию об истечении срока действия сертификата SSL, версию TLS.
Мониторинг Whitebox против Blackbox
Мониторинг белого ящика (white-box testing) относится к мониторингу внутренних компонентов системы, включая журналы приложений, метрики от обработчиков. Мониторинг черного ящика, с другой стороны, включает в себя отслеживание поведения извне, которое влияет на пользователей, такое как сбои в работе сервера, снижение производительности сайта или отдельных страниц.
Blackbox Exporter для Prometheus позволяет реализовать мониторинг внешних сервисов через HTTP, HTTPS, DNS, TCP, ICMP. Каким образом следить за истечением срока действия SSL-сертификата? Самый распространенный способ — blackbox_exporter в сочетании с Prometheus.
Мы собрали rpm-пакет из исходников кода и с помощью Ansible доставили его на хост мониторинга, запустили через Jenkins. Общий алгоритм мониторинга представлен ниже.
Собранный бинарник помещаем в /usr/local/bin/, создаем сервис и конфигурацию (с помощью Ansible):
blackbox.service [Unit] Description=Blackbox Exporter Service Wants=network-online.target After=network-online.target [Service] Type=simple User=root Group=root ExecStart=/usr/local/bin/blackbox_exporter —config.file=/etc/blackbox/blackbox.yml Restart=always [Install] WantedBy=multi-user.target
В конфигурации blackbox.yml сразу добавляем модули http_2xx, ssh, icmp:
modules: http_2xx: prober: http timeout: 10s http: valid_status_codes: [200,302,301,304,401,403] method: GET http_post_2xx: prober: http timeout: 10s http: valid_status_codes: [200,302,301,304,401,403] method: POST tcp_connect: prober: tcp pop3s_banner: prober: tcp tcp: query_response: — expect: «^+OK» tls: true tls_config: insecure_skip_verify: false grpc: prober: grpc grpc: tls: true preferred_ip_protocol: «ip4» grpc_plain: prober: grpc grpc: tls: false service: «service1» ssh_banner: prober: tcp tcp: query_response: — expect: «^SSH-2.0-» — send: «SSH-2.0-blackbox-ssh-check» irc_banner: prober: tcp tcp: query_response: — send: «NICK prober» — send: «USER prober prober prober
rober» — expect: «PING [^ ]+)» send: «PONG ${1}» — expect: «^:[^ ]+ 001» icmp: prober: icmpЗатем подключаемся к web-интерфейсу Blackbox Exporter через web-браузер по адресу localhost:9115
При переходе по адресу http://localhost:9115/probe?module=http_2xx&target=“your_ip”.com можно увидеть результат проверки указанного URL https://“your_ip”.com:
probe_http_status_code 200 — status code 200 probe_success равное 1 означает успешную проверку. Значение 0 говорит об ошибке. probe_ssl_earliest_cert_expiry 1.705363199e+09 # HELP probe_ssl_last_chain_expiry_timestamp_seconds Returns last SSL chain expiry in timestamp seconds
probe_ssl_earliest_cert_expiry — время до окончания действия цепочки сертификатов. Об этом автоматически сообщается для любых конечных точек SSL.
Мы можем исследовать определенные статические цели из Prometheus с помощью Blackbox Exporter, используя static_configs.
Static_configs позволяет определить список адресов для мониторинга, а также настроить параметры запросов и интервалы мониторинга. Эти настройки могут быть заданы в конфигурационном файле Prometheus в формате YAML.
В нашем случае метка param_target указывает Prometheus установить target для параметра запроса заданного значения, которое в данном случае является адресом цели, то есть hostkey.com.
— job_name: blackbox-ssl metrics_path: /probe params: module: — http_2xx relabel_configs: — source_labels: — __address__ target_label: __param_target — source_labels: — __param_target target_label: instance — replacement: localhost:9115 target_label: __address__ static_configs: — targets: — hostkey.com
Аналогично для http:
— job_name: blackbox-http metrics_path: /probe params: module: — http_2xx relabel_configs: — source_labels: — __address__ target_label: __param_target — source_labels: — __param_target target_label: instance — replacement: localhost:9115 target_label: __address__ static_configs: — targets: —
You do not have permission to view link please Вход or Регистрация
сгенерированных метрик в Prometheus
После применения изменений и развертывания ресурсов для Blackbox Exporter мы можем проверить статус целей в Prometheus: работает ли экспортер с зарегистрированными целями. Для этого необходимо перейти на вкладку «Статус» и выбрать «Цели» в пользовательском интерфейсе Prometheus.
Здесь можно увидеть, что мы используем
You do not have permission to view link please Вход or Регистрация
— внешнюю цель для ссылки с ее состоянием UP. Мы также можем проверить, заполняются ли метрики, выполнив поиск метрик, начинающихся с “probe_…”:
Метрика probe_ssl_earliest_cert_expiry возвращает самый ранний срок действия SSL-сертификата в unixtime.
В promethus.yml добавляем файл правил алерта:
rule_files: — ssl_check.yml groups: — name: ssl_expiry.rules rules: — alert: SSLCertExpiringSoon expr: probe_ssl_earliest_cert_expiry{job=»blackbox-ssl»} — time() < 86400 * 10 for: 10m labels: severity: critical annotations: description: SSL Cerificate will expire after 10 days probe_ssl_earliest_cert_expiry{job=»blackbox-ssl»} — time() < 86400 * 10
Согласно формуле, получим предупреждение за 10 дней до истечения сертификата. И увидим предупреждения в дашборде Alermanager:
В канале Rocket.Chat мы можем получить как уведомления об истечении сертификата, так и об иных ошибках, например, уведомления о проблемах работы сайта:
В приведенном выше примере панели мониторинга видно, что теперь мы можем отслеживать производительность сайта, измеряя время отклика с помощью метрик probe_http_duration_seconds, сгенерированных Blackbox Exporter.
В этом сценарии мы сосредоточимся на проблеме, связанной с истечением срока действия сертификата. Если мы хотим отслеживать, когда истечет срок действия сертификата нашего домена, мы можем добиться этого, используя метрику probe_ssl_earliest_cert_expiry, созданную экспортером для наших входных ресурсов. Мы также можем использовать его для мониторинга работы разрешения DNS или при наличии каких-либо задержек/проблем со стороны балансировщика нагрузки.
Мы можем проверять модули и создавать панель мониторинга работоспособности для наших приложений. В приведенном выше примере мы видим, что мы проверяем модуль на конечной точке /health, используя метрики probe_http_status_code, сгенерированные Blackbox Exporter.
Преимущества Blackbox Exporter
Измерение времени отклика — самая важная функция Blackbox Exporter, в таких случаях его можно рассматривать как отличный инструмент для анализа задержки/доступности конечных точек, включая наши конечные точки, с которыми сталкиваются пользователи и сторонние службы.
Blackbox Exporter можно использовать для обнаружения сбоев конечных точек и проверки работоспособности, его можно интегрировать с Alertmanager (мы можем добавить правила оповещения в Prometheus, чтобы получать оповещения о Blackbox Exporter).
Мы всегда можем оставаться в курсе, отслеживая дату истечения срока действия сертификатов конечных точек с помощью Blackbox Exporter.
Заключение
В этой статье мы рассмотрели следующие моменты:
Что такое Blackbox Exporter, зачем он нужен.
Как установить и использовать Blackbox Exporter и отслеживать его с помощью Grafana.
Каковы некоторые важные варианты использования/преимущества Blackbox Exporter.
Мониторинг HTTP и SSL через Prometheus blackbox_exporter может быть полезен для различных целей и для разных типов пользователей.
Владельцам сайтов и администраторам web-серверов мониторинг HTTP и SSL может помочь отслеживать доступность web-ресурсов и быстро обнаруживать любые проблемы, такие как ошибки 404, 500 и другие. Он также может помочь определить проблемы с SSL-сертификатами и другие проблемы безопасности, которые могут повлиять на пользователей.
Разработчикам и инженерам, занимающимся разработкой web-приложений, мониторинг HTTP и SSL может помочь отслеживать производительность и доступность своих приложений, а также обнаруживать и устранять проблемы с кодом и инфраструктурой.
