Застосування ELK-стеку для аналізу системних даних для виявлення аномалій у процедурах машинного навчання на Python

Abstract

У роботі розглянуто створення системи централізованого логування на базі ELK-стеку з інтеграцією моделей машинного навчання для виявлення аномалій у мікросервісному застосунку MovieMingle. Мета — підвищити «спостережуваність», зменшити час реагування на збої та автоматизувати виявлення нетипової поведінки в логах. Застосовано методи логічного аналізу, експериментального моделювання, візуального й алгоритмічного аналізу логів. Серед використаних інструментів - Spring Cloud, Apache Kafka, Filebeat, Logstash, Elasticsearch, Kibana, Docker i Python. Y Python реалізовано моделі Isolation Forest, Local Outlier Factor та KMeans для виявлення уніваріантних і мультиваріантних відхилень. Результати дослідження показали ефективність інтеграції логування з алгоритмами машинного навчання. Новизна полягає в поєднанні традиційного логування з ML-аналізом у єдиному пайплайні, адаптованому до реального мікросервісного середовища. Результати можуть бути впроваджені (рекомендується впроваджувати) в ІТ-компаніях, DevOps-командах і використані в навчальних або дослідницьких цілях як приклад комплексного підходу до логування та аналізу логів.

This work explores the development of a centralized logging system based on the ELK stack with integrated machine learning models for anomaly detection in the MovieMingle microservices-based application. The aim of the project is to improve observability, reduce response time to failures, and automate the detection of abnormal behavior in log data. The study employs methods of logical analysis, experimental modeling, and both visual and algorithmic log analysis. The technological stack includes Spring Cloud, Apache Kafka, Filebeat, Logstash, Elasticsearch, Kibana, Docker, and Python. The Python module implements Isolation Forest, Local Outlier Factor, and KMeans models for detecting univariate and multivariate anomalies. The results confirm the effectiveness of combining logging with machine learning algorithms. The novelty of the project lies in integrating conventional logging with ML-based analysis into a unified pipeline tailored for real-world microservice environments. The results are recommended for implementation in IT companies and DevOps teams and can be used in educational or research settings as an example of a comprehensive approach to logging and log analysis.