Оптимізація використання баз даних для зберігання та обробки даних для навчання нейронних мереж

Abstract

Об’єктом дослідження є процеси оптимізації застосування баз даних у контексті забезпечення ефективного зберігання та обробки великих обсягів даних для потреб машинного навчання. Предметом дослідження є методи та засоби оптимізації структури баз даних, запитів до них, а також організації потоків даних з баз даних до моделей машинного навчання з метою підвищення продуктивності та ефективності навчального процесу нейронних мереж. Метою роботи є дослідження та оптимізація процесів зберігання і обробки даних у базах даних, що застосовуються для навчання моделей глибокого навчання. Для досягнення поставленої мети вирішено наступні завдання: – у першому розділі проаналізовано теоретичні засади машинного навчання та методи обробки даних; – у другому розділі визначено специфіку використання баз даних у системах машинного навчання; – у третьому розділі здійснено порівняльний аналіз обраних підходів до зберігання та обробки даних. Актуальність дослідження полягає у підвищенні ефективності застосування методів машинного навчання шляхом раціонального вибору платформ та архітектур баз даних для обробки відповідних обсягів інформації. За результатами дослідження проведено порівняльний аналіз трьох платформ зберігання та обробки даних, адаптованих до потреб навчання нейронних мереж. Практична новизна полягає у визначенні критеріїв ефективного вибору платформи баз даних залежно від типу завдань машинного навчання. Одержані результати можуть бути використані під час реалізації систем підготовки даних для моделювання та тестування нейронних мереж.

The object of the study is the optimization processes of database use in the context of ensuring effective storage and processing of large amounts of data for the needs of machine learning. The subject of the study is methods and means of optimizing the structure of databases, queries to them, as well as the organization of data flows from databases to machine learning models in order to increase the productivity and efficiency of the training process of neural networks. The purpose of the work is to study and optimize the processes of storing and processing data in databases used for training deep learning models. To achieve the set goal, the following tasks were solved: – in the first section, the theoretical foundations of machine learning and data processing methods are analyzed; – in the second section, the specifics of the use of databases in machine learning systems are determined; – in the third section, a comparative analysis of the selected approaches to data storage and processing is carried out. The relevance of the study is to increase the efficiency of the application of machine learning methods through the rational selection of database platforms and architectures for processing the corresponding amounts of information. Based on the results of the study, a comparative analysis of three data storage and processing platforms adapted to the needs of training neural networks was carried out. The practical novelty lies in determining the criteria for effective selection of a database platform depending on the type of machine learning tasks. The results obtained can be used in the implementation of data preparation systems for modeling and testing neural networks.