Дослідження та оцінка архітектури AI Agent Design Patterns у Microsoft Azure

Abstract

Об’єктом дослідження є агентні архітектури в екосистемі Microsoft Azure. Предметом дослідження виступають оркестраційні патерни AI-агентів та їх експлуатаційні метрики в задачах з використанням Retrieval-Augmented Generation та інструментальних дій. Мета роботи полягає у дослідженні та емпіричній оцінці п’яти архітектурних патернів агентних систем у Microsoft Azure на задачах доступу до внутрішнього корпусу знань та виконання простих дій у прикладному бізнес-сценарії. Для досягнення цієї мети визначено такі завдання: 1. Проаналізувати сучасні підходи до побудови RAG-рішень і багатоагентних систем підтримки в Azure, а також рекомендації Microsoft щодо оркестрації, безпеки та спостережності. 2. Спроєктувати архітектуру й прототип мультиагентного сервісу підтримки на базі Azure AI Foundry, Azure OpenAI та Azure AI Search для сценарію компанії Taurbull. 3. Реалізувати та порівняти конфігурації single-agent, послідовного, паралельного та handoff-патернів із використанням єдиного RAG-шару, інструментів та корпусу знань. 4. Налаштувати процеси пакетного оцінювання в Azure AI Foundry з використанням стандартних метрик IntentResolution, TaskAdherence, Groundedness, TaskCompletion, показників безпеки та вартості. 5 5. Виконати порівняльний аналіз результатів та сформулювати рекомендації щодо вибору оркестраційного патерна для корпоративних сценаріїв підтримки клієнтів. Актуальність теми магістерської роботи зумовлена появою керованого сервісу Azure AI Foundry Agent Service та широким впровадженням LLMагентів для роботи з корпоративними знаннями. Організації потребують методичних рекомендацій щодо вибору архітектурних патернів, які забезпечують баланс між якістю відповідей, часом, вартістю та вимогами безпеки. За результатами дослідження сформовано методику порівняння оркестраційних патернів AI-агентів в Azure AI Foundry, побудовано єдиний RAG-шар для всіх конфігурацій та проведено експерименти, що показали відмінності між single-agent, послідовним, паралельним і handoff-підходами за якістю відповідей, часом виконання та вартістю. Практичне значення роботи полягає у підготовці рекомендацій щодо вибору архітектурного патерна для сервісів підтримки клієнтів, у розробці еталонних налаштувань Azure AI Foundry, Azure AI Search та Azure OpenAI, а також у наданні прикладів реалізації, які можуть бути безпосередньо використані або адаптовані для побудови корпоративних мультиагентних систем. Одержані результати можуть бути використані в освітніх програмах під час вивчення хмарних технологій та штучного інтелекту, у комерційних проєктах для прискорення розробки знаннєвих асистентів і сервісів підтримки, а також у подальших наукових дослідженнях, пов’язаних із оцінюванням і вдосконаленням агентних архітектур.

The object of the research is agent architectures in the Microsoft Azure ecosystem. The subject of the research is orchestration patterns of AI agents and their operational metrics in tasks involving Retrieval-Augmented Generation and toolbased actions. The aim of the thesis is to investigate and empirically evaluate five architectural patterns of agent systems in Microsoft Azure on tasks of accessing an internal knowledge corpus and performing simple actions in an applied business scenario. To achieve this aim, the following tasks were defined: 1. To analyse modern approaches to building RAG-based solutions and multiagent support systems in Azure, as well as Microsoft’s recommendations regarding orchestration, security, and observability. 2. To design the architecture and prototype of a multi-agent support service based on Azure AI Foundry, Azure OpenAI, and Azure AI Search for the Taurbull company scenario. 3. To implement and compare configurations of single-agent, sequential, parallel, and handoff patterns using a unified RAG layer, tools, and knowledge corpus. 4. To configure batch evaluation processes in Azure AI Foundry using standard metrics such as IntentResolution, TaskAdherence, Groundedness, TaskCompletion, as well as safety and cost indicators. 7 5. To perform a comparative analysis of the results and formulate recommendations on the choice of orchestration pattern for corporate customer support scenarios. The relevance of the topic of the master’s thesis is due to the emergence of the managed Azure AI Foundry Agent Service and the widespread adoption of LLMbased agents for working with corporate knowledge. Organisations require methodological guidance on selecting architectural patterns that ensure a balance between answer quality, latency, cost, and security requirements. As a result of the research, a methodology for comparing orchestration patterns of AI agents in Azure AI Foundry was developed, a unified RAG layer for all configurations was built, and experiments were conducted that demonstrated the differences between single-agent, sequential, parallel, and handoff approaches in terms of answer quality, execution time, and cost. The practical significance of the thesis lies in the preparation of recommendations on choosing an architectural pattern for customer support services, in the development of reference configurations for Azure AI Foundry, Azure AI Search, and Azure OpenAI, as well as in providing implementation examples that can be directly used or adapted for building corporate multi-agent systems. The obtained results can be used in educational programmes when studying cloud technologies and artificial intelligence, in commercial projects to accelerate the development of knowledge assistants and support services, as well as in further scientific research related to the evaluation and improvement of agent architectures.