Застосування мереж Колмогорова-Арнольда до задач комп’ютерного зору

Abstract

Нещодавні дослідження показали, що окрім класичної парадигми побудови нейронних мереж за допомогою мультишарових перцептронів (MLP), існує інша перспективна парадигма, що базується на теоремі Колмогорова-Арнольда. Проте, більшість сучасних досліджень над Kolmogorov Arnold Networks (KAN) зосереджені на плоских нейронних мережах і досліджують їх застосування до вельми теоретичних задач. В цій роботі ми спробуємо розширити цю ідею на конволюцiйні нейронні мережі (CNN) та продемонструвати, що KAN можуть бути використані для розв’язання задач комп’ютерного зору. Для цього, ми спочатку фундаментально опишемо та продемонструємо принципову різницю парадигми KAN від класичних MLP, опишемо конструкцію конволюційного шару KAN, обговоримо теоретичну перевагу такої конструкції, а в кінці проведемо експеримент над відомим набором даних MNIST. Отримана точність у 87.8% показує перспективність використання KAN для задач комп’ютерного зору.

Recent studies have shown that in addition to the classical paradigm of building neural networks using multilayer perceptrons (MLPs), there is another promising paradigm based on the Kolmogorov-Arnold theorem. However, most of the current research on Kolmogorov Arnold Networks (KANs) focuses on flat neural networks and explores their application to highly theoretical problems. In this work, we try to extend this idea to convolutional neural networks (CNNs) and demonstrate that KANs can be used to solve computer vision problems. To achieve this, we first fundamentally describe and demonstrate the principal differences between the KAN and classical MLP paradigms, describe the design of the KAN convolutional layer, discuss the theoretical advantage of such a design, and finally conduct an experiment on the well-known MNIST dataset. The obtained accuracy of 87.8% shows the potential of using KAN for computer vision tasks.