Dilated convolution with learnable spacings. (Convolution dilatée avec espacements apprenables)

Ismail Khalfaoui Hassani

Abstract: en fr In this thesis, we develop and study the Dilated Convolution with Learnable Spacings (DCLS) method. The DCLS method can be considered as an extension of the standard dilated convolution method, but in which the positions of the weights of a neural network are learned during training by the gradient backpropagation algorithm, thanks to an interpolation technique. We empirically demonstrate the effectiveness of the DCLS method by providing concrete evidence from numerous supervised learning experiments. These experiments are drawn from the fields of computer vision, audio, and speech processing, and all show that the DCLS method has a competitive advantage over standard convolution techniques, as well as over several advanced convolution methods. Our approach is structured in several steps, starting with an analysis of the literature and existing convolution techniques that preceded the development of the DCLS method. We were particularly interested in the methods that are closely related to our own and that remain essential to capture the nuances and uniqueness of our approach. The cornerstone of our study is the introduction and application of the DCLS method to convolutional neural networks (CNNs), as well as to hybrid architectures that rely on both convolutional and visual attention approaches. The DCLS method is particularly noteworthy for its capabilities in supervised computer vision tasks such as classification, semantic segmentation, and object detection, all of which are essential tasks in the field. Having originally developed the DCLS method with bilinear interpolation, we explored other interpolation methods that could replace the bilinear interpolation conventionally used in DCLS, and which aim to make the position parameters of the weights in the convolution kernel differentiable. Gaussian interpolation proved to be slightly better in terms of performance. Our research then led us to apply the DCLS method in the field of spiking neural networks (SNNs) to enable synaptic delay learning within a neural network that could eventually be transferred to so-called neuromorphic chips. The results show that the DCLS method stands out as a new state-of-the-art technique in SNN audio classification for certain benchmark tasks in this field. These tasks involve datasets with a high temporal component. In addition, we show that DCLS can significantly improve the accuracy of artificial neural networks for the multi-label audio classification task, a key achievement in one of the most important audio classification benchmarks. We conclude with a discussion of the chosen experimental setup, its limitations, the limitations of our method, and our results. Dans cette thèse, nous avons développé et étudié la méthode de convolution dilatée avec espacements apprenables (Dilated Convolution with Learnable Spacings en anglais, qu'on abrégera par le sigle DCLS). La méthode DCLS peut être considérée comme une extension de la méthode de convolution dilatée standard, mais dans laquelle les positions des poids d'un réseau de neurones sont apprises grâce à l'algorithme de rétropropagation du gradient, et ce, à l'aide d'une technique d'interpolation. Par suite, nous avons démontré empiriquement l'efficacité de la méthode DCLS en fournissant des preuves concrètes, issues de nombreuses expériences en apprentissage supervisé. Ces expériences sont issues des domaines de la vision par ordinateur, de l'audio et du traitement de la parole et toutes montrent que la méthode DCLS a un avantage compétitif sur les techniques standards de convolution ainsi que sur plusieurs méthodes de convolution avancées. Notre approche s'est faite en plusieurs étapes, en commençant par une analyse de la littérature et des techniques de convolution existantes qui ont précédé le développement de la méthode DCLS. Nous nous sommes particulièrement intéressés aux méthodes étroitement liées à la nôtre et qui demeurent essentielles pour saisir les nuances ainsi que le caractère unique de notre approche. La pierre angulaire de notre étude repose sur l'introduction et l'application de la méthode DCLS aux réseaux neuronaux convolutifs (CNN), mais aussi aux architectures hybrides qui se basent à la fois sur des méthodes convolutives et des méthodes d'attention visuelle. La méthode DCLS est particulièrement remarquable pour ses capacités dans les tâches supervisées de vision par ordinateur telles que la classification, la segmentation et la détection d'objets, qui sont toutes des tâches essentielles dans ce domaine. Ayant développé la méthode DCLS à l'origine avec une interpolation bilinéaire, nous avons entrepris l'exploration d'autres méthodes d'interpolation susceptibles de remplacer l'interpolation bilinéaire, traditionnellement utilisée dans DCLS, ainsi que d'autres méthodes de convolution, et qui visent à rendre différentiables les paramètres de positions des poids dans le noyau de convolution. L'interpolation gaussienne s'est avérée être légèrement meilleure en termes de performances. Notre recherche nous a amené par la suite à appliquer la méthode DCLS dans le domaine des réseaux de neurones à spikes (SNN) afin de permettre l'apprentissage des délais synaptiques à l'intérieur d'un réseau de neurones qui pourrait être éventuellement transféré à des puces dites neuromorphiques. Les résultats montrent que la méthode DCLS se tient comme nouvel état de l'art des SNNs en classification audio pour certaines tâches de référence dans ce domaine. Ces dernières tâches portent sur des ensembles de données connus pour avoir une composante temporelle importante. En outre, nous montrons aussi que DCLS permet d'améliorer de manière significative la précision des réseaux neuronaux artificiels pour la tâche de classification audio multi-label, un aboutissement clé dans l'un des benchmarks de classification audio les plus importants. Enfin, nous concluons par une discussion sur le dispositif expérimental choisi, ses limites, les limites de notre méthode et nos résultats.

External IDs:dblp:phd/hal/Hassani24