Synaptic uncertainty for in-memory computing. (Incertitude synaptique pour le calcul dans la mémoire)

Djohan Bonnet

Abstract: en fr The high demand for Artificial Neural Networks, combined with their high energy cost due to the memory bottleneck of von-Neumann architectures, has intensified efforts to overcome hardware constraints. This thesis explores the interdisciplinary field of neuromorphic computing, focusing on experimental studies, algorithms, and integrated circuit design. The experimental part investigates the electrical characteristics of resistive random access memories based on metal-oxide transition (OxRAMs) and phase change memories (PCMs) to understand their different variabilities. Additionally, a Bayesian neural network is implemented across 75 electronic chips. Moving to algorithms, the research involves both experimental and theoretical analyses of a novel learning method named MESU, which stands for metaplasticity from synaptic uncertainty. This method exploits synaptic uncertainty in Bayesian neural networks for continual learning. Lastly, for the circuit design part, a full custom in-memory computing demonstrator is developed, leveraging OxRAM technology, covering aspects from transistor sizing to layout realization. La forte demande pour les réseaux de neurones artificiels, combinée à leur coût énergétique élevé dû au "memory bottleneck" des architectures de von-Neumann, a intensifié les efforts pour surmonter les contraintes du matériel informatique. Cette thèse explore le domaine interdisciplinaire du calcul neuromorphique, en se concentrant sur des études expérimentales, des algorithmes et la conception de circuit intégrés. Dans la partie expérimentale, les caractéristiques électriques des mémoires vives basées sur la transition métal-oxyde (OxRAMs) et les mémoires à changement de phase (PCMs) sont étudiées pour comprendre leurs différentes variabilités. De plus, un réseau de neurones bayésien est implémenté sur 75 puces electroniques. Passant aux algorithmes, la recherche implique des analyses expérimentales et théoriques d'une nouvelle méthode d'apprentissage nommée MESU (MEtaplasticity from Synaptic Uncertainty). Cette méthode exploite l'incertitude synaptique dans les réseaux de neurones Bayésien pour l'apprentissage continuel. Enfin, pour la partie conception de circuit, un démonstrateur pour le calcul dans la mémoire est développé sans outils d'automatisation, tirant parti de la technologie OxRAM, couvrant des aspects allant du dimensionnement des transistors jusqu'à la réalisation du dessin des masques.

External IDs:dblp:phd/hal/Bonnet24