KIP-Veröffentlichungen

Jahr 2024
Autor(en) Lennart Tabel
Titel Enabling Delay Learning in a Scalable Machine Learning Framework for Neuromorphic Hardware
KIP-Nummer HD-KIP 24-70
KIP-Gruppe(n) F9
Dokumentart Bachelorarbeit
Abstract (de)

In dieser Arbeit wird die Implementierung von Verzögerungs-Lernen in SNNs auf der neuromorphen Hardware BSS-2 untersucht. SNNs bilden biologische neuronale Netze nach und übertragen Informationen durch diskrete Spikes, wobei der genaue Zeitpunkt dieser Spikes eine entscheidende Rolle bei der neuronalen Berechnung spielt. Eine zentrale Herausforderung ist die Einbeziehung und Optimierung der synaptischen Verzögerungen, die für eine effektive Verarbeitung zeitlicher Informationen unerlässlich sind. Um dieses Problem anzugehen, untersuchen wir die Anwendung eines Gaußschen Faltungsalgorithmus zum Erlernen von Verzögerungen auf neuromorphen Computern, der vielversprechendes Verhalten zeigt, aber noch nicht auf neuromorphen Systemen getestet wurde. In dieser Arbeit wird der Algorithmus zunächst in Software nachgebildet, um seine Lernfähigkeit zu bestätigen. Anschließend wird der Vorwärtsdurchlauf des Lernprozesses mit hxtorch auf dem BSS-2 System in-the-loop implementiert. Dazu wird jeder Spike dupliziert, die duplizierten Spikes zeitlich um einen Verzögerungswert verteilt und dann über unterschiedlich gewichtete Synapsen an dasselbe Neuron gesendet. Die Ergebnisse zeigen, dass das Lernen von Verzögerungen im BSS-2-System erfolgreich ist und ebnen somit den Weg für das Lernen von Verzögerungen in komplexeren Netzwerken.

Abstract (en)

This thesis explores the implementation of delay learning in Spiking Neural Networks (SNNs) on the BrainScaleS-2 (BSS-2) neuromorphic hardware. SNNs emulate biological neural networks and transmit information through discrete spikes, with the timing of these spikes playing a crucial role in neural computation. A key challenge is the incorporation and optimization of synaptic delays, which are essential for processing temporal information effectively. To address this, we investigate the application of a Gaussian convolution algorithm for learning delays, which has shown promising results in software, but has not been applied on neuromorphic hardware yet. The research first reproduces the algorithm in software, ensuring its learning capabilities. Subsequently, the forward pass of the learning process is implemented in-the-loop with hxtorch on the BSS-2 system. To do this, we need to approximate the Gaussian shape, which is used for the backward pass in the learning process. This is done through duplicating each spike, distributing the duplicated spikes in time around a delay value, and then sending them over differently weighted synapses to the same neuron. The results demonstrate the successful in-the-loop delay learning on the BSS-2 system, paving the way for learning delays in more complex networks. 

bibtex
@mastersthesis{tabel2024delaylearning,
  author   = {Lennart Tabel},
  title    = {Enabling Delay Learning in a Scalable Machine Learning Framework for Neuromorphic Hardware},
  school   = {Universität Heidelberg},
  year     = {2024},
  type     = {Bachelorarbeit}
}
Datei pdf
KIP - Bibliothek
Im Neuenheimer Feld 227
Raum 3.402
69120 Heidelberg