KIP-Veröffentlichungen

Spikende neuronale Netzwerke (SNN) auf analoger neuromorpher Hardware sind oft durch die Eigenschaften des verwendeten Systems begrenzt. Obwohl sie einen vielversprechenden Ansatz darstellen, Machine-Learning-Aufgaben mit hoher Energieeffizienz zu bearbeiten, erlaubt diese Begrenztheit oft nicht, Aufgaben höherer Komplexität anzugehen. Die Idee, Netzwerke in voneinander unabhängige Teile zu partitionieren, bietet eine Möglichkeit, dieses Problem zu umgehen. In dieser Arbeit wird ein Algorithmus entwickelt und implementiert, der für feedforward-Netzwerke passende Partitionierungen bereitstellt. Darüber hinaus werden Methoden entwickelt, um mit weiteren Einschränkungen des neuromorphen Hardwaresystems BrainScaleS-2 (BSS-2) beim Trainieren von SNNs mit Backpropagation Through Time (BPTT) und Surrogate-Gradient-Methoden umzugehen. Die Skalierbarkeit des BSS-2-Systems wird anhand des Trainings eines Netzwerks mit größerer Topologie auf dem MNIST Datensatz gezeigt. Mit einer Netzwerk-Topologie von 22×22 → 256 Leaky-Integrate-and-Fire (LIF) Neuronen → 10 Leaky Integrator (LI) Neuronen erreichen die Simulationen Genauigkeiten von 98.42%±0.06%, das Hardware-Training erreichte 97.22%.
Diese Arbeit legt damit den Grundstein für Weiterentwicklungen in diesem Bereich, die sich mit der Optimierung durch multi-Chip-Systeme oder anderen Netzwerkstrukturen wie Convolutions beschäftigen könnten.

Spiking neural networks (SNN) on analog neuromorphic hardware are often limited by the properties of the underlying system. Despite being a promising approach to machine learning tasks with high energy efficiency, this often disables the opportunity to challenge problems of higher complexity due to the necessary network sizes. The idea of partitioning networks into independently executable parts defines a possibility to overcome this problem. An algorithm on how to find suitable partitions for feedforward networks given a set of limitations is developed and implemented within this thesis. Additionally, methods are designed to deal with further limitations of the neuromorphic hardware system BrainScaleS-2 (BSS-2) when approaching the training of SNNs with backpropagation through time (BPTT) and surrogate gradient methods. The scalability of BSS-2 is shown by demonstrating how a larger scale network can be trained with the MNIST data set. For a network topology of 22×22 → 256 leaky integrate and fire (LIF) neurons → 10 leaky integrators (LI), the simulations reached accuracies of 98.42%±0.06%, the hardware in the loop training reached 97.22%.
This thesis builds the basis for further development and research regarding larger scale networks on limited hardware, e.g. optimization with multi chip setups or other network structures such as convolutions.