KIP-Veröffentlichungen

Fortschritte auf dem Gebiet künstlicher neuronaler Netze werden zum Teil durch immer größere Modelle erzielt. Um diese zahlreichen Rechenoperationen handhaben zu können, werden neue Hardwarekonzepte erforscht. Wir verwenden BrainScaleS-2, ein Mischsignal-System, das für die Emulation pulsbasierter neuronaler Netze konzipiert wurde, in einem Inferenzmodus für künstliche neuronale Netze. Die häufigste Operation, Multiplikation einer Matrix mit einem Vektor, wird im analogen Kern ausgeführt, was hohe Energieeffizienz verspricht.
Die Schaltungen weisen Abweichungen aufgrund von Fertigungstoleranzen auf. Wir stellen Kalibrationsroutinen vor, welche die Arbeitsbereiche der einzelnen Komponenten aufeinander abstimmen. Für die Multiplikations-Operation wurde eine meist lineare Abhängigkeit von beiden Operanden bestätigt. Die verbleibenden systematischen Abweichungen und die zufälligen Variationen betragen jeweils etwa 3 %.
Die Funktionsfähigkeit wird bei der Klassifikation des MNIST-Datensatzes handgeschriebener Ziffern bewiesen. Die dabei erzielte Genauigkeit von 98.0 % nach Training auf dem Chip entspricht nahezu der ursprünglichen Genauigkeit auf einer CPU. Die Energieeffizienz bei Multiplikations-Akkumulations-Operationen beträgt etwa 150 GOPS/W, was von anderen aktuellen Systemen bereits übertroffen wird. Dennoch birgt insbesondere die Kombination mit pulsbasierten Netzwerken Potential. Wir untersuchen solch hybride Ansätze, um Vorhofflimmern in Elektrokardiogramm-Signalen zu erkennen.

Recent advances with artificial neural networks were partly achieved using ever larger models. To cope with the growing computational demands, new hardware architectures are explored. We use BrainScaleS-2, a mixed-signal system targeted at emulating spiking neural networks, in an inference mode for artificial neural networks. The most common operation, multiplication of a matrix with a vector, is handled in the analog core, promising good energy efficiency.
The circuitry is subject to fixed pattern deviations due to mismatch in the substrate. We present calibration algorithms which ensure well-matched operating ranges of the involved components. Characterizing the multiplication operation shows mostly linear behavior in both arguments, with distortions due to remaining fixed pattern noise and trial to trial variations in the order of 3 % each.
Benchmarking the performance on a convolutional neural network classifying the MNIST dataset of handwritten digits yields a classification accuracy of 98.0 % after training on chip, close to the original accuracy on CPU. The energy efficiency during multiply-accumulate operations is approximately 150 GOPS/W, which is less than what state-of-the-art edge devices achieve. Still, especially the combination with spiking layers on the same substrate is compelling. We explore such hybrid approaches for detecting atrial fibrillation in electrocardiogram traces.