KIP-Veröffentlichungen

Das Ziel des neuromorphen Rechnen ist es, ein Substrat zu entwickeln, welches das Gehirn nachempfindet und seine Fähigkeiten in Bezug auf effiziente, adaptive und hoch parallelisierte Informationsverarbeitung reproduziert. In dieser Pilotstudie demonstrieren und quantifizieren wir die wesentlichen Vorteile des neuromorphen Rechnens bezüglich Emulationsgeschwindigkeit, Energieeffizienz und Robustheit. Wir verwenden einen Prototypen des neuromorphen Systems BrainScaleS 2 um ein Experiment zu implementieren, welches verstärkendes Lernen mittels einer biologisch plausiblen Lernregel, Reward-modulated Spike-Timing-Dependent Plasticity (R-STDP), ver- wendet um eine vereinfachte Version des Videospiels Pong durch Verfolgung des Balls zu lernen. Der neuromorphe Chip enthält physische Modellneuronen und -synapsen, sowie einen Plastizitätsprozessor, welcher in dieser Arbeit auch dazu dient, die virtuelle Umgebung zu simulieren. Im Vergleich zur biologischen Echtzeit operiert der Chip mit einer 1000-fachen Beschleunigung und kommt mit einem Leistungsbudget von 57 mW aus. Im Vergleich zu einer equivalenten Softwaresimula- tion auf einem kommerziellen Prozessor ist die neuromorphe Emulation mindestens eine Grössenordnung schneller und drei Grössenordnungen energieeffizienter. Wir stellen fest, dass festes Musterrauschen, welches auf analogen Substraten unvermeidbar ist, durch Lernen ausgeglichen werden kann: die Lernregel verändert die synaptischen Gewichte implizit derart, dass neuronale Parametervariationen aus- geglichen werden. Gleichzeitig wird Versuch-zu-Versuchsvariabilitaet, die aufgrund von Rauscheffekten besteht, als eine Ressource für das Lernen verwendet, statt eine Störung darzustellen.

The goal of neuromorphic computation is to develop a substrate that mimics the brain and reproduces its capabilities in terms of efficient, adaptive and highly parallelized computation. In this pilot study we demonstrate and quantify these advantages regarding emu- lation speed, energy efficiency and robustness to noise. We use a prototype chip of the BrainScaleS 2 neuromorphic system to implement a reinforcement learning experiment that uses a biologically plausible learning rule, reward-modulated spike-timing-dependent plasticity, to learn to play a simplified version of the Pong arcade video game by smooth pursuit. The neuromorphic chip contains physical model neurons and synapses as well as a digital on-chip plasticity processing unit, which we also use to simulate the virtual environment. Compared to biological real-time, the chip operates with a 1000-fold acceleration, while consuming 57 mW of power. Compared to an equivalent software simulation on a commercial processor, our neuromorphic emulation is at least an order of magnitude faster and three orders of magnitude more energy-efficient. We find that fixed-pattern noise, which is inevitable in analog substrates, can be mitigated using learning, decreasing the need for calibration: the learning rule implicitly adjusts synaptic weights so as to compensate neuron parameter variations. At the same time, trial-to-trial variability due to temporal noise is not a nuisance but rather used as a computational resource for action exploration.