KIP-Veröffentlichungen

Der mathematisch ergründbare Ansatz einer auf Boltzmann-Maschinen beruhenden Beschreibung neuronaler Netzwerke erfordert symmetrische synaptische Verknüpfungen. Auf neuromorpher Hardware, welche leaky integrate-and-fire Neuronen emuliert, sind Verknüpfungen unidirektional und die Gewichtssymmetrie wird von individuellen Gewichtsschwankungen gebrochen. Um gleichzeitig von dem Framework der Boltzmann-Maschinen, welches erfolgreich im maschinellen Lernen Verwendung findet, und dem inhärenten Parallelismus und der hohen Geschwindigkeit verglichen zur Biologie zu profitieren, kann eine Hardwareemulation annäherungsweise eine gegebene Boltzmann-Verteilung abtasten.

In dieser Arbeit wird der Effekt von relativen und asymmetrischen Gewichtsschwankungen in Samplingprozessen, welche auf Boltzmann-Maschinen basieren, untersucht. Bei Sampling mit leaky integrate-and-fire Neuronen überwiegt er nur für Schwankungen oberhalb von 20% gegenüber anderen Einschränkungen.

Zudem werden die Gewichtsschwankungen auf drei von der Electronic Vision(s) Group entwickelten Hardwaregeräten charakterisiert. Auf dem Spikey-Chip überschreiten sie 50%, auf dem BrainScaleS System liegen sie bei 16.4% und auf dem HICANN-DLSv2-Chip sind sie 4.91%.

Dies suggeriert, dass Sampling auf dem BrainScaleS System und dem HICANN-DLS-Chip nicht primär von Gewichtsschwankungen eingeschränkt wird.

The mathematically traceable Boltzmann machine approach as a description for neuronal networks requires symmetric synaptic connections. On neuromorphic hardware, which emulates leaky integrate-and-fire neurons, connections are unidirectional and the weight symmetry gets broken by individual weight variations. In order to simultaneously benefit from the framework of Boltzmann machines, which is successfully used in machine learning, and the inherent parallelism and speed-up compared to biology, a hardware emulation can sample approximately from a given Boltzmann distribution.

In this thesis, the effect of relative and asymmetric weight variations in sampling processes based on Boltzmann machines is investigated. For sampling with leaky integrate-and-fire neurons, those effects only prevail for variations above 20% against other limitations.

Also the weight variations of three hardware devices designed by the Electronic Vision(s) Group are characterized. On the Spikey chip they exceed 50%, on the BrainScaleS System they lie about 16.4% and on the HICANN-DLSv2 chip they are 4.91%.

This implies that sampling on the BrainScaleS System and the HICANN-DLS chip is not primarily restricted by weight variations.