KIP-Veröffentlichungen

Die Boltzmann-Maschine ist ein künstliches neuronales Netzwerk welches aus binären Zufallsvariablen besteht. Für dieses sehr allgemein formulierte Netzwerk sind effiziente Lernalgorithmen bekannt. So erzielt die Boltzmann-Maschine gute Ergebnisse sowohl als diskriminatives als auch als generatives Modell. Die Berechnungen sind stark parallelisierbar und auf konventionellen Systemarchitekturen typischerweise durch den Von-Neumann-Flaschenhals limitiert.

In dieser Arbeit wird versucht eine Boltzmann-Maschine auf dem Spikey Chip umzusetzen, um diese Parallelisierbarkeit auszunutzen. Dieser integrierte Schaltkreis emuliert „Integrate-and-Fire-Neuronen“, welche stark beschleunigt sind, verglichen mit Neuronen im menschlichen Gehirn. Jede Zufallsvariable der Boltzmann-Maschine wird von einem sorfältig kalibrierten Netzwerk aus 61 Neuronen repräsentiert.

Während dieser Arbeit wurden zwei Netzwerke erstellt, deren Zustandsverteilungen der Boltzmann-Maschine sehr nahe kommen: ein Netzwerk mit positiven, ein weiteres mit negativen Gewichten auf den Verbindungen. Die zugehörigen gemessenen Wahrscheinlichkeiten der Zustände stimmen mit den angepassten Boltzmann Verteilungen im Rahmen der erwarteten Fehler überein. Systematische Abweichungen zur Boltzmann Verteilung zeigen sich bei weiteren Präzisionsmessungen mit relativen Fehlern der Wahrscheinlichkeiten von unter 0.5%.

The Boltzmann machine is an artificial neural network of stochastic binary units. It is a very general model which allows the implementation of efficient machine learning algorithms. These algorithms make the Boltzmann machine a powerful discriminative and generative model. The sampling steps of a Boltzmann machine can be calculated highly in parallel and are typically limited by the Von-Neumann bottleneck of conventional computer architectures.

To overcome this limitation, this thesis aims to implement a Boltzmann machine of three sampling units on the Spikey neuromorphic computing platform. This device emulates leaky integrate-and-fire neurons highly accelerated compared to neurons in the human brain. Every sampling unit is modeled as a thoroughly calibrated network of 61 neurons.

There are two networks implemented which closely approximate the Boltzmann distribution: one with positive weights and another with negative weights. Measurements of the probability distributions of the different states are consistent with the fitted Boltzmann distribution. Further high precision measurements with relative uncertainties less than 0.5% show systematic deviations from the Boltzmann distribution.