KIP-Veröffentlichungen

Netzwerke, die stochastische Inferenz ausführen, liegen im Übergangsbereich zwischen Neurowissenschaft und maschinellem Lernen. Aus neurowissenschaftlicher Perspektive sind diese Architekturen gute Kandidaten, um Inferenzprozesse im Neokortex zu erklären. Aus der Perspektive künstlicher Intelligenz bieten diese Modelle eine effiziente Lösung für schwierige Probleme, wie zum Beispiel Mustererkennung und -klassifizierung. In den vergangenen Jahren wurden Theorien entwickelt, die präzise Analogien zwischen der Dynamik von biologischen neuronalen Netzwerken und der von, im maschinellen Lernen weit verbreiteten, sogenannten Boltzmann-Maschinen ermöglichen. Ausgehend von der Theorie aus Petrovici et al. (2013), entwickeln wir eine Implementierung von mehrschichtigen Boltzmann-Maschinen mit "leaky integrate-and-fire" (LIF) Neuronen. Zusätzlich zur direkten Übersetzung der Parameter zwischen klassischen und neuronalen Boltzmann-Maschinen, implementieren wir eine Kombination verschiedener mächtiger Lernalgorithmen und demonstrieren ihre Effizienz durch Trainieren vom Boltzmann-Maschinen als generatives Modell zur Repräsentation einer Auswahl handgeschriebener Ziffern aus der MNIST-Datenbank. Bei der Beschreibung dieser lernenden neuronalen Netzwerke werden Effekte identifiziert und diskutiert, welche für unsere Wahl einer neuronalen Implementierung einzigartig zu sein scheinen. Unsere Ergebnisse legen nahe, dass durch gezielte Modifikationen der vorgestellten Lernalgorithmen, sich unsere Netzwerke auf beschleunigter neuromorpher Hardware implementieren lassen, was die Entwicklung mächtiger, schneller und energieeffizienter lernender Maschinen erlauben würde.

Networks that perform stochastic inference lie at the intersection of neuroscience and machine learning. For the former, they hold the potential of explaining how inference is performed by the mammalian neocortex. For the latter, they offer a very powerful solution to hard problems such as image recognition and classification. During the past several years, theories have been developed that connect the dynamics of biological neural networks to those of the so-called Boltzmann machines that are widely used in machine learning. Based on the theory developed in Petrovici et al. (2013), we demonstrate the implementation of deep Boltzmann machines with leaky integrate-and-fire (LIF) neurons. Beyond simply translating parameters between classical and neural Boltzmann machines, we also implement a combination of several powerful learning algorithms and demonstrate its efficiency by training LIF-based Boltzmann machines as a generative model of a set of handwritten digits from the MNIST database. In building these learning neural networks, we identify and discuss several effects that are unique to our choice of neural implementation. We propose that, with proper modifications to our suggested algorithms, our architectures can be embedded in accelerated neuromorphic hardware, thereby fostering the development of powerful, fast and low-power learning machines.