KIP-Veröffentlichungen

Heutzutage wird allgemein angenommen, dass Neuronen im Kortex stochastische Methoden zur Informationsverarbeitung verwenden. Um dieses stochastische Verhalten in numerischen Modellen kortikaler Netzwerke zu berücksichtigen, speist man diese meist mit Poisson-Rauschen. Dies führt jedoch zu Problemen bei physikalischen Umsetzungen solcher Netzwerke, z.B. auf neuromorpher Hardware. Hierbei ist die für externe Signale verfügbare Bandbreite immer beschränkt, wodurch eine skalierbare Implementierung stochastischer Rechenmethoden, welche externes Rauschen benötigen, nicht möglich ist.

Im Kortex stellt die permanente Hintergrundaktivität des Kortex selbst eine maßgebliche Rauschquelle dar. Hiervon inspiriert untersuchen wir eine neue Methode um funktionale Netzwerke mit Rauschen zu versorgen. Dabei verwenden wir sogenannte Boltzmann-Maschinen, bestehend aus Leaky Integrate-and-Fire Neuronen, welche zu kleinen, spärlichen Netzwerken verbunden werden. Die Hauptidee hierbei ist, dass jede Boltzmann-Maschine durch andere sich im Netzwerk befindliche Boltzmann-Maschinen mit Rauschen versorgt wird, deren Aktivität ein Resultat der Bewältigung funktionaler Aufgaben ist.

Durch Kombinieren von Prinzipien und Konzepten aus Biologie und Maschinellem Lernen demonstrieren wir, dass es in der Tat möglich ist solche Netzwerke aus Boltzmann-Maschinen zu implementieren, welche ohne externe Rauschquellen funktionale Aufgaben lösen können.

Nowadays, it is generally assumed that cortical neurons perform stochastic computations. In computational models of cortical neural networks, stochasticity is often implemented by feeding every neuron with Poisson noise. However, this approach runs into difficulties as soon as we consider physical implementations of networks, e.g. on neuromorphic hardware. Such systems always have limited bandwidth for external input, thus rendering a scalable implementation of stochastic computation that relies on external noise unfeasible.

In the cerebral cortex, one major source of stochasticity is the ongoing background activity of the cortex itself. Inspired by this observation, we implement a novel approach for providing functional networks with noise. For this purpose, so-called Boltzmann machines consisting of Leaky Integrate-and-Fire neurons are utilized to construct a small and sparsely connected network of functional units. The key idea is that every Boltzmann machine in this network receives noise from other Boltzmann machines, which generate noise as a byproduct of their functional task.

By combining computational principles inspired from biology as well as methods
coming from modern machine learning, we demonstrate that it is indeed possible to implement such networks of Boltzmann machines that function reliably without any external noise input.