KIP-Veröffentlichungen

In Restricted Boltzmann Maschinen werden komplexe hochdimensionale Daten oft mit einer Wahrscheinlichkeitsverteilung dargestellt, die potenziell tiefe lokale Moden in der Energielandschaft aufweist. Diese Moden verursachen Probleme mit Mixing, wenn die Netzwerke die Daten wieder erzeugen. Weil konventionelle auf Markov Ketten basierende Algorithmen eine lange Zeit brauchen, den Moden zu entkommen. Speziell für Netzwerke aus Integrate-and-Fire Neuronen mit Leckstrom (LIF Neuronen), zeigen wir, dass eine passende Modulation des Hintergrund-Poisson-Rauschens eine Lösung für dieses Problem darstellt. Die Variation der Poisson Rate führt zu einer Reskalierung der Energie-Landschaft analog zu Simulated Tempering. Wir führen eine Abbildung zwischen der Temperatur definiert in Netzwerken mit abstrakten Einheiten und der Poisson Rate in LIF Netzwerken ein. Ein Raten-Variations-Schema basierend auf diesem Prinzip erleichtert dem Netzwerk das Entkommen aus dem lokalen Minimum und den Wechsel zwischen verschiedenen Moden. Wir schlagen hiermit eine funktionale Rolle der makroskopischen neuronalen Oszillationen, die im Kortex beobachten wurden, für potenzielle Anwendungen in künstlichen generativen neuronalen Netzen vor.

In restricted Boltzmann machines, complex high-dimensional data is often represented by a probability distribution which has potentially deep local modes in its energy landscape. These modes lead to problems with mixing when the network performs generation tasks, since conventional sampling algorithms based on a Markov chain may take a long time to escape from them. Specifically for networks with leaky integrate-and-fire neurons, we show that an appropriate modulation of the background Poisson noise poses a solution to these problems. Poisson rate variation leads to a rescaling of the energy landscape analogous to simulated tempering. We introduce a mapping between the temperature defined for networks with abstract units and the Poisson noise rate in LIF networks. A rate variation scheme based on this principle facilitates the network to jump out of local minima and mix between different modes. We thereby suggest a functional role of the macroscopic neural oscillations observed in the cortex with potential applications for artificial generative neural networks.