KIP-Veröffentlichungen

Netzwerke von spikenden Neuronen, die von Boltzmann Verteilungen sampeln, sind ein vom Gehirn inspiriertes maschinelles Lernverfahren, die vor allem wegen ihrer bayes’schen Inferenzfähigkeiten benutzt werden. Wegen ihrer inhomogenen Wahrscheinlichkeitsverteilung, werden Moden mit einer hohen Wahrscheinlichkeit voneinander durch effektiven Energiebarriere, bestehend aus Zuständen niedriger Wahrscheinlickheiten, getrennt. Dies verursacht Probleme mit dem Mixing zwischen diesen Moden. In Simulation war eine passende Modulation der Frequenz des Hintergrund-Poisson-Rauschens eine Lösung mit der die Energie-Landschaft abgeflacht wird. Wir streben hier an, dieses Tempering auf der BrainScaleS-1 Hardwareplatform zu implimentieren. Wir haben Tempering durch die Modulation der Rauschengewichte implementiert, worin der Zusatz des hoch-gewichteten Rauschens mit einer niedrigen Frequenz einen Temperaturanstieg verursacht hat. Wir haben auch bestätigt, dass die entsprechenden BM-Gewichte dadurch linear skalieren, und wir haben auch gezeigt, dass Mixing in einem einfachen zwei-Moden System verbessert wird. Im Widerspruch zu Ergebnissen in Simulation wurde Tempering durch die Modulation der Rauschenfrequenz nicht erreicht. Trotzdem wurde verbessertes Mixing in diesem zwei-Moden System beobachtet, indem das Netzwerk nicht trivial verdreht wird. Die Rauschengewichte sollten folglich moduliert werden, um die Leistungsfähigkeit der generativen Samplingnetzwerke zu verbessern.

Stochastic sampling networks approximating Boltzmann machines are a brain-inspired machine learning paradigm that has been used extensively for its Bayesian inference capabilities. However, due to their inherently inhomogeneous probability landscape, the network may get trapped in a single mode by low probability transition states, which pose an effective energy barrier, prevent mixing between modes and harm the generative capabilities of the network. Mixing has been facilitated in simulation by modulating the rate of noise to sampling neurons, effecting a flattening of the probability landscape. In this work we implement this tempering on the BrainScaleS-1 mixed-signal physical model system. We implemented tempering via noise weight modulation, with the addition of high weight low frequency noise resulting in a temperature increase. We verified the linear scaling of the associated abstract BM weights in spiking networks, and showed that mixing in a simple two-mode system is indeed facilitated. Contrary to simulation, tempering via noise rate modulation was not successful. Despite this, it still improved mixing in the simplified example, by distorting the network in a non-trivial manner. Weight modulated noise should thus be used to improve the performance of generative sampling networks.