KIP-Veröffentlichungen

Modelle für spikende neuronale Netze sind unverzichtbar für die Implementierung von Agenten mit künstlicher Intelligenz auf energieeffizienten neuromorphen Geräten. Vor kurzem wurde gezeigt, dass mächtige generative Modelle aus dem Bereich des maschinellen Lernens namens Boltzmann Maschinen in Netzwerke aus Leaky Integrate-and-Fire Neuronen übersetzt werden können. Bislang wurden diese hauptsächlich zur Klassifizierung von Bildern benutzt, ohne einen Agenten zu integrieren, der ständig mit seiner Umgebung wechselwirkt. Hier wenden wir solche Netzwerke auf die Aufgabe an, einen Ball zu fangen, der sich in einer zweidimensionalen Potentiallandschaft bewegt. Basierend auf vergangenen Teilen der Balltrajektorie sagt das Netzwerk zukünftige Ballpositionen vor und lenkt einen Agenten zum Ziel. Um Einschränkungen dieses Modells zu testen untersuchen wir die Leistungsfähigkeit des Agenten in Softwaresimulationen für zwei unterschiedliche Potentiale und ein Szenario, in dem der Ball zusätzlich zufällige Ablenkungen erfährt. Für beiden Potentiale kann der Agent mit dieser Vorhersagemethode erfolgreich gesteuert werden. In Gegenwart von Ablenkungen des Balls bessert sich die Vorhersagegenauigkeit wenn das Netzwerk vergangene Trajektorienstücke vergessen kann. Dies kann mit einem Mechanismus erreicht werden, der auf synaptischer Kurzzeitplastitzität beruht.

Models for spiking neural networks are essential for the implementation of artificial intelligence agents on energy-efficient neuromorphic devices. Recently, it was shown that Boltzmann machines, which are powerful generative models from machine learning, can be translated to networks of leaky integrate-and-fire neurons. So far, these have mainly been used for image classification, without the integration of an agent interacting continuously with its environment. Here we apply such networks to the task of catching a ball that moves in a two-dimensional potential landscape. Based on past parts of the ball’s trajectory, the network predicts future ball positions and guides an agent towards the target. To test the model limitations, we investigate the agent’s performance in software simulations for two different potentials and a scenario introducing additional random deflections of the ball. For both potentials, the agent can be controlled successfully with this prediction method. In the presence of ball deflections, the prediction accuracy improves if the network forgets past trajectory pieces, which can be achieved with a mechanism based on synaptic short-term plasticity.