KIP-Veröffentlichungen

Aktuelle Forschungsergebnisse legen nahe, dass das Gehirn bayessche Inferenz mit- tels Spike-basierten Samplings durchführt. Die inhärenten Parameterschwankungen biologischer und analoger neuromorpher Substrate stellen besondere Herausforderung- en für brauchbare Modelle dar. Wir untersuchen dieses Problem in einem Sam- plingmodell basierend auf Leaky Integrate-and-fire-Neuronen, welches auf der An- nahme symmetrischer reziproker Gewichte und Gewichtsupdates beruht. Da diese Voraussetzung von heterogenen Substraten nicht erfüllt werden kann, entwickeln wir einen homöostatischen Mechanismus für die Gewichtssymmetrisierung, der auf anti- Hebbscher spikezeitabhängiger Plastizität basiert und untersuchen seine Limitierun- gen mit numerischen Simulationen. Die Herleitung einer semianalytischen Lösung des Zweineuronnetzwerks mit einem vereinfachten Neuronmodell erlaubt es uns zu zeigen, dass Abweichungen vor allem von der exponentiellen Form der postsynaptischen Poten- ziale herrühren. Wir schlussfolgern, dass eine Optimierung des Symmetrisierungsker- nels diese Abweichung verringern kann. Weiterhin untersuchen wir in vorbereitenden Experimenten die relevanten Parametervariationen auf der BrainScaleS-2-Hardware und deren Auswirkungen auf das Lernen. Eine funktionierende Hardwareimplemen- tierung eines solchen Symmetrisierungsalgorithmus würde eine praktische Lösung für die Herausforderungen eines vollständig auf dem Chip ausgeführten Trainings von spikenden Samplingnetzwerken darstellen, was ein tieferes Verständnis von biologisch plausibler Informationsverarbeitung ermöglicht.

Mounting evidence supports the hypothesis that the brain performs Bayesian in- ference via spike-based sampling. One particular challenge of viable models for both biological and analog neuromorphic substrates are inherent parameter variations. We studied this problem in the framework of sampling with leaky integrate-and-fire neu- rons, which relies on symmetric reciprocal weights and symmetric weight updates dur- ing training. Since this requirement is incompatible with the nature of heterogeneous substrates, we develop a homeostatic mechanism based on anti-Hebbian spike-timing dependent plasticity to symmetrize reciprocal weights and investigate its limitations using numerical simulations. Deriving a semi-analytical solution of a two neuron net- work with a simplified neuron model allows us to show that deviations are predomi- nantly caused by the exponential shape of the post-synaptic potential. We conclude that optimizing the symmetrization kernel can mitigate the deviations in the sym- metrization. Finally, we perform preliminary experiments to characterize the relevant parameter variations on the BrainScaleS-2 hardware and their interaction with learn- ing. A working hardware implementation of such a symmetrization algorithm would offer a convenient solution for challenges connected to fully on-chip training of spiking sampling networks and thereby enable a deeper understanding of biologically plausible information processing.