KIP-Veröffentlichungen

Weitgehend aufgefasst als ein Kennzeichen von Intelligenz, sei sie künstlich oder biologisch, ist die Fähigkeit, stochastische Inferenz durchzuführen, Gegenstand umfangreicher Forschung sowohl im Bereich des maschinellen Lernens als auch der Neurowissenschaft. In diesem Zusammenhang bieten grafische Modelle - wie z.B. Bayes'sche Netze - einen hilfreichen Rahmen zur Darstellung von Wahrscheinlichkeitsverteilungen und Durchführung von Inferenz in den jeweiligen Wahrscheinlichkeitsräumen. Durch Erweitern der theoretischen Methoden von Pecevski et al. (2011) und Petrovici et al. (2013) beschreibt diese Arbeit die "physikalische" Realisierung beliebiger binärer Wahrscheinlichkeitsverteilungen, repräsentiert durch Bayes'sche Netze, in Ensembles von Leaky Integrate-and-Fire (LIF) Neuronen. Auf der Grundlage einer Samplingmethode an Stelle von Belief Propagation, bietet die vorgeschlagene Umsetzung wesentliche Vorteile hinsichtlich Effizienz, Konvergenz und Geschwindigkeit. In diesem Rahmen stellen einzelne Neuronen die binären Zufallsvariablen dar, während bedingte Wahrscheinlichkeiten in synaptischen Wechselwirkungen verankert sind und durch postsynaptische Potentiale (PSPs) vermittelt werden. Auf Grund der Abweichung der theoretisch optimalen von den mit LIF Neuronen erreichbaren PSP-Formen wird ein neuartiges Wechselwirkungsmodell vorgeschlagen, welches auf Feedforwardketten von Neuronen gründet. Dieser neuartige Ansatz wird eingehend charakterisiert und mittels umfassender Softwaresimulationen validiert. Indem es einen Übergang zur experimentellen Neurowissenschaft schafft, ermöglicht das vorgeschlagene Konzept eine vielversprechende Anwendung für neuromorphe Hardware, die dabei das Substrat für schnelle und leistungseffiziente Inferenzmaschinen bereitstellt. Als notwendige Vorbereitung für eine derartige Anwendung werden entscheidende Parameter der BrainScaleS wafer-skaligen neuromorphen Plattform charakterisiert und diskutiert.

Widely regarded as a hallmark of intelligence, be it artificial or biological, the ability to perform stochastic inference has been the subject of intense research in both the fields of machine learning and neuroscience. In this context, graphical models - such as Bayesian networks - provide a useful framework for representing probability distributions and performing inference in their respective probability spaces. Extending the theoretical approaches from Pecevski et al. (2011) and Petrovici et al. (2013), this thesis describes the "physical" implementation of arbitrary binary probability distributions, represented as Bayesian networks, in ensembles of leaky  integrate-and-fire (LIF) neurons. Based on a sampling approach rather than belief propagation, the proposed implementation offers significant advantages in terms of sparseness, convergence and speed. In this framework, individual neurons represent the binary random variables, while conditional probabilities are embedded in the synaptic interactions, mediated by postsynaptic potentials (PSPs). Due to the difference between theoretically optimal PSP shapes and those achievable with LIF neurons, a novel interaction model is proposed, based on feedforward neural chains. This new approach is characterized in detail and validated through extensive software simulations. While creating a bridge to experimental neuroscience, the proposed approach inherently fosters a promising application for neuromorphic hardware, which can thereby provide the substrate for fast and power-efficient inference machines. As a necessary preliminary for such an application, several critical parameters of the BrainScaleS wafer-scale neuromorphic platform are characterized and discussed.