Göttinger Forschungsteam ergründet Informationsverarbeitung in Deep Neural Networks
Künstliche neuronale Netze sind in Forschung und Technik ebenso wie in Technologien des Alltags heute allgegenwärtig, zum Beispiel bei der Spracherkennung. Trotzdem ist bislang unklar, was genau in den tieferen Bereichen dieser Netzwerke passiert. Um dies zu ergründen, haben Forschende des Göttingen Campus Instituts für Dynamik biologischer Netzwerke (CIDBN) der Universität Göttingen, des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS) sowie MBExC Mitglied Viola Prieseman eine informationstheoretische Analyse des Deep Learning, einer speziellen Form des maschinellen Lernens, vorgenommen. Sie erkannten, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.
Klicken Sie hier um die vollständige Pressemitteilung zu lesen.
Informationsverarbeitung im Deep Neural Network: Der Inhalt des Bildes (die handgeschriebene Ziffer) wird eingelesen. Die Zwischenschichten nehmen die Information nacheinander auf. Dabei wird sie auf die künstlichen Neuronen verteilt. Am Ende gibt die Ausgabeschicht eine Ziffer aus. Sie sollte mit dem Eingabewert übereinstimmen. Die künstlichen Neuronen spezialisieren sich: Ein Neuron wird dann aktiv, wenn zum Beispiel eine Drei gezeigt wird, ein anderes Neuron wird aktiv, wenn eine Neun gezeigt wird. Bild: David Ehrlich, CIDBN, Universität Göttingen
