Learning Event-Based Temporal Abstractions for Hierarchical Prediction and Planning

Christian Gumbsch

Abstract: In den letzten Jahrzehnten haben Systeme mit tiefem Verstärkungslernen bemerkenswerte Fortschritte erzielt und erreichen nach ausgiebigem Training teilweise übermenschliche Leistun- gen. Allerdings hat noch kein künstliches System die Flexibilität und Effizienz erreicht, mit der intelligente Tiere lernen neue Probleme zu lösen. Ziel dieser Arbeit ist es, diese Lücke ein Stück weit zu schließen, indem Inspirationen von der biologischer Kognition genommen werden, um das zielgerichtete Verhalten von künstlichen Agenten zu erweitern, insbesondere um die Fähigkeit, sensorimotorische Erfahrungen hierarchisch in Ereignisse zu zerlegen. Die zentrale Hypothese dieser Arbeit lautet, dass modellbasierte zeitliche Abstraktionen von Ereignissen nicht nur eine entscheidende Rolle im menschlichen Verhalten spielen, sondern dass künstliche Agenten durch das Erlernen solcher Strukturen auch adaptiveres und weitreichenderes zielgerichtetes Verhalten erlangen können. Um das zu untersuchen, wird ein formeller Rahmen für das ereignisbasierte Lernen hierarchischer Modelle mit verschachtelten Zeitskalen vorgestellt, der sich sowohl für die kognitive Modellierung als auch für die Verbesserung der sequenziellen Entscheidungsfindung eignet. Zunächst wird die kognitive Plausibilität des Ansatzes durch die Modellierung von menschlich- em antizipativem Verhalten untersucht. Für die Modellierungsexperiment wird ein Agent mit einem vorstrukturierten Modell erreignisbasierter Abstraktionen ausgestattet. Wenn der Agent seinen Blick ausrichtet, um Unsicherheit über die hierarchischen Vorhersagen des Modells zu mi- nimieren, entsteht zielantizipatives Blickverhalten ähnlich der Augenfixationen bei Säuglingen. Das Erlernen von hierarchischen Vorhersagen setzt einen Mechanismus voraus, der Aktivität in Ereignisse einteilt. Für diesen Zweck, wird als Nächstes ein rekurrentes neuronales Netzwerk vorgestellt, das selbstständig lernt Dynamiken in latente Zustände zu komprimieren, die zeitlich selten aktualisiert werden. Die Integration dieses Mechanismus in verschiedene Vorhersage- und Planungssysteme verbessert deren Generalisierungsfähigkeit, Lerneffizienz und Erklärbarkeit. Schließlich werden Komponenten aus den vorherigen Methoden kombiniert, um eine Hierar- chie von Weltmodellen von Grund auf zu lernen. Das übergeordnete Modell in der Hierarchie wird nur aufgrund von punktuellen latenten Zustandsänderungen eines untergeordneten Dy- namikmodells trainiert. Wenn das System seinen Blickfokus anhand der hierarchischen Vorher- sagen auswählt, entsteht zielantizipatorisches Blickverhalten, ähnlich wie es sich bei Säuglingen im ersten Lebensjahr entwickelt. Darüber hinaus können die erlernten hierarchischen Vorher- sagen nahtlos in modellbasierte Verstärkungslern- und Planungsagenten integriert werden, um deren Verhalten bei anspruchsvollen Problemen mit langen Aufgabenhorizonten zu verbessern. Zusammengefasst bietet diese Arbeit nicht nur praktische Methoden für das Erlernen ereignis- basierter zeitlicher Abstraktionen, sondern zeigt auch, wie solche Strukturen menschliches Ver- halten erklären und die Entscheidungsfindung künstlicher Agenten verbessern können.