Was sagt die Hirnaktivität eines Menschen über seine emotionalen Erlebnisse oder kognitiven Prozesse aus? Wie kann man solche Hirnsignale messen und in Echtzeit auswerten? Wie können Brain-Computer Interfaces (BCI) genutzt werden, um die Interaktion mit Software oder auch intelligenter Technik angenehmer zu machen? Diese und viele weitere Fragen stehen im Mittelpunkt des noch jungen Forschungsbereichs der Neuroarbeitswissenschaft und Neuroadaptiven Technologien, das am Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO von Dr. Mathias Vukelic seit 2021 geleitet wird.
Plattform für Wissenschaft und praxisnahe Anwendungen
Die »Neuroadaptive Technology Conference« bietet ein einzigartiges Forum, um sich mit anderen Wissenschaftlerinnen und Wissenschaftlern über Erkenntnisse und Ergebnisse auszutauschen und gemeinsame Ziele im Bereich neuroadaptiver Technologien und Künstlichen Intelligenz (KI) zu identifizieren. In ihrer dritten Auflage fand die Konferenz von 9. bis 12. Oktober 2022 in Lübbenau bei Berlin statt. Neuroadaptive Technologien sind technische Systeme, die über verschiedene Sensoren am Menschen, dessen individuellen mentalen Zustand in Echtzeit messen, interpretieren und durch entsprechende Feedback-Systeme anpassen können. Damit leisten neuroadaptive Technologien einen wesentlichen Beitrag für eine menschengerechte, effiziente und barrierefreie Mensch-Technik-Interaktion.
Die Konferenz bot einen interdisziplinären Austausch von Expertinnen und Experten der Informatik, Medizin, Neurowissenschaften, Psychologie, Arbeitswissenschaften sowie Ethik- und Sozialforschung die in über 30 Beiträgen in Form von Keynotes, Talks und Poster Sessions die Themen »BCI & Applications«, »Ethics & Perspectives« sowie »AI & Machine Learning« intensiv beleuchtet haben.
Kombination von BCI und KI-Algorithmus bringt Robotern bei, komplexe Aufgaben selbstständig zu lösen
In ihrem Beitrag »BCI-based Deep Reinforcement Learning for Robot Training« hat der Teamleiter Dr. Mathias Vukelic zusammen mit Katharina Lingelbach und Michael Bui anschaulich ein neuartiges interaktives Reinforcement Learning (RL) Verfahren dargestellt. Anhand implizit gemessener Hirnsignale durch ein Brain-Computer Interface (BCI) ermöglicht dieses eine Bewertungsfunktion – in Form von Belohnung oder Kritik - und somit menschliches Feedback im Lernprozess. Die Machbarkeit des Ansatzes wurde in Simulationsumgebungen erprobt. Bei der vorgestellten Methode kann der Mensch dem RL-Agenten (Roboter in der Simulationsumgebung) direkt Feedback geben, während dieser lernt. Ein Grund für die Attraktivität dieser Methode ist, dass dieser Ansatz dem ähnelt, wie Menschen aus Feedback lernen. Weiterhin passt diese Form des Lernens durch Feedback sehr gut und intuitiv in das grundlegende RL-Paradigma, bei dem das Feedback als Belohnungssignal verwendet werden kann. Die nachfolgende Abbildung veranschaulicht den interaktiven Ansatz »Lernen von menschlichem Feedback«, der aus drei Phasen besteht:
- Kalibrierung eines BCI zur automatischen Erkennung von fehlerhaften Roboterverhalten durch den Menschen anhand der Elektroenzephalographie (EEG)
- Abschätzung einer Belohnungsfunktion (sog. Human Feedback Policy) unter Verwendung des trainierten BCIs (EEG-Klassifikator)
- Lernen einer finalen RL-Strategie aus spärlichen Belohnungen, in welcher die Human Feedback Policy die RL-Strategie anleitet.
Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO
