Anne-Marie Brouwer

Leerstoel

Mental state monitoring (Radboud University Nijmegen).

Onderzoeksgebied

Informatie uit fysiologische metingen over de mentale staat van individuen en hun aanstaande prestaties kan interessant zijn in een breed scala van toepassingen. Het voordeel van dit type informatie is dat het, in tegenstelling tot informatie uit verbale rapportage, in principe continu is, de taak of beleving van het individu niet onderbreekt, en het responsvertekeningen kan voorkomen zoals kenmerken van de vraag of culturele achtergrond. Voorbeelden van toepassingen zijn het herhalen van informatie op een scherm als het waarschijnlijk is dat het niet eerder gezien is; het gebruiken van fysiologische responsen op een gecontroleerde stressfactor om voorspellingen te doen over reacties op andere (real-life) stress; het vergelijken van de affectieve ervaeringen met een product in verschillende culturen; en het aanpassen van een ondersteunend exoskelet om beter te reageren op waarschijnlijk komende lichaamsbewegingen.

Het onderzoeksgebied van de leerstoel kan worden beschreven als 'fysiologische signalen voor het monitoren van mentale staten'. Fysiologiche signalen omvatten hersensignalen en perifere fysiologische signalen zoals hartslag en huidgeleiding, maar zouden hier breder gezien moeten worden om ook andere mogelijke informatie te omvatten die individuen 'broadcasten'. Dit zijn bijvoorbeeld oogbewegingen, gezichtsuitdrukkingen, of gedrag als mobiele telefoongebruik. Deze types signalen kunnen informatie geven over de mentale staat van een individu, zoals aandacht, emotie, mentale inspanning of vermoeidheid. Daarmee kunnen ze ook informatie geven over toekomstige acties of prestaties van het individu. In de voorgestelde leerstoel ligt speciale focus op multimodale monitoring van mentale staten - ofwel het combineren van verschillende potentiële informatiebronnen.

De overkoepelende onderzoeksvelden van de leerstoel zijn neuroergonomics, hersen-computer interfaces, toegepaste neuroscience, neuro-adaptive technology, fysiologische computing en affectieve computing. Dit zijn zeer interdisciplinaire velden, met raakvlakken in neuroscience, psychologie, sensoren en signaal procesengineering, menselijke factoren, machine learning en AI.

Grootste uitdagingen

Het meeste onderzoek in dit veld wordt in het laboratorium gedaan, en de geldigheid van bestaande commerciële toepassingen (neuromarketing, neurofeedback, smart coaches) is vaak onduidelijk. Uitdagingen in een succesvolle weg van het laboratorium naar een geldig erkende toepassing zijn het omgaan met ruis in data, het gebrek aan context, generalisatie van modellen voor verschillende mensen en situaties, en bruikbaarheid. In deze leerstoel is de algemene aanpak om deze problemen uit de weg te helpen het gebruik van multimodale systemen. Informatie van meerdere modaliteiten gebruiken is al langer een veelgenoemde manier om monitoring van mentale staten te verbeteren. Studies die de multimodale informatie echter vastleggen en integreren doen dit gewoonlijk door de verschillende variabelen te combineren in een machine learning model, zonder verder voordeel te halen uit de betekenis en eigenschappen van deze variabelen. In contrast met wat men zou verwachten, zorgen deze multimodale modellen niet voor een overtuigende verbetering in vergelijking met modellen die alleen het best presterende kenmerk gebruiken.

Een uitdaging van een ander kaliber ligt in het ethische domein. In het onderzoek naar monitoring van mentale staten is het doel om informatie van individuen te extraheren zonder dat zij expliciet deze informatie communiceren. Ook al wordt dit gewoonlijk gedaan om hun prestatie of welzijn te verbeteren, brengt het gebrek aan controle over wat zij communiceren ethische overwegingen naar boven op het gebied van privacy, databescherming, informeren van het publiek en de algemene wenselijkheid van verschillende soorten toepassingen van monitoring van mentale staten.

Ambities en doelen van de leerstoel

In het onderzoeksgebied dat hierboven wordt geschetst, draait de leerstoel om twee aspecten:

1. Toepassing: de leerstoel beoogt het onderzoek naar monitoren van mentale staten sterker te verbinden met de toepassing ervan. Dit kan zijn 1) door te werken richting een concrete toepassing, zoals gewenst in de samenleving of industrie, waar de potentiele toegevoegde waarde van fysiologische metingen duidelijk is, de verwachtte nauwkeurigheid aannemend; 2) door te werken richting het oplossen van algemene uitdagingen in het veld zoals omgaan met ruis in de data, weinig context en generalisatie van mensen en situaties.
2. Multimodale aanpak: de leerstoel focust op multimodaal onderzoek, dus het bekijken van meerdere, concurrerende informatiebronnen, en de potentie te realiseren om toepassingen te verbeteren. 1) Verwacht wordt dat meerdere signalen schattingen van mentale staten en prestatievoorspellingen zullen verbeteren. Dit is omdat signalen waarschijnlijk complementaire informatie overbrengen (emotionele prikkelingen worden bijvoorbeeld zichtbaar in huidgeleiding en gefocuste aandacht wordt gemeten met EEG); hieruit kan context informatie worden gehaald (signalen kunnen worden bekeken in de context van waar een individu naar kijkt, of de locatie van het individu); samen kunnen ze robuuster zijn tegen ruis omdat verschillende signalen gevoelig zijn voor verschillende soorten ruis. 2) Multimodale opnames, waaronder gelijktijdige metingen van verschillende types labkwaliteit en draagbare systemen stellen ons in staat methodes te identificeren die cost-benefit favorieten zijn om het gebied van nauwkeurigheid, gebruiksvriendelijkheid, comfort en fincanciële kosten.

Belangrijkste publicaties

• Stuldreher, I. V., Thammasan, N., van Erp, J.B.F., & Brouwer, A.-M. (2020). Physiological synchrony in EEG, electrodermal activity and heart rate reflects shared selective auditory attention. Journal of Neural Engineering, 17(4).
• Brouwer, A.-M., Hogervorst, M.A., Oudejans, B., Ries, A.J. & Touryan, J. (2017). EEG and Eye Tracking Signatures of Target Encoding during Structured Visual Search. Frontiers in Human Neuroscience, 11, 264.
• Brouwer, A.-M., Zander TO, van Erp JBF, Korteling JE and Bronkhorst AW (2015) Using neurophysiological signals that reflect cognitive or affective state: six recommendations to avoid common pitfalls. Frontiers in Neuroscience, 9,136.
• Brouwer, A.-M, Hogervorst, M. A., van Erp, J. B. F., Heffelaar, T., Zimmerman, P. H., & Oostenveld, R. (2012). Estimating workload using EEG spectral power and ERPs in the n-back task. Journal of Neural Engineering, 9(4), 045008.
• Brouwer, A.-M., & van Erp, J.B.F. (2010). A tactile P300 Brain-Computer Interface. Frontiers in Neuroscience, 4:19.