Loading...
Publication
A machine learning approach to affective computing in the metaverse
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 4.35 MB | Adobe PDF |
Advisor(s)
Abstract(s)
Integrating Affective Computing in the Metaverse presents revolutionising opportunities in
virtual interactions by enabling emotionally intelligent systems that can recognize, interpret
and respond to human emotions. This study explores the development of a Machine Learning
model for accurate and reliable affect recognition for future deployment in the Metaverse
and likewise environments, while also exploring the potential of implementing such systems in
order to enhance user engagement, user well-being and general interaction quality in virtual
environments.
The state of the art in the interdisciplinary field of Affective Computing and its potential to be
applied in the Metaverse was explored, while investigating the impacts this implementation
could have and also taking into account the ethical concerns that rise from dealing with
personal, thus sensitive, data and its interpretation.
A development pipeline based on the CRISP-DM methodology was implemented and the
project focused on physiological datasets which were first evaluated independently, then
merged and lastly augmented by SMOTE. A range of of models was tested across the
different scenarios which in turn allowed for a comprehensive comparison of their effectiveness
in affect recognition.
The evaluation showed that one of the SMOTE-augmented datasets classified with a RandomForest
model achieved he best performance and that ensemble methods generally improved
generalization and overall robustness specially when applied to the more feature rich
datasets. The results highlight the importance of fine-tuning modeling strategies to each
modality and also the feasibility of implementing affect-aware systems in immersive digital
environments.
A integração da Computação Afetiva no Metaverso apresenta oportunidades revolucionárias nas interações virtuais, permitindo sistemas emocionalmente inteligentes que podem reconhecer, interpretar e responder às emoções humanas. Este estudo explora o desenvolvimento de um modelo Machine Learning para o reconhecimento preciso e fiável de afectos para futura implementação no Metaverso e em ambientes semelhantes, explorando também o potencial de implementação de tais sistemas para melhorar o envolvimento do utilizador, o seu bem-estar e a qualidade geral da interação em ambientes virtuais. Foi explorado o estado da arte no domínio interdisciplinar da Computação Afectiva e o seu potencial para ser aplicado no Metaverso, investigando ao mesmo tempo os impactos que esta implementação poderia ter e tendo também em conta as preocupações éticas que surgem quando se lida com dados pessoais, portanto sensíveis, e a sua interpretação. Foi implementado um pipeline de desenvolvimento baseado na metodologia CRISP-DM e o projeto centrou-se em conjuntos de dados fisiológicos que foram primeiro avaliados de forma independente, depois fundidos e, por fim, aumentados pelo SMOTE. Foi testada uma gama de modelos nos diferentes cenários, o que, por sua vez, permitiu uma comparação abrangente da sua eficácia no reconhecimento de afectos. A avaliação mostrou que um dos conjuntos de dados aumentados pelo SMOTE classificados com um modelo RandomForest obteve o melhor desempenho e que os métodos de conjunto melhoraram geralmente a generalização e a robustez global, especialmente quando aplicados aos conjuntos de dados mais ricos em caraterísticas. Os resultados destacam a importância de ajustar as estratégias de modelação a cada modalidade e também a viabilidade de implementar sistemas sensíveis aos afectos em ambientes digitais imersivos.
A integração da Computação Afetiva no Metaverso apresenta oportunidades revolucionárias nas interações virtuais, permitindo sistemas emocionalmente inteligentes que podem reconhecer, interpretar e responder às emoções humanas. Este estudo explora o desenvolvimento de um modelo Machine Learning para o reconhecimento preciso e fiável de afectos para futura implementação no Metaverso e em ambientes semelhantes, explorando também o potencial de implementação de tais sistemas para melhorar o envolvimento do utilizador, o seu bem-estar e a qualidade geral da interação em ambientes virtuais. Foi explorado o estado da arte no domínio interdisciplinar da Computação Afectiva e o seu potencial para ser aplicado no Metaverso, investigando ao mesmo tempo os impactos que esta implementação poderia ter e tendo também em conta as preocupações éticas que surgem quando se lida com dados pessoais, portanto sensíveis, e a sua interpretação. Foi implementado um pipeline de desenvolvimento baseado na metodologia CRISP-DM e o projeto centrou-se em conjuntos de dados fisiológicos que foram primeiro avaliados de forma independente, depois fundidos e, por fim, aumentados pelo SMOTE. Foi testada uma gama de modelos nos diferentes cenários, o que, por sua vez, permitiu uma comparação abrangente da sua eficácia no reconhecimento de afectos. A avaliação mostrou que um dos conjuntos de dados aumentados pelo SMOTE classificados com um modelo RandomForest obteve o melhor desempenho e que os métodos de conjunto melhoraram geralmente a generalização e a robustez global, especialmente quando aplicados aos conjuntos de dados mais ricos em caraterísticas. Os resultados destacam a importância de ajustar as estratégias de modelação a cada modalidade e também a viabilidade de implementar sistemas sensíveis aos afectos em ambientes digitais imersivos.
Description
Keywords
Affective Computing Metaverse Emotion Recognition Emotional Engagement