Publication
A machine learning approach to affective computing in the metaverse
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Pereira, Ivo André Soares | |
| dc.contributor.author | SILVA, OSVALDO DANIEL MARTINS VIEIRA DA | |
| dc.date.accessioned | 2025-09-10T10:10:16Z | |
| dc.date.available | 2025-09-10T10:10:16Z | |
| dc.date.issued | 2025-07-16 | |
| dc.description.abstract | Integrating Affective Computing in the Metaverse presents revolutionising opportunities in virtual interactions by enabling emotionally intelligent systems that can recognize, interpret and respond to human emotions. This study explores the development of a Machine Learning model for accurate and reliable affect recognition for future deployment in the Metaverse and likewise environments, while also exploring the potential of implementing such systems in order to enhance user engagement, user well-being and general interaction quality in virtual environments. The state of the art in the interdisciplinary field of Affective Computing and its potential to be applied in the Metaverse was explored, while investigating the impacts this implementation could have and also taking into account the ethical concerns that rise from dealing with personal, thus sensitive, data and its interpretation. A development pipeline based on the CRISP-DM methodology was implemented and the project focused on physiological datasets which were first evaluated independently, then merged and lastly augmented by SMOTE. A range of of models was tested across the different scenarios which in turn allowed for a comprehensive comparison of their effectiveness in affect recognition. The evaluation showed that one of the SMOTE-augmented datasets classified with a RandomForest model achieved he best performance and that ensemble methods generally improved generalization and overall robustness specially when applied to the more feature rich datasets. The results highlight the importance of fine-tuning modeling strategies to each modality and also the feasibility of implementing affect-aware systems in immersive digital environments. | eng |
| dc.description.abstract | A integração da Computação Afetiva no Metaverso apresenta oportunidades revolucionárias nas interações virtuais, permitindo sistemas emocionalmente inteligentes que podem reconhecer, interpretar e responder às emoções humanas. Este estudo explora o desenvolvimento de um modelo Machine Learning para o reconhecimento preciso e fiável de afectos para futura implementação no Metaverso e em ambientes semelhantes, explorando também o potencial de implementação de tais sistemas para melhorar o envolvimento do utilizador, o seu bem-estar e a qualidade geral da interação em ambientes virtuais. Foi explorado o estado da arte no domínio interdisciplinar da Computação Afectiva e o seu potencial para ser aplicado no Metaverso, investigando ao mesmo tempo os impactos que esta implementação poderia ter e tendo também em conta as preocupações éticas que surgem quando se lida com dados pessoais, portanto sensíveis, e a sua interpretação. Foi implementado um pipeline de desenvolvimento baseado na metodologia CRISP-DM e o projeto centrou-se em conjuntos de dados fisiológicos que foram primeiro avaliados de forma independente, depois fundidos e, por fim, aumentados pelo SMOTE. Foi testada uma gama de modelos nos diferentes cenários, o que, por sua vez, permitiu uma comparação abrangente da sua eficácia no reconhecimento de afectos. A avaliação mostrou que um dos conjuntos de dados aumentados pelo SMOTE classificados com um modelo RandomForest obteve o melhor desempenho e que os métodos de conjunto melhoraram geralmente a generalização e a robustez global, especialmente quando aplicados aos conjuntos de dados mais ricos em caraterísticas. Os resultados destacam a importância de ajustar as estratégias de modelação a cada modalidade e também a viabilidade de implementar sistemas sensíveis aos afectos em ambientes digitais imersivos. | por |
| dc.identifier.tid | 203996038 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/30432 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Affective Computing | |
| dc.subject | Metaverse | |
| dc.subject | Emotion Recognition | |
| dc.subject | Emotional Engagement | |
| dc.title | A machine learning approach to affective computing in the metaverse | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia Informática |