Publication
Ai-driven emotion recognition for mental health diagnoses: Assessing mental health through emotional state evaluation
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Conceição, Luís Manuel Silva | |
| dc.contributor.advisor | Figueiredo, Ana Maria Neves Almeida Baptista | |
| dc.contributor.author | PRETO, PEDRO MIGUEL PERES | |
| dc.date.accessioned | 2025-11-24T10:07:24Z | |
| dc.date.available | 2025-11-24T10:07:24Z | |
| dc.date.issued | 2025-10-13 | |
| dc.description.abstract | Mental health conditions remain a concerning challenge across the globe, requiring timely and reliable approaches to correctly make accurate diagnoses and effective interventions. Traditional assessment methods often rely on subjective self-reports and clinical interviews, which may not always capture the full spectrum of an individual’s emotional state. In this context, computational techniques for emotion analysis provide a complementary perspective by identifying patterns in facial expressions, speech, and language. This dissertation evaluates the potential of multimodal emotional state analysis and its contribution to mental health assessment, through the development of a computational application. A systematic review was conducted to evaluate existing methodologies and highlight their strengths, limitations, and applicability in clinical contexts. Building on this review, the present work explores an integration of visual, vocal, textual patterns, assessing the contribution of their combined capacity to improve the consistency and depth of emotional interpretation. An analysis centered on methodological design was conducted by applying techniques such as preprocessing, fine-tuning, and data augmentation on the datasets to enhance the model’s capacity. Ethical and security considerations were also incorporated to strengthen system robustness and ensure responsible deployment in the market. The proposed solution consists of an artificial intelligence based multimodal system that integrates the analysis of emotions present in facial expressions, voice, and text patterns to provide a comprehensive assessment of the user’s emotional state. The application’s modular architecture enables real-time processing and the generation of clinical reports. The experimental validation of the system revealed promising results across several DSM-5 domains, the clinical reference manual that defines diagnostic criteria for mental disorders cases. High F1-scores were recorded in domains such as Anger (0.84) and Personality Functioning (0.87), while more subtle domains, such as Dissociation (0.43) and Repetitive Behaviors (0.52), revealed more modest performance. The overall analysis resulted in an observed agreement level of 71.9% and a Cohen’s Kappa of 0.42, indicating moderate agreement with the DSM-5. The findings underline the promise of computational emotion analysis as a supplementary tool for mental health professionals, while also emphasizing the importance of critical evaluation of its limitations and careful integration into clinical practice. | eng |
| dc.description.abstract | As condições de saúde mental continuam a representar um desafio preocupante em todo o mundo, exigindo abordagens rápidas e fiáveis que permitam diagnósticos precisos e intervenções eficazes. Os métodos de avaliação tradicionais baseiam-se, frequentemente, em autorrelatos subjetivos e entrevistas clínicas, que nem sempre permitem uma perceção completa do estado emocional de um indivíduo. Neste contexto, as técnicas computacionais de análise de emoções oferecem uma perspetiva complementar ao identificar padrões em expressões faciais, no tom de voz e no discurso. Esta dissertação avalia o potencial da análise multimodal de estados emocionais e o seu contributo para a avaliação da saúde mental, através da criação de um sistema computacional. Foi realizada uma revisão sistemática, para avaliar as metodologias existentes e destacar os seus pontos fortes, limitações e aplicabilidade em contextos clínicos. Com base nesta revisão, o presente trabalho, explora a integração de padrões visuais, vocais e textuais, analisando o contributo da sua combinação para uma interpretação emocional mais concisa e aprofundada. Foi realizada uma análise centrada no design metodológico, aplicando técnicas como pré-processamento, fine-tuning e data augmentation nos datasets, de forma a potenciar a capacidade dos modelos. Foram igualmente consideradas dimensões éticas e de segurança, para reforçar a robustez do sistema e assegurar um lançamento responsável no mercado. A solução proposta consiste num sistema multimodal baseado em inteligência artificial que integra a análise de emoções presentes em expressões faciais, na voz e no texto, de modo a fornecer uma avaliação abrangente do estado emocional do paciente. Ademais, a arquitetura modular da aplicação permite o processamento e a geração de relatórios clínicos em tempo real. A validação experimental do sistema revelou resultados promissores em diversos domínios do DSM-5 – manual de referência clínica que define critérios de diagnóstico para casos de transtornos mentais. Registaram-se F1-scores elevados em domínios como a Raiva (0.84), e Funcionamento da Personalidade (0.87), enquanto domínios mais subtis, como Dissociação (0.43) e Comportamentos Repetitivos (0.52) apresentaram desempenhos mais modestos. A análise global resultou num nível de concordância observada de 71.9% e num Kappa de Cohen de 0.42, o que indica uma concordância moderada com o DSM-5. Os resultados reforçam o potencial da análise computacional de emoções enquanto ferramenta suplementar para profissionais de saúde mental, salientando, contudo, a necessidade de uma avaliação crítica das suas limitações e da integração cuidada na prática clínica. | por |
| dc.identifier.tid | 204034248 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/31038 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | mental health | |
| dc.subject | AI-driven multimodal analysis | |
| dc.subject | clinical decision support | |
| dc.subject | facial expression analysis | |
| dc.subject | speech processing | |
| dc.subject | sentiment analysis | |
| dc.subject | Saúde mental | |
| dc.subject | Análise multimodal baseada em inteligência artificial | |
| dc.subject | Apoio à decisão clínica | |
| dc.subject | Análise de expressões faciais | |
| dc.subject | Processamento de fala | |
| dc.subject | Análise de sentimentos | |
| dc.title | Ai-driven emotion recognition for mental health diagnoses: Assessing mental health through emotional state evaluation | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia de Inteligência Artificial |