Publication
From brainwaves to emotions: Emotion recognition in media consumption using EEG and BCI
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Marreiros, Maria Goreti Carvalho Marreiros | |
| dc.contributor.author | VIEIRA, JOÃO FILIPE MOREIRA | |
| dc.date.accessioned | 2025-11-17T11:53:43Z | |
| dc.date.available | 2025-11-17T11:53:43Z | |
| dc.date.issued | 2025-10-10 | |
| dc.description.abstract | The recognition of emotions from Electroencephalogram (EEG) signals captured by Brain-Computer Interface (BCI) is one of the emerging challenges in the field of Artificial Intelligence (AI) applied to digital media consumption. This study aimed to investigate how complete pipelines of pre-processing, feature extraction, and deep learning model training can be used to identify emotional states during the viewing of audiovisual content, focusing not only on obtaining quantitative results but also on better understanding the methodological factors that condition the models’ generalisation capacity. To this end, datasets from the SEED family were analysed and processed from raw signals, applying filtering, resampling, referencing, Independent Component Analysis (ICA), and baseline removal steps. Feature extraction included Differential Entropy (DE), Power Spectral Density (PSD), and Wavelet Transform (WT) in different frequency band schemes. Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM), and CNN-LSTM models were implemented and evaluated in multiple validation scenarios, including Cross-Subject (Single-Session), Cross-Session, and Cross-Subject (Multi-Session). The results showed that the inclusion of the delta band contributes to better generalisation, while high gamma did not show clear benefits. The combination of DE and PSD proved to be more robust than the isolated use of each feature. In terms of architectures, CNN proved to be the simplest and most computationally efficient solution, while both LSTM and CNN-LSTM showed greater potential for generalisation. It was also found that inadequate evaluation methodologies, such as classic 80/20 splits, can lead to artificially high metrics but without practical validity, reinforcing the importance of rigorous approaches such as Leave-One-Subject-Out (LOSO) validation. Beyond the technical aspect, this dissertation gave rise to a scientific contribution, materialised in the publication of an article proposing a technical-ethical guide for the collection and processing of EEG data, in accordance with the General Data Protection Regulation (GDPR) and the AI Act. The work carried out thus constitutes not only an advance in the critical analysis of emotion recognition pipelines, but also a solid basis for future research, including the continuity ensured within the European DataPACT project. | eng |
| dc.description.abstract | O reconhecimento de emoções a partir de dados de Electroencephalogram (EEG) captados por Brain-Computer Interfaces (BCIs) constitui um dos desafios emergentes na área da inteligência artificial aplicada ao consumo de media digital. Este trabalho teve como objetivo investigar de que forma pipelines completos de pré-processamento, extração de features e treino de modelos de deep learning podem ser utilizados para identificar estados emocionais durante a visualização de conteúdos audiovisuais, privilegiando não apenas a obtenção de resultados quantitativos, mas também a compreensão crítica dos fatores metodológicos que condicionam a capacidade de generalização dos modelos. Para tal, foram analisados e processados datasets da família SEED, a partir dos sinais brutos, aplicando etapas de filtragem, resampling, referenciação, ICA e remoção de baseline. A extração de features incluiu Differential Entropy (DE), Power Spectral Density (PSD) e Wavelet Transform (WT), em diferentes esquemas de bandas de frequência. Foram implementados e avaliados modelos Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) e CNN-LSTM em múltiplos cenários de validação, incluindo Cross-Subject (Single-Session), Cross-Session e Cross-Subject (Multi-Session). Os resultados demonstraram que a inclusão da banda delta contribui para uma melhor generalização, enquanto a gamma alta não apresentou benefícios claros. A combinação de DE e PSD revelou-se mais robusta do que a utilização isolada de cada feature. Em termos de arquiteturas, a CNN mostrou-se a solução mais simples e eficiente em termos computacionais, enquanto que tanto a LSTM como a CNN-LSTM apresentaram maior potencial de generalização. Verificou-se ainda que metodologias de avaliação inadequadas, como divisões clássicas 80/20, podem conduzir a métricas artificialmente elevadas mas sem validade prática, reforçando a importância de abordagens rigorosas como a validação Leave-One-Subject-Out (LOSO). Para além da vertente técnica, esta dissertação deu origem a um contributo científico autónomo, materializado na publicação de um artigo que propõe um guia técnico-ético para a recolha e tratamento de dados EEG, em conformidade com o Regulamento Geral sobre a Proteção de Dados (RGPD) e o AI Act. O trabalho desenvolvido constitui assim não apenas um avanço na análise crítica de pipelines para reconhecimento de emoções, mas também uma base sólida para investigações futuras, incluindo a continuidade assegurada no âmbito do projeto europeu DataPACT. | por |
| dc.identifier.tid | 204033659 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/30932 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | EEG | |
| dc.subject | BCI | |
| dc.subject | Emotion Recognition | |
| dc.subject | Deep Learning | |
| dc.subject | Feature Extraction | |
| dc.title | From brainwaves to emotions: Emotion recognition in media consumption using EEG and BCI | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia de Inteligência Artificial |