Publicação
MFFER: Multimodal Federated-Learning based Facial Emotion Recognition
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Marreiros, Maria Goreti Carvalho | |
| dc.contributor.author | SILVA, JOÃO CRUZ DA | |
| dc.date.accessioned | 2025-11-17T11:54:46Z | |
| dc.date.available | 2025-11-17T11:54:46Z | |
| dc.date.issued | 2025-10-20 | |
| dc.description.abstract | The retail sector is a cornerstone of modern economies, requiring continuous innovation to adapt to evolving trends in sustainability, digitalization, and customer engagement. In this context, numerous studies have explored the application of advanced computational techniques to enhance customer experience and operational efficiency. The implementation of virtual assistants is one of the suggestions for the innovation of the sector, combining them with different machine learning methods, such as recommendation systems, facial emotion recognition, amongst others. However, the processing of personal and subjective data of the users leads to a data privacy breach. To address these issues, the implementation of a Federated Learning solution becomes a viable answer to the presented flaw, while being able to utilize the benefits of the other methods. The objective of this dissertation is to present, implement and test a new automatic recommendation multimodal system with the support of facial emotion recognition methods, in Federated Learning environment, being able to tackle the problems related to privacy and storage of data, while constantly updating the models of the system, increasing its quality. The development of the dissertation showcases the viability of the proposed system by displaying some early good results across some of the evaluated metrics, a scalable architecture, and an overall acceptable performance when adapted to proposed federated framework when compared to a traditional centralised structure. | eng |
| dc.description.abstract | O sector retalhista é um pilar das economias modernas, exigindo inovação contínua para se adaptar às tendências em sustentabilidade, digitalização e envolvimento do cliente. Neste contexto, diversos estudos exploraram a aplicação de técnicas computacionais avançadas para melhorar a experiência do cliente e a eficiência operacional. A implementação de assistentes virtuais é uma das propostas para a inovação do sector, combinando-os com diferentes métodos de aprendizagem automática, como sistemas de recomendação, reconhecimento facial de emoções, entre outros. No entanto, o processamento de dados pessoais e subjetivos dos utilizadores pode levar a falhas de privacidade. Para enfrentar estas questões, a implementação de uma solução baseada em Federated Learning revela-se uma alternativa viável, permitindo usufruir dos benefícios das restantes técnicas enquanto se preserva a privacidade dos dados. O objetivo desta dissertação é apresentar, implementar e testar um novo sistema automático de recomendação multimodal, suportado por métodos de reconhecimento facial de emoções, num ambiente de Aprendizagem Federada, capaz de lidar com problemas relacionados com a privacidade e armazenamento de dados, enquanto atualiza continuamente os modelos do sistema, aumentando a sua qualidade. O desenvolvimento da dissertação demonstra a viabilidade do sistema proposto, apresentando resultados iniciais promissores em algumas das métricas avaliadas, uma arquitetura escalável e um desempenho global aceitável quando adaptado à estrutura federada proposta, em comparação com uma estrutura centralizada tradicional. | por |
| dc.identifier.tid | 204033640 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/30933 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Federated Learning | |
| dc.subject | Machine Learning | |
| dc.subject | Facial Emotion Recognition | |
| dc.subject | Data Privacy | |
| dc.subject | Recommendation Systems | |
| dc.subject | Aprendizagem federada | |
| dc.subject | Aprendizagem de máquina | |
| dc.subject | Reconhecimento facial de emoções | |
| dc.subject | Privacidade de dados | |
| dc.subject | Sistemas de recomendação | |
| dc.title | MFFER: Multimodal Federated-Learning based Facial Emotion Recognition | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia de Inteligência Artificial |