Publication
Sistema de reconhecimento de expressões faciais para deteção de stress
| dc.contributor.advisor | Rodrigues, Maria de Fátima Coutinho | |
| dc.contributor.author | Almeida, José Paulo de Sousa | |
| dc.date.accessioned | 2021-02-08T16:34:17Z | |
| dc.date.available | 2021-02-08T16:34:17Z | |
| dc.date.issued | 2020 | |
| dc.description.abstract | Stress is the body's natural reaction to external and internal stimuli. Despite being something natural, prolonged exposure to stressors can contribute to serious health problems. These reactions are reflected not only physiologically, but also psychologically, translating into emotions and facial expressions. Once this relationship between the experience of stressful situations and the demonstration of certain emotions in response was understood, it was decided to develop a system capable of classifying facial expressions and thereby creating a stress detector. The proposed solution consists of two main blocks. A convolutional neural network capable of classifying facial expressions, and an application that uses this model to classify real-time images of the user's face and thereby verify whether or not it shows signs of stress. The application consists in capturing real-time images from the webcam, extract the user's face, classify which facial expression he expresses, and with these classifications assess whether or not he shows signs of stress in a given time interval. As soon as the application determines the presence of signs of stress, it notifies the user. For the creation of the classification model, was used transfer learning, together with finetuning. In this way, we took advantage of the pre-trained networks VGG16, VGG19, and Inception-ResNet V2 to solve the problem at hand. For the transfer learning process, were also tried two classifier architectures. After several experiments, it was determined that VGG16, together with a classifier made up of a convolutional layer, was the candidate with the best performance at classifying stressful emotions. Having presented an MCC of 0.8969 in the test images of the KDEF dataset, 0.5551 in the Net Images dataset, and 0.4250 in the CK +. | pt_PT |
| dc.description.abstract | O stress é uma reação natural do corpo a estímulos externos e internos. Apesar de ser algo natural, a exposição prolongada a stressors pode contribuir para sérios problemas de saúde. Essas reações refletem-se não só fisiologicamente, mas também psicologicamente. Traduzindose em emoções e expressões faciais. Uma vez compreendida esta relação entre a experiência de situações stressantes e a demonstração de determinadas emoções como resposta, decidiu-se desenvolver um sistema capaz de classificar expressões faciais e com isso criar um detetor de stress. A solução proposta é constituida por dois blocos fundamentais. Uma rede neuronal convolucional capaz de classificar expressões faciais e uma aplicação que utiliza esse modelo para classificar imagens em tempo real do rosto do utilizador e assim averiguar se este apresenta ou não sinais de stress. A aplicação consiste em captar imagens em tempo real a partir da webcam, extrair o rosto do utilizador, classificar qual a expressão facial que este manifesta, e com essas classificações avaliar se num determinado intervalo temporal este apresenta ou não sinais de stress. Assim que a aplicação determine a presença de sinais de stress, esta irá notificar o utilizador. Para a criação do modelo de classificação, foi utilizado transfer learning, juntamente com finetuning. Desta forma tirou-se partido das redes pre-treinadas VGG16, VGG19, e InceptionResNet V2 para a resolução do problema em mãos. Para o processo de transfer learning foram também experimentadas duas arquiteturas de classificadores. Após várias experiências, determinou-se que a VGG16, juntamente com um classificador constituido por uma camada convolucional era a candidata com melhor desempenho a classificar emoções stressantes. Tendo apresentado um MCC de 0,8969 nas imagens de teste do conjunto de dados KDEF, 0,5551 no conjunto de dados Net Images, e 0,4250 no CK+. | pt_PT |
| dc.identifier.tid | 202550435 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/16925 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Stress | pt_PT |
| dc.subject | Stress Detection | pt_PT |
| dc.subject | Emotion | pt_PT |
| dc.subject | Facial Expression Classification | pt_PT |
| dc.subject | Convolutional Neural Networks | pt_PT |
| dc.subject | Deteção de Stress | pt_PT |
| dc.subject | Emoção | pt_PT |
| dc.subject | Classificação de Expressões Faciais | pt_PT |
| dc.subject | Rede Neuronal Convolucional | pt_PT |
| dc.title | Sistema de reconhecimento de expressões faciais para deteção de stress | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia Informática - Sistemas de Informação e Conhecimento | pt_PT |
Files
Original bundle
1 - 1 of 1
No Thumbnail Available
- Name:
- DM_JoseAlmeida_2020_MEI.pdf
- Size:
- 5.07 MB
- Format:
- Adobe Portable Document Format