Castro, António Abel Vieira deRODRIGUES, PAULO FILIPE MELO2025-11-212025-11-212025-10-24http://hdl.handle.net/10400.22/31013Este trabalho explora a utilização de sistemas de rastreamento de mãos e comando de voz aplicados em jogos com ênfase na acessibilidade e no estímulo de funções cognitivas (como memória e raciocínio) e terapêutica. Foi efetuada uma revisão do estado da arte e desenvolvidos dois protótipos funcionais: um baseado em rastreamento de mãos e outro em reconhecimento de voz, integrados em minijogos. Realizaram-se dois ciclos de testes com utilizadores, que combinaram medições de desempenho dos protótipos, observação e inquéritos para recolher perceções subjetivas sobre usabilidade, intuitividade e potencial de aplicação. Os resultados indicam viabilidade técnica e interesse dos participantes, apontando o comando de voz como mais acessível em hardware comum e o rastreamento de mãos como promissor, embora sensível a condições de iluminação e qualidade de câmara. São discutidas limitações (amostra dos teste e necessidade de otimização de performance) e propostas futuras, como a junção dos dois sistemas, modos multijogador e aplicações dirigidas a públicos com necessidades especiais. São discutidas limitações (amostra dos teste e necessidade de otimização de performance) e proposta futuras, como a junção dos dois sistemas, modos multijogador e aplicações dirigidas a públicos com necessidades especiais.This dissertation investigates the potential of hand-tracking and voice-based interaction methods for games, focusing on accessibility, cognitive stimulation (memory and cognitive training), and therapeutics. After a structured literature review, two functional prototypes were implemented in Unity: (1) a hand-tracking variant that maps camera landmarks to in-game interactions (selection, dragging, and gesture confirmation) and (2) a voice-driven variant, using speech-to-text pipelines to trigger game actions and menu navigation. Both prototypes include a set of minigames (quizzes, color identification, reaction tasks, and simple 3D interactions) designed to test different interaction paradigms and cognitive demands. Evaluation consisted of two user test rounds combining objective metrics (task completion, input latency observations) and subjective instruments (questionnaires and open feedback). Participants reported a clear interest in both modalities: voice commands proved generally more accessible on commodity hardware (ubiquitous microphones), while hand tracking offered higher immersion but required better camera quality and controlled lighting. Identified challenges included input latency/CPU load when running both systems concurrently, lack of robustness in noisy or low-light environments, and the need to refine selection affordances to reduce fatigue and misselections. Contributions of this work are (a) an empirical assessment of gesture and voice-based controls in small game scenarios, (b) design recommendations for accessibility-oriented mechanics, and (c) two prototype references demonstrating practical integration strategies and trade-offs. Limitations include the sample size of tests (preventing strong statistical claims) and hardware variability across participants. Future work proposes hybrid modes (combined voice + gesture), multiplayer voice designs, extended clinical or longitudinal studies for cognitive rehabilitation, and exploration of alternative STT/TTS services to improve latency and accuracy.porHand-trackingVoice commandAccessibilityGamesRastreamento da mãoComando de vozAcessibilidadeJogosmaster thesis204034175