Utilize este identificador para referenciar este registo: http://hdl.handle.net/10400.22/11007
Título: Tradutor bidirecional de língua gestual portuguesa
Autor: Lopes, Jorge Leonel Borges
Orientador: Escudeiro, Paula Maria De Sá Oliveira
Palavras-chave: Configurador
Língua gestual
Tradutor
Unity
VirtualSign
Configurator
Sign language
Translator
Data de Defesa: 2016
Resumo: Uma das maiores preocupações da Sociedade é promover a igualdade de oportunidades e a inclusão social. Este é um tópico chave na agenda Europeia, em particular ao nível do Ensino. Apesar do esforço que tem vindo a ser realizado por inúmeros investigadores e instituições, as dificuldades inerentes à comunicação entre ouvintes e surdos continua a ser uma barreira significativa para a inclusão. O elevado ritmo de desenvolvimento da tecnologia assistiva possibilitou o aparecimento recente de várias soluções para promover a inclusão da comunidade surda um pouco por todo o mundo. No entanto, no que respeita à língua gestual portuguesa, as soluções atualmente disponíveis são ineficientes e não cobrem as necessidades da comunidade. A criação de um tradutor bidirecional entre português escrito e língua gestual portuguesa permitirá uma comunicação mais fluída e eficiente entre ouvintes e surdos, gerando igualdade de oportunidades e promovendo a inclusão da comunidade surda na sociedade. O objetivo desta tese consiste na promoção da inclusão social da comunidade surda, tornando a comunicação entre surdos e ouvintes mais eficaz. O tradutor automático desenvolvido neste trabalho, denominado VirtualSign, tem capacidade para traduzir gestos em texto e texto em gestos usando um modelo de tradução desenvolvido especificamente para o efeito. O tradutor de gestos para texto utiliza um par de luvas de dados com 14 sensores para reconhecimento da configuração manual e o Kinect para reconhecer os movimentos corporais efetuados pelo utilizador. Os sinais recebidos destes dispositivos são convertidos num modelo de tradução que alimenta um componente de aprendizagem automática para identificar os gestos que estão a ser produzidos. A tradução de texto para gestos utiliza um avatar 3D criado para reproduzir as animações que representam o texto a traduzir. Estas animações representam palavras e expressões da língua portuguesa de sinais que são armazenadas numa base de dados. Um dos aspetos inovadores deste trabalho consiste no facto destas animações serem modeladas com recurso a uma linguagem de scripting o que reduz significativamente o espaço. Esta característica torna possível a utilização do sistema de tradução em dispositivos móveis e em outros contextos em que o espaço de armazenamento seja um aspeto crítico. Para apoiar os surdos e intérpretes de língua gestual a carregar a base de dados de gestos com animações for desenvolvido o VirtualSign Studio; uma aplicação de apoio à configuração de gestos em quaisquer línguas ou dialeto e a geração automática dos scripts correspondentes através da manipulação direta do avatar, ou seja, sem necessidade de conhecimentos técnicos da área informática. Este sistema de configuração está a ser utilizado por uma equipa de surdos e intérpretes de vários países incluindo: Portugal, Brasil, Alemanha, Reino Unido, Eslovénia, Grécia e Chipre. O sistema de tradução VirtualSign está em fase de pré-produção estando a ser desenvolvidas várias aplicações para o dia-a-dia que a breve trecho estarão disponíveis para o público.
One of the modern society’s main concerns is promoting equal opportunities to everyone andsocial inclusion is a key topic in the agenda of the European Higher Education. Despite the efforts being made there is still not enough support for the deaf community. The technology has been growing very fast, with this some new applications start to appear, but the Portuguese sign language area is still lacking. This thesis main objective is the creation of bidirectional translator of Portuguese sign language. To be capable of making this translator it was necessary to create two different applications with the capacity of translating gesture into text and text into gesture. The gesture to text translator needs to have two different devices besides the computer, this two devices are a pair of gloves called 5DT gloves that contains 14 different sensors to be capable of recognizing the configurations made by the hand of the user. The second device is the Kinect that is a camera with sensors that has the capacity of recognizing movements made by the user. The text to gesture translator uses one avatar 3D that has been created to reproduce gestores that represents the transcribed text. To perform the gestures the avatar 3D uses an animation parameterization system to make the correct gestures. Translating sign language requires a vast set of parameters that need to be taken into consideration such as hand configuration, arms movement and facial expression. Those characteristics are the components of the translation moments. So, to store all the information required for the translation of words to signs, considering the large number of existing words, the creation of the VirtualSign Studio (VSS) was necessary. The VSS application allows the users to create gestures that represent words. All this development has been possible after an extensive study about sign language and after a study made about the state of art of applications that use sign language. This dissertation was realized on the Instituto Superior de Engenharia do Porto in the TMDEI discipline. This project goal is to obtain a major social inclusion of the deaf community in society, making the communication between deaf people and non-deaf much easier.
URI: http://hdl.handle.net/10400.22/11007
Designação: Mestrado em Engenharia Informática
Aparece nas colecções:ISEP - DM – Engenharia Informática

Ficheiros deste registo:
Ficheiro Descrição TamanhoFormato 
DM_JorgeLopes_2016_MEI.pdf7,67 MBAdobe PDFVer/Abrir


FacebookTwitterDeliciousLinkedInDiggGoogle BookmarksMySpace
Formato BibTex MendeleyEndnote Degois 

Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.