Publicação
Aplicação de modelos de linguagem de grande escala (Large Language Models) na análise e interpretação de dados em saúde
| dc.contributor.advisor | Faria, Brígida Mónica | |
| dc.contributor.advisor | Oliveira, Alexandra | |
| dc.contributor.author | Gomes, Daniela Silva | |
| dc.date.accessioned | 2026-02-23T13:38:49Z | |
| dc.date.available | 2026-02-23T13:38:49Z | |
| dc.date.issued | 2025-11-21 | |
| dc.description.abstract | Os Modelos de Linguagem de Grande Escala (LLMs) têm sido progressivamente aplicados na área da saúde pela sua capacidade de interpretar dados e gerar informações com potencial clínico, que, no entanto, precisam ser validadas por profissionais de saúde antes de serem aplicadas. Na cardiologia estes modelos podem apoiar na interpretação de exames e na educação em saúde. O presente estudo tem como objetivo avaliar o desempenho de três chatbots baseados em LLMs (ChatGPT-4o, Gemini 2.5 Flash e Claude 4 Sonnet) na identificação e análise de sintomas cardíacos, fatores de risco e interpretação de eletrocardiogramas. Para isso, os modelos foram testados com três questionários distintos, um para cada categoria: pacientes, técnicos e médicos. Para avaliar a influência do histórico sobre as respostas, foram utilizadas três contas de usuário diferentes, que foram aplicadas aos três LLMs, cada uma configurada com um contexto inicial. Um perfil foi configurado para se comportar como um Técnico de Cardiopneumologia, outro como um Engenheiro de Software, e o terceiro não recebeu nenhum contexto prévio, sendo considerado um perfil 'Novo'. Para avaliar a estabilidade temporal, as respostas foram analisadas em dois momentos distintos: imediato e após duas horas. Os três questionários foram elaborados de acordo com a especificidade de cada categoria. Para o questionário dos pacientes, recorreram-se a questões frequentes disponíveis em fontes públicas; no questionário dos técnicos, as questões eram referentes à interpretação de eletrocardiogramas; e, no questionário dos médicos, as perguntas foram formuladas por cardiologistas. Cada chatbot foi testado nas três contas, e as respostas geradas foram comparadas com as respostas de referência através de métricas automáticas (BLEU, ROUGE, METEOR e BLEURT). Avaliou-se o nível de complexidade linguística através da métrica Flesch Reading Ease, de forma a analisar a adequação das respostas ao público-alvo. O ChatGPT-4o destacou-se pela maior consistência, apresentando desempenho superior nas categorias de pacientes e médicos, obtendo as melhores pontuações em todos os perfis, especialmente nas métricas BLEU e ROUGE. O Gemini obteve melhores resultados na categoria dos técnicos, enquanto o Claude manteve desempenho inferior e estável. O histórico da conta influenciou parcialmente o desempenho, mas a sua relevância temática não foi determinante, pois o perfil de Engenheiro de Software apresentou desempenho comparável ao perfil do Técnico de Cardiopneumologia. A análise temporal confirmou estabilidade, sem grandes diferenças num curto intervalo de tempo. Conclui-se que o desempenho dos modelos varia entre categorias e perfis, sendo influenciado parcialmente pelo histórico das contas, embora este não garanta vantagem consistente. A adaptação da linguagem ao público-alvo revelou-se limitada, especialmente na categoria de pacientes, onde a complexidade textual comprometeu a interpretação da informação. | por |
| dc.identifier.tid | 204178282 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/31878 | |
| dc.language.iso | por | |
| dc.rights.uri | N/A | |
| dc.subject | Modelos de linguagem de grande escala | |
| dc.subject | Cardiologia | |
| dc.subject | Engenharia de Prompts | |
| dc.title | Aplicação de modelos de linguagem de grande escala (Large Language Models) na análise e interpretação de dados em saúde | por |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestre em Bioestatística e Bioinformática Aplicadas à Saúde |
Ficheiros
Principais
1 - 1 de 1
Miniatura indisponível
- Nome:
- Dissertação_MBBAS_DanielaGomes_V.Final.pdf
- Tamanho:
- 15.76 MB
- Formato:
- Adobe Portable Document Format
Licença
1 - 1 de 1
Miniatura indisponível
- Nome:
- license.txt
- Tamanho:
- 4.03 KB
- Formato:
- Item-specific license agreed upon to submission
- Descrição: