Ramos, Patrícia Alexandra GregórioOliveira, José Manuel SoaresCasais, João Pedro Miranda2025-02-282025-02-282024-11-272025-02-28http://hdl.handle.net/10400.22/29762This thesis focuses on the application of multimodal learning, specifically deep learning techniques, to enhance the diagnosis and treatment of Liver Hepatocellular Carcinoma. The increasing incidence and late detection of this aggressive form of cancer necessitate innovative approaches for early identification and personalized therapies. The core objective of this thesis was to evaluate the impact of integrating diverse data modalities, such as clinical, genetic, and imaging data, on improving diagnostic precision and therapeutic outcomes for Liver Hepatocellular Carcinoma patients. The study investigates the limitations of traditional unimodal data analysis in understanding the complex nature of Liver Hepatocellular Carcinoma. It posits that multimodal learning can leverage complementary strengths of different data types, leading to a more comprehensive understanding of tumor biology and individual patient profiles. The research explores the use of advanced deep learning architectures for processing and integrating these diverse data modalities. A key component of the thesis involves a practical application using a dataset sourced from the American National Cancer Institute, focusing on predicting the vital status of Liver Hepatocellular Carcinoma patients. The dataset is preprocessed and analyzed using the AutoGluon-Multimodal (AutoMM) framework, an open-source automated machine learning library designed for multimodal learning tasks. Various model combinations incorporating image, text, and tabular data are evaluated based on classification performance metrics, including accuracy, Matthews Correlation Coefficient, precision, recall, F1 score, and ROC-AUC. The results demonstrate the superior performance of models combining tabular and text data in predicting the vital status of Liver Hepatocellular Carcinoma patients.Esta tese centra-se na aplicação de aprendizagem multimodal, especificamente técnicas de aprendizagem profunda, para melhorar o diagnóstico e o tratamento do Carcinoma Hepatocelular do Fígado. A incidência crescente e a deteção tardia desta forma agressiva de cancro requerem abordagens inovadoras para a identificação precoce e terapias personalizadas. O principal objetivo desta tese foi avaliar o impacto da integração de diversas modalidades de dados, tais como dados clínicos, genéticos e imagiológicos, na melhoria da precisão do diagnóstico e dos resultados terapêuticos para os doentes com Carcinoma Hepatocelular do Fígado. O estudo investiga as limitações da análise tradicional de dados unimodais na compreensão da natureza complexa do Carcinoma Hepatocelular do Fígado. O estudo defende que a aprendizagem multimodal pode tirar partido dos pontos fortes complementares dos diferentes tipos de dados, conduzindo a uma compreensão mais abrangente da biologia do tumor e dos perfis individuais dos doentes. A investigação explora a utilização de arquitecturas avançadas de aprendizagem profunda para o processamento e a integração destas diversas modalidades de dados. Uma componente fundamental da tese envolve uma aplicação prática utilizando um conjunto de dados provenientes do Instituto Nacional do Cancro americano, centrado na previsão do estado vital dos doentes com Carcinoma Hepatocelular do Fígado. O conjunto de dados é pré-processado e analisado utilizando a estrutura AutoGluon-Multimodal (AutoMM), uma biblioteca de aprendizagem automática de código aberto concebida para tarefas de aprendizagem multimodal. Várias combinações de modelos que incorporam dados de imagem, texto e tabulares são avaliadas com base em métricas de desempenho de classificação, incluindo exatidão, Coeficiente de Correlação de Matthews, precisão, recuperação, pontuação F1 e ROC-AUC. Os resultados demonstram o desempenho superior dos modelos que combinam dados tabulares e de texto na previsão do estado vital dos doentes com Carcinoma Hepatocelular do Fígado.engLiver hepatocellular carcinomaPrecision medicineMachine learning modelsEarly detectionDeep learningCarcinoma hepatocelular do fígadoMedicina de precisãoModelos de aprendizagem automáticaDeteção precocemaster thesis203803450