ISCAP – DM - Business Intelligence and Analytics
Permanent URI for this collection
Browse
Recent Submissions
- Multimodal data integration in oncology: a case study of LIHCPublication . Casais, João Pedro Miranda; Ramos, Patrícia Alexandra Gregório; Oliveira, José Manuel SoaresThis thesis focuses on the application of multimodal learning, specifically deep learning techniques, to enhance the diagnosis and treatment of Liver Hepatocellular Carcinoma. The increasing incidence and late detection of this aggressive form of cancer necessitate innovative approaches for early identification and personalized therapies. The core objective of this thesis was to evaluate the impact of integrating diverse data modalities, such as clinical, genetic, and imaging data, on improving diagnostic precision and therapeutic outcomes for Liver Hepatocellular Carcinoma patients. The study investigates the limitations of traditional unimodal data analysis in understanding the complex nature of Liver Hepatocellular Carcinoma. It posits that multimodal learning can leverage complementary strengths of different data types, leading to a more comprehensive understanding of tumor biology and individual patient profiles. The research explores the use of advanced deep learning architectures for processing and integrating these diverse data modalities. A key component of the thesis involves a practical application using a dataset sourced from the American National Cancer Institute, focusing on predicting the vital status of Liver Hepatocellular Carcinoma patients. The dataset is preprocessed and analyzed using the AutoGluon-Multimodal (AutoMM) framework, an open-source automated machine learning library designed for multimodal learning tasks. Various model combinations incorporating image, text, and tabular data are evaluated based on classification performance metrics, including accuracy, Matthews Correlation Coefficient, precision, recall, F1 score, and ROC-AUC. The results demonstrate the superior performance of models combining tabular and text data in predicting the vital status of Liver Hepatocellular Carcinoma patients.
- Machine learning for single-modality and multi-modality data integration in the materials industryPublication . Costa, Vítor José Figueiredo; Ramos, Patrícia Alexandra Gregório; Oliveira, José Manuel SoaresEsta tese explora a aplicação de técnicas de aprendizagem automática para prever as propriedades dos materiais utilizando a integração de dados multimodais. O aparecimento de técnicas computacionais avançadas e a disponibilidade de grandes conjuntos de dados abriram novos caminhos para acelerar a descoberta de materiais utilizando modelos de previsão. No entanto, a previsão exata das propriedades dos materiais continua a ser um desafio complexo devido à natureza intrincada dos dados dos materiais. Os modelos de aprendizagem automática de modalidade única, embora eficazes para determinadas propriedades, não conseguem frequentemente captar toda a complexidade das caraterísticas dos materiais. Esta tese aborda esta limitação investigando o impacto da integração de dados multimodais, centrando-se especificamente na forma como as combinações de texto, imagem e dados tabulares melhoram a precisão da previsão das propriedades dos materiais. O estudo utiliza o conjunto de dados Alexandria, um recurso abrangente que oferece dados pormenorizados sobre as composições químicas e as propriedades de milhões de materiais. Um subconjunto de 1000 materiais deste conjunto de dados foi utilizado para construir um conjunto de dados multimodal que incorpora: composição química representada como uma sequência de elementos e as respetivas contagens de átomos (modalidade de texto); visualizações 2D da estrutura cristalina 3D de cada material, geradas com o Crystal Toolkit e captadas através de uma aplicação Web personalizada (modalidade de imagem); e embeddings estruturais de tamanho fixo gerados com a arquitetura PotNet, um modelo de rede neural gráfica concebido para captar interações atómicas complexas (modalidade tabular). O estudo utilizou o AutoGluon-Multimodal (AutoMM), uma estrutura de aprendizagem automática de máquinas, para treinar e avaliar modelos utilizando várias combinações de modalidades. O Erro Absoluto Médio (MAE) e o Erro Escalado Absoluto Médio (MASE) foram utilizados como métricas de avaliação. Os resultados demonstram que as abordagens multimodais, especialmente a combinação de dados de texto e imagem, superam consistentemente os modelos de modalidade única. Este facto realça a importância da integração de diversos tipos de dados para captar uma compreensão mais abrangente das propriedades dos materiais. Nomeadamente, a combinação de Texto e Imagem revelou-se particularmente eficaz na previsão de caraterísticas complexas como o intervalo de banda (Gap), que requer informações estruturais e de composição complexas. Por outro lado, os modelos de modalidade única, particularmente os que se baseiam apenas em dados tabulares, apresentaram a menor precisão na maioria das caraterísticas. Esta investigação fornece provas convincentes dos benefícios da integração de dados multimodais na previsão das propriedades dos materiais. Estabelece uma base para trabalhos futuros que explorem a incorporação de tipos de dados adicionais, o desenvolvimento de modelos mais avançados e a expansão de conjuntos de dados para melhorar ainda mais a precisão da previsão e acelerar a descoberta de novos materiais com as propriedades desejadas.
- Transformer-based deep learning models for retail forecastingPublication . Caetano, Ricardo Jorge Teixeira; Ramos, Patrícia Alexandra Gregório; Oliveira, José Manuel SoaresEsta dissertação explora o desempenho de modelos avançados baseados em Transformer para a previsão de séries temporais, com o objetivo de colmatar a lacuna entre os avanços teóricos e as suas aplicações práticas no mundo real. Utilizando o conjunto de dados da competição M5 - que contém mais de 30.000 séries temporais derivadas de dados de vendas em várias categorias de produtos e regiões geográficas -este estudo compara seis modelos Transformer principais: Vanilla Transformer, Autoformer, ETSFormer, Informer, NSTransformer e Reformer. A avaliação foca-se naprecisão da previsão, eficiência computacional e robustez, todos fatores críticos para a implementação prática em ambientes reais. O estudo segue uma abordagem sistemática que envolve uma análise aprofundada das variáveis explicativas, técnicas de pré-processamento e uma afinação extensiva dos hiperparâmetros. Foram utilizadas estratégias avançadas de otimização para identificar as configurações ótimas dos modelos, garantindo um equilíbrio entre o desempenho preditivo e as exigências computacionais. Os modelos foram avaliados com base em métricas tradicionais de previsão pontual, como o Mean Absolute Scaled Error e o Normalized Root Mean Squared Error, juntamente com métricas probabilísticas como a Mean Weighted Quantile Loss e a Mean Absolute Error Coverage, de forma a captar tanto a precisão preditiva como a capacidade dos modelos para gerir a incerteza. Os resultados evidenciam avanços significativos na precisão e robustez dos modelos baseados em Transformer. Os modelos Vanilla Transformer, NSTransformer e ETSformer destacaram-se pela sua capacidade de captar padrões temporais complexos, sem dados adicionais. A análise enfatiza ainda o papel crucial da incorporação de variáveis explicativas e da afinação dos hiperparâmetros para a melhoria dos resultados dos modelos. Foram examinados, os compromissos entre a complexidade do modelo e a eficiência computacional, proporcionando uma perspetiva detalhada sobre a viabilidade prática de implementar estes modelos em contextos operacionais de larga escala. Em última análise, esta investigação oferece uma visão abrangente dos pontos fortes e dos desafios dos modelos Transformer na previsão de séries temporais.
- Hierarchical time series Forecasting with Deep Learning in RetailPublication . Gomes, José Carlos Guedes; Ramos, Patrícia Alexandra Gregório; Oliveira, José Manuel SoaresEsta dissertação investiga a aplicação de modelos de deep learning para melhorar as metodologias de previsão hierárquica na indústria retalhista. Os métodos de previsão tradicionais muitas vezes falham na captura das complexas interdependências e estruturas hierárquicas presentes nas operações de retalho, levando a previsões subótimas e alocação ineficiente de recursos. Este estudo procura superar estas limitações, aproveitando a capacidade dos modelos de deep learning, como as redes MultiLayer Peceptron (MLP) e as arquiteturas baseadas em Transformer, para identificar padrões e dependências não lineares nos dados. O estudo centra-se no desenho e implementação de um sistema de previsão hierárquico capaz de prever com precisão a procura a vários níveis, desde produtos individuais até vendas agregadas em lojas e mercados. Ao integrar modelos de deep learning num quadro hierárquico, o estudo visa melhorar a precisão e eficiência das previsões em domínios críticos do retalho, como o planeamento da procura, a previsão de vendas e a gestão de inventário. O quadro proposto é concebido para ser adaptável e escalável, capaz de acomodar mudanças na estrutura organizacional, carteiras de produtos e dinâmica de mercado, garantindo a sua relevância e eficácia em diversos contextos empresariais. Este trabalho utiliza o conjunto de dados da competição M5, publicamente disponível, um benchmark para avaliar metodologias de previsão que envolve a geração de estimativas pontuais e intervalos probabilísticos para dados de séries temporais hierárquicas da Walmart. Este conjunto de dados consiste em dados de vendas diárias para 3.049 produtos em dez lojas em três estados dos EUA num período de 1.969 dias. Devido a restrições computacionais, o estudo utiliza uma versão reduzida do conjunto de dados com 1.288 séries temporais, preservando as características principais do conjunto de dados. A dissertação utiliza uma combinação de estruturas hierárquicas e agrupadas para representar com precisão as dependências dentro do conjunto de dados M5. Vários métodos de reconciliação, incluindo a agregação ascendente e a reconciliação MinTrace, são utilizados para alinhar as previsões de diferentes níveis e garantir a coerência ao longo da hierarquia. É realizada uma extensa otimização de hiperparâmetros utilizando a biblioteca Optuna para melhorar a precisão preditiva de modelos como o Vanilla Transformer, TFT, Informer, PatchTST, Autoformer, MLP, NBEATS e NHITS. A dissertação avalia tanto as previsões pontuais como as probabilísticas para capturar a incerteza nas previsões de vendas futuras. O Erro Médio Absoluto Escalado (MASE) é utilizado como métrica primária para as previsões pontuais, e o Continuous Ranked Probability Score (CRPS) é utilizado para as previsões probabilísticas. Os resultados demonstram que os modelos de deep learning, particularmente as arquitecturas baseadas em Transformer, melhoram significativamente a precisão da previsão em comparação com métodos tradicionais como ARIMA e ETS, especialmente quando combinados com técnicas de reconciliação avançadas. O estudo destaca a eficácia da abordagem de reconciliação MinTrace, particularmente com variações ponderadas, no equilíbrio entre a precisão da previsão e a consistência hierárquica. Em conclusão, a dissertação fornece uma solução de previsão robusta e escalável para a indústria retalhista. A integração de modelos de deep learning com metodologias de previsão hierárquica permite às empresas tomar decisões baseadas em dados em todos os níveis da organização, levando a uma melhor alocação de recursos, maior eficiência operacional e, em última análise, melhores resultados empresariais.
- Transfer learning approaches for Business ForecastingPublication . Azevedo, Fábio Miguel Reis de; Ramos, Patrícia Alexandra Gregório; Oliveira, José Manuel SoaresEsta dissertação examina a forma como a aprendizagem por transferência pode melhorar a previsão do negócio de retalho, melhorando a precisão e a eficiência dos modelos de previsão da procura, projeção de vendas e otimização de inventário. Aborda dois desafios principais na previsão de retalho: escassez de dados e generalização. A aprendizagem por transferência utiliza modelos pré-treinados de áreas relacionadas para construir modelos de previsão mais robustos, integrando conhecimentos de diversos conjuntos de dados para criar soluções adaptáveis a vários ambientes de retalho. O estudo compara cinco modelos de aprendizagem por transferência: Chronos da AWS, TimeGPT da Nixtla, Lag-Llama da Invenia Technical Computing, TimesFM da Google Research e Uni2TS da SalesforceAI, avaliados utilizando o conjunto de dados M5, que integra dados reais de vendas a retalho da Walmart. Este conjunto de dados apresenta desafios devido às suas estruturas hierárquicas, dependências temporais e factores externos como promoções e flutuações de preços. O desempenho de cada modelo é avaliado utilizando o erro médio absoluto escalado (MASE) e a pontuação de probabilidade classificada contínua (CRPS). O MASE mede a exatidão das previsões pontuais, permitindo comparações entre séries cronológicas com sazonalidade variável, enquanto o CRPS avalia a exatidão das previsões probabilísticas, crucial para compreender a incerteza na procura no retalho. Os modelos são testados em dois cenários: Zero-Shot, em que os modelos são aplicados sem treino no conjunto de dados M5, e Fine-Tuning, em que os modelos são especificamente ajustados ao mesmo. Os resultados mostram que o TimesFM supera consistentemente os outros modelos em ambos os cenários, demonstrando robustez e versatilidade. O Lag-Llama tem um bom desempenho nas definições Zero-Shot, captando eficazmente os padrões gerais das séries temporais. Os modelos Chronos melhoram com o tamanho, mas permanecem menos competitivos, enquanto o Uni2TS enfrenta desafios no Fine-Tuning, indicando um potencial sobreajuste.