Publicação
Remaining useful life prediction on the NASA CMAPSS dataset comparing LSTM and transformer models
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Ramos, Carlos Fernando da Silva | |
| dc.contributor.author | GUILHERME, DAVID NUNO VILAS BOAS | |
| dc.date.accessioned | 2025-11-12T16:17:37Z | |
| dc.date.available | 2025-11-12T16:17:37Z | |
| dc.date.issued | 2025-10-10 | |
| dc.description.abstract | Predictive maintenance has been gaining importance in industry, especially in complex and critical systems, such as turbofan engines used in aviation. The main objective on this dissertation is the prediction of the Remaining Useful Life (RUL) of jet engines, using the dataset provided by NASA, known as Commercial Modular Aero-Propulsion System Simulation (CMAPSS). Accurate RUL estimation reduces maintenance costs, prevents unexpected failures and improves operational safety. This research began with a detailed dataset analysis, exploring its different subsets, each representing distinct operating conditions and fault modes. Data preprocessing was then performed, including normalization, feature selection, and construction of temporal sequences. Feature selection techniques were also applied, such as low variance and high correlation filters as well as Boruta method, to reduce the number of features used. Thus, only selecting variables with real impact on RUL were employed in model training. Subsequently, two models were implemented based on architectures studied in the literature. The first model, based on Long Short-Term Memory (LSTM) networks, leverages their ability to capture long term temporal dependencies. The second model was a Transformer, whose main innovation lies in the attention mechanism. Experimental results were evaluated using the Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE) metrics. The LSTM model achieved competitive performance on FD001, confirming prior studies that highlight it as a robust baseline for simple scenarios. The Transformer showed an advantage on the FD002 subset. However, in more complex subsets such as FD004, the performance of both models converged, reflecting the remaining challenges in generalizing these models. The comparison between LSTM and Transformer revealed that LSTMs are more consistent in controlled scenarios with simple, well defined operating conditions. The transformer demonstrated potential in datasets with greater variability, such as FD002, although its results were not consistent across all subsets. These contrasts reinforce the idea that, in their current state, LSTMs remain a dependable choice, while Transformers still face generalization challenges. Nevertheless, the literature points to future improvements, particularly through the implementation of hybrid architectures or specialized variants, which may overcome these limitations. In summary, this dissertation contributes to the advancement of knowledge in predictive maintenance by providing a comparative analysis between two of the most relevant architectures. The results reinforce the need to continue exploring innovative model and methodology combinations to develop prognostic systems that are increasingly accurate, interpretable and applicable in real industrial scenarios. | eng |
| dc.description.abstract | A manutenção preditiva tem vindo a ganhar uma importância crescente na indústria, sobretudo em sistemas complexos e críticos, como os motores turbofan utilizados na aviação. O objetivo central desta dissertação consiste na previsão do tempo de vida útil (RUL) de motores a jato, recorrendo ao conjunto de dados disponibilizados pela NASA, denominado de Commercial Modular Aero-Propulsion System Simulation (CMAPSS). A correta estimativa do RUL permite reduzir custos de manutenção, prevenir falhas inesperadas e aumentar a segurança operacional. Esta pesquisa iniciou-se com uma análise detalhada do dataset, explorando as diferentes variantes, que representam condições de operação e modos de falha distintos. Realizou-se o pré-tratamento dos dados, incluindo normalização, seleção de sensores relevantes e construção das sequências temporais. Aplicaram-se técnicas de seleção de características, como filtros de baixa variância e elevada correlação e ainda o método Boruta. Desta forma é possível assegurar que apenas as variáveis com impacto real sobre o RUL fossem utilizadas no treino dos modelos. Posteriormente, avançou-se para a fase de implementação de dois modelos com base em arquiteturas presentes na literatura. O primeiro modelo, baseado em redes Long Short-term memory (LSTM), explora a capacidade de capturar dependências temporais de longo prazo. O segundo modelo foi um Transformer, cuja principal inovação reside no mecanismo de atenção. Os resultados experimentais foram avaliados através das métricas Root Mean Squared Error (RMSE) e Mean Absolute Error (MAE). O modelo LSTM obteve desempenhos competitivos no subset FD001, confirmando estudos prévios que o apontam como uma base robusta para cenários simples. O Transformer revelou vantagem no subset FD002. Contudo, em subsets mais complexos como o FD004, o desempenho de ambos aproximou-se, refletindo os desafios ainda existentes na generalização destes métodos. A comparação entre LSTM e Transformer revelou que as LSTM são mais consistentes em cenários controlados com condições operacionais simples e bem definidas. Já o Transformer apresentou algum potencial em conjuntos com maior variabilidade, como o FD002, embora os resultados não tenham sido consistentes em todos os casos. Estes contrastes reforçam a ideia de que, as LSTM continuam a ser uma escolha fiável, enquanto os Transformers ainda enfrentam desafios de generalização. Apesar disso, a literatura aponta para futuras melhorias, mais concretamente implementação de arquiteturas híbridas ou variantes especializadas, que podem permitir ultrapassar estas limitações. Em suma, a presente dissertação contribui para o avanço do conhecimento na área da manutenção preditiva, fornecendo uma análise comparativa entre as duas arquiteturas mais relevantes. Os resultados obtidos reforçam a necessidade de continuar a explorar combinações inovadoras entre modelos e metodologias, de forma a desenvolver sistemas de prognostico cada vez mais precisos, interpretáveis e aplicáveis em contextos industriais reais. | por |
| dc.identifier.tid | 204033063 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/30859 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Predictive Maintenance | |
| dc.subject | Remaining Useful Life | |
| dc.subject | Commercial Modular AeroPropulsion System Simulation (CMAPSS) | |
| dc.subject | Long Short-Term Memory (LSTM) | |
| dc.subject | Transformer | |
| dc.subject | Manutenção preditiva | |
| dc.title | Remaining useful life prediction on the NASA CMAPSS dataset comparing LSTM and transformer models | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia de Inteligência Artificial |