Publication
Exploração, migração e teste de tecnologias de armazenamento baseadas em séries temporais
| datacite.subject.fos | Engenharia e Tecnologia | pt_PT |
| dc.contributor.advisor | Oliveira, Paulo Jorge Machado | |
| dc.contributor.author | Carvalho, Daniel Mota | |
| dc.date.accessioned | 2024-09-30T13:24:07Z | |
| dc.date.available | 2024-09-30T13:24:07Z | |
| dc.date.issued | 2024-07-19 | |
| dc.description.abstract | Within the dynamic landscape of renewable energy, the intersection with artificial intelligence (AI) and machine learning (ML) is pivotal for optimizing energy management efficiency and profitability. As the renewable energy sector continuously grows, Enlitia, an innovative organization leading this trajectory, faces a critical challenge in managing and storing the escalating volume of data collected by its multidisciplinary team. This data, particularly timeseries data, crucial for AI and ML applications, serves as the lifeblood for providing clients with key business insights. The problem at hand revolves around the effective handling of this ever-increasing amount of data, emphasizing the strategic importance of a robust storage infrastructure. As such, Enlitia acknowledges that the success of its AI and ML applications hinges not only on algorithmic sophistication but also on the reliability, scalability and performance of its data storage infrastructure. This thesis addresses Enlitia's imperative need to develop and implement a more advanced data storage infrastructure, emphasizing adaptability to diverse solutions. The objective is to facilitate quick and efficient data retrieval, enabling the extraction of valuable business insights to meet the demands of a data-driven decisionmaking landscape present in the renewable energy sector. To address this, a project of considerable dimension that encapsulates the problem was chosen for migration to a new data infrastructure as a way to test its effectiveness. The necessary requirements were addressed, which culminated in the decision to migrate the previous database technology, MariaDB, to a technology more appropriate for storing time series data, TimescaleDB. Additionally, dbt, a technology specifically utilized for data transformation processes, was chosen to be adopted in order to improve communication between stakeholders. The effectiveness of the migration from TimescaleDB to MariaDB was benchmarked and analysed for various hardware configurations in accordance with relevant query and write operations, with the execution time found to have been massively improved for queries in the simulated workload environment. The success of the adoption of dbt was also investigated through a questionnaire which inquired about various aspects such as ease of use and communication improvements. The results obtained were generally positive, although some aspects, such as making the technology easier to use, require reconsideration. | pt_PT |
| dc.description.abstract | Dentro do mundo da energia renovável, a interseção com a inteligência artificial (IA) e machine learning (ML) é fundamental para otimizar a eficiência na gestão de energia e a lucratividade. À medida que o setor de energia renovável cresce, a Enlitia, uma organização inovadora e pioneira nesta trajetória, enfrenta um desafio crítico ao lidar e armazenar o volume crescente de dados recolhidos pela sua equipa multidisciplinar. Estes dados, em particular os dados de séries temporais, são essenciais para as aplicações de IA e ML, servindo como a essência para fornecer aos clientes informações fundamentais para os seus negócios. O problema em questão foca-se na gestão eficaz desta quantidade cada vez maior de dados, enfatizando a importância estratégica de uma infraestrutura de armazenamento robusta. Assim, a Enlitia reconhece que o sucesso de suas aplicações de IA e ML depende não apenas da sofisticação dos algoritmos, mas também da confiabilidade, escalabilidade, performance e acessibilidade de sua infraestrutura de armazenamento de dados. Esta tese aborda a necessidade imperativa da Enlitia de desenvolver e implementar uma infraestrutura mais avançada de armazenamento de dados, destacando a adaptabilidade a diversas soluções. O objetivo é facilitar a recuperação rápida e eficiente de dados, permitindo a extração de informações valiosas para atender às necessidades de um mundo de tomada de decisões orientada por dados presente no setor de energia renovável. De modo a abordar esta questão, um projeto de dimensão considerável que encapsula o problema foi escolhido para ser efetuado a sua migração para uma nova infraestrutura de dados como forma de testar a sua eficácia. Os requisitos necessários foram levantados e atendidos, o que culminou na decisão de migrar a tecnologia de base de dados anterior, MariaDB, para uma tecnologia mais apropriada para armazenar dados de séries temporais, TimescaleDB. Além disso, o dbt, uma tecnologia especificamente utilizada para processos de transformação de dados, foi escolhido para melhorar a comunicação entre partes interessadas. A eficácia da migração de MariaDB para TimescaleDB foi avaliada e analisada para várias configurações de hardware, de acordo com operações relevantes de consulta e de escrita, com o tempo de execução tendo melhorado significativamente em consultas no cenário simulado. O sucesso da adoção do dbt também foi investigado através de um questionário que abordou vários aspetos, como facilidade de uso e melhorias na comunicação entre partes interessadas. Os resultados obtidos foram geralmente positivos, embora alguns aspetos, tal como tornar a tecnologia mais fácil de usar, necessitam de ser reconsiderados. | pt_PT |
| dc.identifier.tid | 203702387 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/26149 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Time series Data | pt_PT |
| dc.subject | Data Storage Infrastructure | pt_PT |
| dc.subject | Data-Driven Decision Making | pt_PT |
| dc.subject | Data Transformation | pt_PT |
| dc.subject | Data Modelling | pt_PT |
| dc.subject | Dados de série temporal | pt_PT |
| dc.subject | Infraestrutura de dados | pt_PT |
| dc.subject | Tomada de decisões orientada por dados | pt_PT |
| dc.subject | Transformação de dados | pt_PT |
| dc.subject | Modelação de dados | pt_PT |
| dc.title | Exploração, migração e teste de tecnologias de armazenamento baseadas em séries temporais | pt_PT |
| dc.title.alternative | Exploration, migration and testing of time series based data storage technologies | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia Informática | pt_PT |