Publication
Fluxo de dados e monitorização da avaliação de uma ferramenta de inteligência artificial generativa
| datacite.subject.fos | Engenharia e Tecnologia | pt_PT |
| dc.contributor.advisor | Araújo, Susana Cláudia Nicola de | |
| dc.contributor.author | Rodrigues, Beatriz Vaz | |
| dc.date.accessioned | 2024-09-06T13:47:03Z | |
| dc.date.embargo | 2027-09-06 | |
| dc.date.issued | 2024-07-10 | |
| dc.description.abstract | A transformação digital é, atualmente, um fenómeno incontestável, onde as empresas procuram solucionar problemas, utilizando tecnologias digitais para impulsionar o desempenho operacional. Deste modo, a inteligência artificial generativa desempenha um papel crucial na transformação digital, uma vez que esta oferece capacidades de automação avançadas e auxiliam a tomada de decisão. A inteligência artificial generativa impulsiona assim a inovação e a competitividade das empresas. O projeto de dissertação foi realizado em contexto empresarial, e teve como principal objetivo a implementação de uma solução de business intelligence que permita agregar, numa só plataforma, toda a informação relativa ao processo de avaliação de uma ferramenta de inteligência artificial generativa. Para isso, definiu-se indicadores chave de desempenho, que possam auxiliar na monitorização do avaliador. Para além disso, outro objetivo do projeto é a construção de uma pipeline de dados que consiga gerir e otimizar o fluxo do processo de avaliação. A ferramenta de inteligência artificial generativa em estudo, denomina-se Rookie, e é avaliada através de um processo chamado Ragas, composto por três etapas principais, a geração, a inferência e a avaliação. Inicialmente, foi concebida uma pipeline teste para validação do funcionamento da mesma e das ferramentas selecionadas, no entanto, para utilização dos dados históricos disponibilizados pela empresa, a mesma foi adaptada. Desta forma, os dados históricos fornecidos pela empresa foram analisados e, através dessa mesma análise, retirou-se algumas conclusões relativamente aos mesmos. Posto isto, realizou-se a limpeza, manipulação e transformações necessárias aos mesmos para que no fim do processo estivessem prontos para análise. Por fim, foi construída uma ferramenta de gestão em Power BI, que permite monitorizar indicadores relativos ao processo de avaliação do Rookie. Os dashboards desenvolvidos, contam com indicadores desenvolvidos para suprir as necessidades transmitidas pela empresa, possibilitando por exemplo a avaliação do desempenho de cada documento utilizado e consequente perceção se apresenta debilidades no processamento, ingestão ou até mesmo na informação contida no mesmo. Esta ferramenta, ainda permite aceder a uma página que monitoriza a soma do Answer Relevancy, Faithfulness, Context Precision e Context Recall a cada observação realizada, oferecendo paralelamente uma perspetiva sobre os documentos mais utilizados no processo de avaliação, sendo que possui ainda mais duas abas para análise. Com base na ferramenta de monitorização desenvolvida, será expectável que ocorra a melhoria do processo de gestão e análise de dados relativos ao processo de avaliação do Rookie, além de potenciar a facilidade no acesso à informação e consequente tratamento e avaliação da mesma, de acordo com os resultados definidos pela empresa. | pt_PT |
| dc.description.abstract | Digital transformation is undeniably a phenomenon, where companies seek to solve problems, using digital technologies to boost operational performance. In this way, generative artificial intelligence plays a crucial role in digital transformation, as it offers advanced automation capabilities and helps decision-making. Generative artificial intelligence thus boosts the innovation and competitiveness of companies. The dissertation project was carried out in a business context, and its main objective was to implement a business intelligence solution that allows the aggregation, on a single platform, of all information relating to the evaluation process of a generative artificial intelligence tool. To this end, key performance indicators were defined, which can assist the evaluator in monitoring. Furthermore, another objective of the project is the construction of a data pipeline that can manage and optimize the flow of the evaluation process. The generative artificial intelligence tool under study is called Rookie and is evaluated through a process called Ragas, composed of three main stages, generation, inference, and evaluation. Initially, a test pipeline was designed to validate its operation and the selected tools, however, to use the historical data made available by the company, it was adapted. In this way, the historical data provided by the company was analyzed and, through this same analysis, some conclusions were drawn regarding them. That said, the necessary cleaning, manipulation, and transformations were carried out so that at the end of the process they were ready for analysis. Finally, a management tool was built in Power BI, which allows monitoring indicators related to the Rookie evaluation process. The dashboards developed have indicators developed to meet the needs conveyed by the company, enabling, for example, the evaluation of the performance of each document used and the consequent perception of whether there are weaknesses in the processing, ingestion, or even in the information contained there. This tool also allows access to a page that monitors the sum of Answer Relevancy, Faithfulness, Context Precision and Context Recall for each observation carried out, offering at the same time a perspective on the documents most used in the evaluation process, and has two more tabs for analysis. Based on the monitoring tool developed, it is expected that the process of managing and analyzing data relating to the Rookie evaluation process will be improved, in addition to enhancing the ease of access to information and the consequent treatment and evaluation of it following the results defined by the company. | pt_PT |
| dc.identifier.tid | 203690869 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/25930 | |
| dc.language.iso | por | pt_PT |
| dc.subject | Digital Transformation | pt_PT |
| dc.subject | Pipelines | pt_PT |
| dc.subject | Generative ArtificiaI Intelligence | pt_PT |
| dc.subject | Monitoring | pt_PT |
| dc.subject | Business Intelligence | pt_PT |
| dc.subject | Transformação digital | pt_PT |
| dc.subject | Intelligência artificila generativa | pt_PT |
| dc.subject | Monitorização | pt_PT |
| dc.title | Fluxo de dados e monitorização da avaliação de uma ferramenta de inteligência artificial generativa | pt_PT |
| dc.title.alternative | Data flow and monitoring of evaluation of a generative artificial intelligence tool | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | embargoedAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia e Gestão da Cadeia de Abastecimento | pt_PT |