Browsing by Author "Rodrigues, Beatriz Vaz"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
- Fluxo de dados e monitorização da avaliação de uma ferramenta de inteligência artificial generativaPublication . Rodrigues, Beatriz Vaz; Araújo, Susana Cláudia Nicola deA transformação digital é, atualmente, um fenómeno incontestável, onde as empresas procuram solucionar problemas, utilizando tecnologias digitais para impulsionar o desempenho operacional. Deste modo, a inteligência artificial generativa desempenha um papel crucial na transformação digital, uma vez que esta oferece capacidades de automação avançadas e auxiliam a tomada de decisão. A inteligência artificial generativa impulsiona assim a inovação e a competitividade das empresas. O projeto de dissertação foi realizado em contexto empresarial, e teve como principal objetivo a implementação de uma solução de business intelligence que permita agregar, numa só plataforma, toda a informação relativa ao processo de avaliação de uma ferramenta de inteligência artificial generativa. Para isso, definiu-se indicadores chave de desempenho, que possam auxiliar na monitorização do avaliador. Para além disso, outro objetivo do projeto é a construção de uma pipeline de dados que consiga gerir e otimizar o fluxo do processo de avaliação. A ferramenta de inteligência artificial generativa em estudo, denomina-se Rookie, e é avaliada através de um processo chamado Ragas, composto por três etapas principais, a geração, a inferência e a avaliação. Inicialmente, foi concebida uma pipeline teste para validação do funcionamento da mesma e das ferramentas selecionadas, no entanto, para utilização dos dados históricos disponibilizados pela empresa, a mesma foi adaptada. Desta forma, os dados históricos fornecidos pela empresa foram analisados e, através dessa mesma análise, retirou-se algumas conclusões relativamente aos mesmos. Posto isto, realizou-se a limpeza, manipulação e transformações necessárias aos mesmos para que no fim do processo estivessem prontos para análise. Por fim, foi construída uma ferramenta de gestão em Power BI, que permite monitorizar indicadores relativos ao processo de avaliação do Rookie. Os dashboards desenvolvidos, contam com indicadores desenvolvidos para suprir as necessidades transmitidas pela empresa, possibilitando por exemplo a avaliação do desempenho de cada documento utilizado e consequente perceção se apresenta debilidades no processamento, ingestão ou até mesmo na informação contida no mesmo. Esta ferramenta, ainda permite aceder a uma página que monitoriza a soma do Answer Relevancy, Faithfulness, Context Precision e Context Recall a cada observação realizada, oferecendo paralelamente uma perspetiva sobre os documentos mais utilizados no processo de avaliação, sendo que possui ainda mais duas abas para análise. Com base na ferramenta de monitorização desenvolvida, será expectável que ocorra a melhoria do processo de gestão e análise de dados relativos ao processo de avaliação do Rookie, além de potenciar a facilidade no acesso à informação e consequente tratamento e avaliação da mesma, de acordo com os resultados definidos pela empresa.