Loading...
Publication
Transfer learning applied to government auditing: A focused approach on financial statements in Maranhão, Brazil
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 4.62 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Since Brazil’s return to democracy, dozens of laws, decrees and normative instructions have
been drafted with the purpose of regulating and improving the mechanisms for controlling
and monitoring municipal public resources. These regulations are specifically aimed at the
process of accountability by elected officials, who currently rely on the help of accountants
responsible for preparing and submitting financial statements to the Courts of Auditors.
However, according to data from the TCU (Federal Court of Accounts), in 2023, Maranhão
was the Brazilian State with the highest number of rejected accounts. There are several
reasons that can lead to these processes being challenged, including incorrect application of
resources, flaws in documentation, human errors, among others. In practice, the routine of
accountants includes repetitive and mechanical activities that requires considerable time to
prepare and review documents, hence often leading to errors in classification and issuing of
documentation.
In this context, this dissertation investigates the use of Transfer Learning (TL) to improve
automation and accuracy in the classification of financial commitment notes, an initial document
in the public expenditure cycle, with a specific focus on the context of the state
of Maranhão. To this end, BERTimbau, a pre-trained language model for Brazilian Portuguese,
was fine-tuned to assist government accountants in reducing classification errors
and ensuring compliance with local and national financial regulations.
The CRISP-DM methodology, widely used in data science, was adopted to structure the
development of the project. The dataset used, consisting of several classifications of commitment
notes for the year 2023, was thoroughly analyzed and pre-processed. For the
fine-tuning process of the model, two samples with a similar number of data were selected,
varying only the number of possible classifications, due to the high degree of imbalance
between the classes.
Even in a multiclass context with datasets with a reduced number of classes, the results
obtained indicate that the BERTimbau model presents strong performance in the classification
task, achieving 98% accuracy with an error rate of 0.10 in the test set, highlighting the
effectiveness of BERTimbau in public financial auditing applications. These results highlight
the effectiveness of BERTimbau for public financial auditing applications. It is therefore
concluded that TL models have great potential to optimize and improve financial auditing
processes, with positive implications for wider adoption in Brazil.
Desde a redemocratização brasileira, dezenas de leis, decretos e instruções normativas foram elaboradas com o propósito de regulamentar e aprimorar os mecanismos de controlo e fiscalização dos recursos públicos municipais. Essas regulamentações visam especialmente o processo de prestação de contas por parte dos gestores eleitos, que contam atualmente com a ajuda de contabilistas responsáveis pela elaboração e envio das demonstrações financeiras aos Tribunais de Contas. Contudo, segundo dados do TCU (Tribunal de Contas da União), em 2023 o Maranhão foi o estado brasileiro com o maior número de contas reprovadas. São diversos os motivos que podem causar a impugnação destes processos, desde a incorreta aplicação dos recursos, vícios na documentação, erros humanos, entre outros. Na prática, a rotina dos contabilistas inclui atividades repetitivas e mecânicas, o que torna comuns erros de classificação e emissão de documentos, devido ao tempo considerável necessário para elaboração e revisão desses registros. Perante esse contexto, esta dissertação investiga o uso de Transfer Learning (TL) para melhorar a automação e a precisão na classificação das notas de empenho financeiro, documento inicial no ciclo da despesa pública, com foco específico no contexto do estado do Maranhão. Para tal, foi realizado o fine-tuning do BERTimbau, um modelo de linguagem pré-treinado para o português do Brasil, com o intuito de auxiliar contabilistas governamentais na redução de erros de classificação e garantir a conformidade com as regulamentações financeiras locais e nacionais. A metodologia CRISP-DM, amplamente utilizada em ciência de dados, foi adotada para estruturar o desenvolvimento do projeto. O conjunto de dados utilizado, composto por várias classificações de notas de empenho referentes ao ano de 2023, foi minuciosamente analisado e pré-processado. Para o processo de fine-tuning do modelo seleccionou-se duas amostras com um número semelhante de instâncias, variando apenas a quantidade de classificações possíveis, devido ao alto grau de desbalanciamento entre as classes. Mesmo em um contexto multiclasse com conjuntos de dados com quantidade de classes reduzida, os resultados obtidos indicam que o modelo BERTimbau apresenta excelente desempenho na tarefa de classificação, alcançando 98% de acurácia com taxa de erro de 0.10 no conjunto de teste, o que destaca a eficácia do BERTimbau em aplicações de auditoria financeira pública.Esses resultados sublinham a eficácia do BERTimbau para aplicações de auditoria financeira pública. Conclui-se, assim, que modelos de TL possuem grande potencial para otimizar e aprimorar processos de auditoria financeira, com implicações positivas para uma adoção mais ampla no Brasil.
Desde a redemocratização brasileira, dezenas de leis, decretos e instruções normativas foram elaboradas com o propósito de regulamentar e aprimorar os mecanismos de controlo e fiscalização dos recursos públicos municipais. Essas regulamentações visam especialmente o processo de prestação de contas por parte dos gestores eleitos, que contam atualmente com a ajuda de contabilistas responsáveis pela elaboração e envio das demonstrações financeiras aos Tribunais de Contas. Contudo, segundo dados do TCU (Tribunal de Contas da União), em 2023 o Maranhão foi o estado brasileiro com o maior número de contas reprovadas. São diversos os motivos que podem causar a impugnação destes processos, desde a incorreta aplicação dos recursos, vícios na documentação, erros humanos, entre outros. Na prática, a rotina dos contabilistas inclui atividades repetitivas e mecânicas, o que torna comuns erros de classificação e emissão de documentos, devido ao tempo considerável necessário para elaboração e revisão desses registros. Perante esse contexto, esta dissertação investiga o uso de Transfer Learning (TL) para melhorar a automação e a precisão na classificação das notas de empenho financeiro, documento inicial no ciclo da despesa pública, com foco específico no contexto do estado do Maranhão. Para tal, foi realizado o fine-tuning do BERTimbau, um modelo de linguagem pré-treinado para o português do Brasil, com o intuito de auxiliar contabilistas governamentais na redução de erros de classificação e garantir a conformidade com as regulamentações financeiras locais e nacionais. A metodologia CRISP-DM, amplamente utilizada em ciência de dados, foi adotada para estruturar o desenvolvimento do projeto. O conjunto de dados utilizado, composto por várias classificações de notas de empenho referentes ao ano de 2023, foi minuciosamente analisado e pré-processado. Para o processo de fine-tuning do modelo seleccionou-se duas amostras com um número semelhante de instâncias, variando apenas a quantidade de classificações possíveis, devido ao alto grau de desbalanciamento entre as classes. Mesmo em um contexto multiclasse com conjuntos de dados com quantidade de classes reduzida, os resultados obtidos indicam que o modelo BERTimbau apresenta excelente desempenho na tarefa de classificação, alcançando 98% de acurácia com taxa de erro de 0.10 no conjunto de teste, o que destaca a eficácia do BERTimbau em aplicações de auditoria financeira pública.Esses resultados sublinham a eficácia do BERTimbau para aplicações de auditoria financeira pública. Conclui-se, assim, que modelos de TL possuem grande potencial para otimizar e aprimorar processos de auditoria financeira, com implicações positivas para uma adoção mais ampla no Brasil.
Description
Keywords
Government Auditing Financial Auditing Financial Statements Transfer Learning Fine-Tuning BERTimbau