Publication
Robust machine learning against adversarial attacks
| datacite.subject.fos | Engenharia e Tecnologia | |
| datacite.subject.sdg | 09:Indústria, Inovação e Infraestruturas | |
| dc.contributor.advisor | Maia, Eva Catarina Gomes | |
| dc.contributor.author | SILVA, MIGUEL DIOGO GAMEIRO | |
| dc.date.accessioned | 2025-09-08T11:35:36Z | |
| dc.date.available | 2025-09-08T11:35:36Z | |
| dc.date.issued | 2025-07-18 | |
| dc.description.abstract | The growing interest in the application of Artificial Intelligence (AI) in various domains is evident, and the general public is becoming more accustomed to them. However, this interest is accompanied by significant challenges that threaten the security of AI-based systems. Rather than relying on AI as the sole decision-maker in critical scenarios, it should serve merely as a suportive tool, with its vulnerabilities carefully considered. One major concern is adversarial attacks, where bad actors introduce small, imperceptible perturbations to input data, causing AI models to misclassify. The resilience to this type of attack is called robustness, and is essential to ensure secure deployment, to avoid potential harmful consequences, such as bypassing AI-based security systems. This dissertation presents a tool, Adversarial to Understand Robustness and Offensive Resilience Analysis (AURORA), for testing the robustness of Machine Learning (ML) models to adversarial threats, focusing on adversarial attacks. The results of the attacks are evaluated using state-of-the-art metrics identified through a systematic review. As most of the work on this topic is made around images, this tool focuses on a less explored field, tabular data. glsAURORA also presents a new adjustment to these metrics based on the distance between original and perturbed samples. Since effective adversarial examples should closely resemble the original input, those that differ significantly are considered less meaningful and have less influence on the evaluation. Therefore, attacks that generate completely unrelated samples are penalised, reducing their success rate. This adjustment also accounts for the validity of perturbed samples, since invalid data should not influence evaluation metrics as much as valid data. Overall, from the results of the case study conducted using AURORA, as most of the existing methods are focused on image data, these methods do not create valid or realistic adversarial samples for tabular data. By adjusting the data to create valid samples, the attack success rate decreases. This highlights the need for testing models against the appropriate methods specific to the data used. By developing AURORA, this dissertation contributes to the advancement of adversarial robustness research in ML, particularly in the context of tabular data. AURORA provides a simple and effective framework for evaluating robustness, while considering the constraints and considerations related to tabular data. It provides two robustness scores perspectives: one suited for a general use, and another for high-stakes, real world scenarios where only the best performing adversarial attacks are considered in the evaluation. A key takeway of this dissertation is the need to continue efforts to improve the robustness and trustworthiness of ML models, and to raise awareness of the inherent vulnerabilities of ML models, and the risks associated with their use. | eng |
| dc.description.abstract | O interesse crescente na aplicação de Inteligência Artificial (AI) em vários domínios é evidente, e o público em geral está cada vez mais habituado a estes sistemas. No entanto, este interesse é acompanhado por desafios significativos que ameaçam a segurança de sistemas baseados em AI. Ao invés de confiar na AI como único decisor em cenários críticos, esta deve servir apenas como uma ferramenta de apoio, com as suas vulnerabilidades cuidadosamente consideradas. Uma das principais preocupações são os ataques adversarial, em que os atacantes introduzem pequenas e imperceptíveis perturbações nos dados de entrada, fazendo com que os modelos de AI façam classificações erradas. A resiliência a este tipo de ataque é designada por robustez e é essencial para garantir uma implementação segura, de modo a evitar potenciais consequências nefastas, como contornar sistemas de segurança que se baseiam em AI. Esta dissertação apresenta uma ferramenta, Adversarial to Understand Robustness and Offensive Resilience Analysis (AURORA), para testar a robustez de modelos de aprendizagem automática (ML) a ameaças, focando-se em ataques adversarial. Os resultados dos ataques são avaliados utilizando métricas identificadas através de uma revisão sistemática da literatura. Uma vez que a maioria do trabalho sobre este tema é feito em torno de imagens, esta ferramenta foca-se num campo pouco explorado, os dados tabulares. A AURORA também apresenta uma novo ajustamento a estas métricas baseado na distância entre as amostras originais e as perturbadas. Uma vez que os exemplos adversarial eficazes devem assemelhar-se ao máximo ao original, os que diferem significativamente são considerados menos relevantes e têm menos influência na avaliação. Por conseguinte, os ataques que geram amostras completamente não relacionadas são penalizados, reduzindo a sua taxa de sucesso. Este ajustamento também tem em conta a validade das amostras perturbadas, uma vez que os dados inválidos não devem influenciar as métricas de avaliação tanto quanto os dados válidos. Em geral, os resultados do caso de estudo realizado utilizando a AURORA evidenciam que, como a maioria dos métodos existentes se centra em dados de imagem, estes métodos não criam amostras adversarial válidas ou realistas para dados tabulares. Ao ajustar os dados para criar amostras válidas, a taxa de sucesso do ataque diminui. Este facto realça a necessidade de testar os modelos com métodos adequados e específicos aos tipos de dados em questão. Ao desenvolver a AURORA, esta dissertação contribui para o avanço da investigação sobre robustez de modelos de ML contra ataques adversarial, particularmente no contexto de dados tabulares. A AURORA fornece uma estrutura simples e eficaz para avaliar a robustez, tendo em conta as restrições e considerações relacionadas com os dados tabulares. Ela fornece duas perspetivas de avaliação de robustez: uma adequada para uso geral e outra para cenários reais de alto risco, em que apenas os ataques com melhor desempenho são considerados na avaliação. Uma das principais conclusões desta dissertação é a necessidade de continuar a encetar esforços para melhorar a robustez e a fiabilidade dos modelos de ML e de sensibilizar para os problemas apresentados neste trabalho, uma vez que a maioria dos utilizadores não está ciente das vulnerabilidades inerentes a estes modelos e, por isso, não está consciente dos riscos associados à sua utilização. | por |
| dc.identifier.tid | 203996267 | |
| dc.identifier.uri | http://hdl.handle.net/10400.22/30404 | |
| dc.language.iso | eng | |
| dc.rights.uri | N/A | |
| dc.subject | Adversarial Examples | |
| dc.subject | Evaluation Metrics | |
| dc.subject | Realism | |
| dc.subject | Model Robustness | |
| dc.subject | Validity | |
| dc.title | Robust machine learning against adversarial attacks | eng |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| thesis.degree.name | Mestrado em Engenharia Informática |