Ferreira, Luís Miguel Moreira LinoCarneiro, Mário Miguel Silva de Sá2024-10-312024-10-312024-10-11http://hdl.handle.net/10400.22/26320The increasing number of Internet of Things devices and the increasing adoption of smart homes have led to an increase in risk related to cybersecurity. The purpose of this dissertation is to examine these limitations and propose innovative solutions for anomaly detection using machine learning (ML) methods. The objectives and motivations for this work, which focuses on improving home network security, are explained in Chapter 1, which also provides a review of smart homes and their connections with cybersecurity issues. In Chapter 2, "State of the Art," the rise of IoT in everyday use and related safety concerns are addressed. In addition, it covers over basic concepts like machine learning strategies and the way these interact with intrusion detection systems (IDS). In order to mitigate increasing threats it considers that integrating ML with cybersecurity in IoT systems is important. The machine learning techniques selected for this project are presented in Chapter 3, with a focus on creating a reliable anomaly detection pipeline.Comprehensive data pre-processing, including cleaning, merging, normalization, and analysis, ensures sure the data is suitable for model training. In Chapter 4, training individual and ensemble models will be addressed along with an analysis of performance metrics in scenarios using binary and multi-class classification.Z-Score normalization is one strategy that is frequently used to handle unbalanced datasets. It has been demonstrated to perform better than Min-Max, especially when applied to the UNSW-NB15 dataset. The implementation of APIs using Streamlit for real-time visualisation and FastAPI for backend integration with ML models will be discussed in Chapter 5.This combination enables the ability to anticipate cyberattacks and visually represent anomalies in an effective way. The testbed built to automate cyberattacks and extract important features for model training will be discussed in detail in Chapter 6. The results of the evaluations, that compare the performance of the individual models and the ensemble, are presented in Chapter 7. The ensemble performed better than expected, especially when it came to identifying anomalies in multi-class environments. It achieved this with high accuracy and a significant reduction in false positives and negatives. Chapter 8 ends with an overview of the project’s conclusions and contributions.The main findings emphasize the significance of selecting normalization strategies and the advantages of using ensemble models to improve attack detection.O número crescente de dispositivos da Internet das Coisas e a crescente adoção de casas inteligentes conduziram a um aumento do risco relacionado com a cibersegurança. O objetivo desta dissertação é examinar estas limitações e propor soluções inovadoras para a deteção de anomalias utilizando métodos de machine learning (ML). Os objetivos e as motivações deste trabalho, que se centra na melhoria da segurança das redes domésticas, são explicados no Capítulo 1, que também apresenta uma análise das casas inteligentes e das suas ligações a questões de cibersegurança. No Capítulo 2, “Estado da arte”, é abordado o aumento da IoT na utilização quotidiana e as preocupações de segurança relacionadas. Além disso, aborda conceitos básicos como estratégias de machine learning e a forma como interagem com os sistemas de deteção de intrusões (IDS). As técnicas de machine learning selecionadas para este projeto são apresentadas no Capítulo 3, com o objetivo de criar um pipeline de deteção de anomalias fiável. Um pré-processamento abrangente dos dados, incluindo limpeza, fusão, normalização e análise, garante que os dados são adequados para o treino do modelo. No Capítulo 4, será abordado o treino de modelos individuais e de conjuntos, bem como uma análise das métricas de desempenho em cenários que utilizam a classificação binária e multiclasse. A normalização do Z-Score é uma estratégia frequentemente utilizada para lidar com conjuntos de dados desequilibrados. A implementação de APIs utilizando Streamlit para visualização em tempo real e FastAPI para integração de back-end com modelos de ML será discutida no Capítulo 5. Esta combinação permite a capacidade de antecipar ciberataques e representar visualmente as anomalias de uma forma eficaz. A bancada de ensaio construída para automatizar ciberataques e extrair caraterísticas importantes para o treino de modelos será analisada em pormenor no Capítulo 6. Os resultados das avaliações, que comparam o desempenho dos modelos individuais e do conjunto, são apresentados no Capítulo 7. O conjunto teve um desempenho melhor do que o esperado, especialmente quando se tratou de identificar anomalias em ambientes multiclasse. O capítulo 8 termina com uma síntese das conclusões e contributos do projeto. As principais conclusões salientam a importância da seleção de estratégias de normalização e as vantagens da utilização de modelos de conjunto para melhorar a deteção de ataques.engIoT SecurityAnomaly DetectionCybersecurityMachine LearningEnsemble ModelsIntrusion Detection Systems (IDS)API Integrationmaster thesis203713702