Publication
Automatic Handling of Imbalanced Datasets for Classification
| dc.contributor.advisor | Rodrigues, Maria de Fátima Coutinho | |
| dc.contributor.author | Vieira, Pedro Marques | |
| dc.date.accessioned | 2023-03-15T15:06:26Z | |
| dc.date.available | 2023-03-15T15:06:26Z | |
| dc.date.issued | 2022 | |
| dc.description.abstract | Imbalanced data is present in various business areas and when facing it without proper knowledge, it can have undesired negative consequences. In addition, the most common evaluation metrics in machine learning to measure the desired solution can be inappropriate and misleading. Multiple combinations of methods are proposed to handle imbalanced data however, often, they required specialised knowledge to be used correctly. For imbalanced classification, the desire to correctly classify the underrepresented class tends to be more important than the overrepresented class, while being more challenging and time-consuming. Several approaches, ranging from more accessible and more advanced in the domains of data resampling and cost-sensitive techniques, will be considered to handle imbalanced data. The application developed delivers recommendations of the most suited combinations of techniques for the specific dataset imported, by extracting and comparing meta-features values recorded in a knowledge base. It facilitates effortless classification and automates part of the machine learning pipeline with comparable or better results to a state-of-the-art solution and with a much smaller execution time | pt_PT |
| dc.description.abstract | Os dados não balanceados estão presentes em diversas áreas de negócio e, ao enfrentá-los sem o devido conhecimento, podem trazer consequências negativas e indesejadas. Além disso, as métricas de avaliação mais comuns em aprendizagem de máquina (machine learning) para medir a solução desejada podem ser inadequadas e enganosas. Múltiplas combinações de métodos são propostas para lidar com dados não balanceados, contudo, muitas vezes, estas exigem um conhecimento especializado para serem usadas corretamente. Para a classificação não balanceada, o desejo de classificar corretamente a classe sub-representada tende a ser mais importante do que a classe que está representada em demasia, sendo mais difícil e demorado. Várias abordagens, desde as mais acessíveis até as mais avançadas nos domínios de reamostragem de dados e técnicas sensíveis ao custo vão ser consideradas para lidar com dados não balanceados. A aplicação desenvolvida fornece recomendações das combinações de técnicas mais adequadas para o conjunto de dados específico importado, extraindo e comparando os valores de meta características registados numa base de conhecimento. Ela facilita a classificação sem esforço e automatiza parte das etapas de aprendizagem de máquina com resultados comparáveis ou melhores a uma solução de estado da arte e com tempo de execução muito menor | pt_PT |
| dc.identifier.tid | 203113730 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/22518 | |
| dc.language.iso | eng | pt_PT |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | pt_PT |
| dc.subject | Imbalanced Classification | pt_PT |
| dc.subject | Handling Imbalanced Data | pt_PT |
| dc.subject | Automated Machine Learning | pt_PT |
| dc.subject | Classificação Não Balanceada | pt_PT |
| dc.subject | Manipulação de Dados Não Balanceados | pt_PT |
| dc.subject | Automatização de Aprendizagem de Máquina | pt_PT |
| dc.title | Automatic Handling of Imbalanced Datasets for Classification | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia Informática - Sistemas de Informação e Conhecimento | pt_PT |