Publication
Estratégias de aprendizagem por reforço para configuração dinâmica de meta-heurísticas
| datacite.subject.fos | Engenharia e Tecnologia | pt_PT |
| dc.contributor.advisor | Pinto, Tiago Manuel Campelos Ferreira | |
| dc.contributor.advisor | Ramos, Carlos Fernando da Silva | |
| dc.contributor.author | Oliveira, Vítor José Henriques | |
| dc.date.accessioned | 2024-12-17T13:51:45Z | |
| dc.date.available | 2024-12-17T13:51:45Z | |
| dc.date.issued | 2024-10-25 | |
| dc.description.abstract | A eficácia da otimização de problemas complexos está intimamente ligada à configuração de parâmetros em algoritmos meta-heurísticos. Embora já tenham sido propostos métodos automatizados para a escolha dos parâmetros de algoritmos para reduzir a necessidade de ajuste manual, existe ainda um potencial significativo, não explorado, de ajuste dinâmico de parâmetros de algoritmos durante a execução, o que pode melhorar o seu desempenho. Este estudo visa aferir a eficácia da definição manual de parâmetros em comparação com uma abordagem dinâmica baseada em aprendizagem por reforço, reduzindo a necessidade de intervenção humana e aumentando a eficiência operacional dos algoritmos. Para alcançar este objetivo, adaptaram-se os métodos SARSA (State-Action-Reward-State-Action) e Deep SARSA para regular os parâmetros de algoritmos meta-heurísticos, em especial, o algoritmo genético. O modelo adotado é independente do problema a ser otimizado ou do algoritmo meta-heurístico selecionado, por isso, oferece a flexibilidade necessária, sendo apenas crucial escolher os parâmetros a ajustar durante o decorrer do processo de otimização de qualquer problema estudado. Estas metodologias foram testadas em funções benchmark, amplamente reconhecidas na literatura, e aplicadas nesta investigação nos seguintes cenários práticos: a otimização de portfólios de investimentos, na qual um participante possui ou pretende adquirir energia elétrica num mercado de eletricidade e a melhoria relacionada com a alocação de pacientes em Unidades de Cirurgia (UC) e em Unidades de Cuidados Intensivos (UCI), com o intuito de melhorar a eficiência da utilização de recursos limitados. Os resultados demonstram que o algoritmo Deep SARSA, baseado em aprendizagem por reforço e redes neuronais, obtém frequentemente um melhor desempenho em comparação com a configuração manual, de cariz completamente aleatório. Este facto pode ser comprovado pela análise dos resultados das médias do número de execuções, nomeadamente, no problema das UC, onde o valor do teste ANOVA apresentou um 𝑝-value significativo igual a 0.014. Este desfecho sugere que abordagens dinâmicas de ajuste de parâmetros podem ser mais eficazes e oferecer uma alternativa viável a métodos estáticos de configuração, que possam potenciar soluções propostas para enfrentar os desafios em ambientes dinâmicos e incertos. | pt_PT |
| dc.description.abstract | The effectiveness of optimizing complex problems is closely tied to parameter configuration in meta-heuristic algorithms. Although automated methods for selecting algorithm parameters have already been proposed to reduce the need for manual tuning, there remains significant untapped potential for dynamic parameter adjustment during algorithm execution, which could improve performance. This study aims to assess the effectiveness of manual parameter setting compared to a dynamic approach based on reinforcement learning, reducing the need for human intervention and increasing the operational efficiency of algorithms. To achieve this objective, the SARSA (State-Action-Reward-State-Action) and Deep SARSA methods were adapted to regulate the parameters of meta-heuristic algorithms, particularly the genetic algorithm. The adopted model is independent of the problem to be optimized or the selected meta-heuristic algorithm, thus offering the necessary flexibility, with the only crucial requirement being the choice of parameters to adjust during the optimization process of any studied problem. These methodologies were tested on benchmark functions widely recognized in the literature and applied in this investigation to the following practical scenarios: portfolio optimization, where a participant owns or intends to acquire electricity in an energy market, and improvements related to the allocation of patients in Surgical Units (SU) and Intensive Care Units (ICU), with the goal of improving the efficiency of limited resource utilization. The results demonstrate that the Deep SARSA algorithm, based on reinforcement learning and neural networks, often achieves better performance compared to completely random manual configuration. This finding is supported by the analysis of the average results across multiple runs, particularly in the SU problem, where the ANOVA test yielded a significant p-value of 0.014. This outcome suggests that dynamic parameter adjustment approaches may be more effective and provide a viable alternative to static configuration methods, potentially enhancing proposed solutions to address challenges in dynamic and uncertain environments. | pt_PT |
| dc.identifier.tid | 203734378 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/26902 | |
| dc.language.iso | por | pt_PT |
| dc.subject | Algoritmo genético | pt_PT |
| dc.subject | Aprendizagem máquina | pt_PT |
| dc.subject | Aprendizagem por reforço | pt_PT |
| dc.subject | Configuração dinâmica de algoritmos | pt_PT |
| dc.subject | DAC | pt_PT |
| dc.subject | Otimização por enxame de partículas | pt_PT |
| dc.subject | SARSA | pt_PT |
| dc.subject | Deep-SARSA | pt_PT |
| dc.subject | Dynamic algorithm configuration, | pt_PT |
| dc.subject | Reinforcement learning | pt_PT |
| dc.subject | Genetic algorithm | pt_PT |
| dc.subject | Particle swarm optimization | pt_PT |
| dc.subject | Machine learning | pt_PT |
| dc.title | Estratégias de aprendizagem por reforço para configuração dinâmica de meta-heurísticas | pt_PT |
| dc.title.alternative | Reinforcement learning strategies for dynamic configuration of metaheuristics | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia de Inteligência Artificial | pt_PT |