| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 4.96 MB | Adobe PDF |
Advisor(s)
Abstract(s)
In the constantly evolving field of video games, traditional difficulty settings fail to accommodate
the wide range of skill levels among players. The resulting mismatch between the
player’s skill and the game’s challenge can make the game boring for skilled players or frustrating
for less experienced ones, negatively affecting player engagement. Dynamic Difficulty
Adjustment (DDA) seeks to resolve this issue by adapting the game’s difficulty in real time in
response to the player’s performance. While advancements in artificial intelligence (AI), particularly
machine learning (ML), have enabled more adaptive DDA systems, the full potential
of certain advanced techniques or tools has yet to be explored.
This thesis thus explores possible innovations in the integration of AI in DDA systems for
video games. The research begins by reviewing the techniques used for DDA, focusing on
methodologies such as player modeling, rule-based systems, and ML. Based on this research,
potential areas for innovation were identified and the application of Deep Reinforcement
Learning (DRL) in the Unity game development platform through the usage of the MLAgents
toolkit was chosen as a promising approach for this research.
Using this methodology, this research aims to implement a DDA system that adjusts a
game’s difficulty based on the player’s skills, enhancing their engagement and maintaining a
consistent challenge. This project has several critical phases of development, including the
creation of a game prototype, data collection for model training, development and integration
of the DDA system into the game prototype, and conducting an experiment comparing the
prototype with DDA integrated with a version of the prototype that used traditional static
difficulty scaling.
The experiment conducted was done with 20 participants of varying skill levels and used a
combination of collected gameplay metrics and a modified Game Experience Questionnaire
(GEQ) survey to evaluate the DDA system’s effectiveness.
The results showed that the DDA system demonstrated a statistically significant increase
in the player engagement component and appropriately adjusted the difficulty to be harder
for participants of higher skill. However, the system sometimes exhibited some issues with
drastic adjustments in difficulty between levels, which led to a slightly lower Post-Game
positive experience score compared to the static difficulty scaling system. Despite these
fluctuations, the proposed system demonstrates the potential of the ML-Agents toolkit in
implementing DDA with DRL in games made on the Unity platform.
By identifying underexplored areas in the current literature and applying advanced techniques
like DRL, this thesis aims to contribute to both academic research and game development
regarding the approach to DDA in video games.
Na área dos videojogos, as configurações de dificuldade tradicionais não conseguem acomodar a ampla variedade de níveis de habilidade dos jogadores. A irregularidade resultante entre a habilidade do jogador e o desafio do jogo pode tornar o jogo demasiado aborrecido para jogadores mais experientes ou demasiado frustrante para os menos experientes, afetando negativamente o envolvimento dos jogadores. O Ajuste Dinâmico de Dificuldade (DDA) procura resolver este problema, ajustando a dificuldade do jogo em tempo real em resposta ao desempenho do jogador. Embora os avanços na inteligência artificial (IA), particularmente na aprendizagem automática (ML), tenham permitido sistemas de DDA mais adaptáveis, o potencial total de certas técnicas ou ferramentas avançadas ainda não foi totalmente explorado. Esta tese explora possíveis inovações na integração da Inteligência Artificial (IA) em sistemas de Ajuste Dinâmico de Dificuldade (DDA) para videojogos. O estudo começou com a revisão das técnicas utilizadas para DDA, com foco em metodologias como modelação de jogadores, sistemas baseados em regras e aprendizagem automática. Com base nesta investigação, foram identificadas áreas com potencial para inovação e a aplicação de Deep Reinforcement Learning (DRL) na plataforma de desenvolvimento de jogos Unity, através do uso do kit de ferramentas ML-Agents, foi escolhida como uma abordagem promissora para este trabalho de investigação. Usando esta metodologia, este estudo procurou implementar um sistema de DDA que ajuste a dificuldade do jogo com base nas habilidades do jogador, aumentando o seu envolvimento e mantendo um desafio consistente. Este projeto inclui várias fases críticas de desenvolvimento, tais como a criação de um protótipo de jogo, a recolha de dados para o treino do modelo, o desenvolvimento e integração do sistema de DDA no protótipo, e a realização de uma experiência que compara o protótipo com DDA integrado com uma versão do protótipo que utiliza um sistema tradicional de escalamento de dificuldade estática. A experiência foi realizada com 20 participantes de diferentes níveis de habilidade e usou uma combinação de métricas de jogo recolhidas e um questionário modificado da Experiência de Jogo (GEQ) para avaliar a eficácia do sistema de DDA. Os resultados mostraram que o sistema de DDA demonstrou um aumento estatisticamente significativo no envolvimento dos jogadores e ajustou adequadamente a dificuldade para ser mais difícil para os participantes de maior habilidade. No entanto, o sistema apresentou, por vezes, problemas com ajustes drásticos de dificuldade entre níveis, o que resultou numa pontuação ligeiramente inferior na experiência positiva pós-jogo em comparação com o sistema de escalamento de dificuldade estática. Apesar destas flutuações, o sistema proposto demonstra o potencial da ferramenta ML-Agents para a implementação de DDA com DRL em jogos desenvolvidos na plataforma Unity. Ao identificar áreas pouco exploradas na literatura atual e ao aplicar técnicas avançadas como DRL, esta tese procura contribuir tanto para a investigação científica como para o desenvolvimento de jogos no que diz respeito à abordagem de DDA em vídeo jogos.
Na área dos videojogos, as configurações de dificuldade tradicionais não conseguem acomodar a ampla variedade de níveis de habilidade dos jogadores. A irregularidade resultante entre a habilidade do jogador e o desafio do jogo pode tornar o jogo demasiado aborrecido para jogadores mais experientes ou demasiado frustrante para os menos experientes, afetando negativamente o envolvimento dos jogadores. O Ajuste Dinâmico de Dificuldade (DDA) procura resolver este problema, ajustando a dificuldade do jogo em tempo real em resposta ao desempenho do jogador. Embora os avanços na inteligência artificial (IA), particularmente na aprendizagem automática (ML), tenham permitido sistemas de DDA mais adaptáveis, o potencial total de certas técnicas ou ferramentas avançadas ainda não foi totalmente explorado. Esta tese explora possíveis inovações na integração da Inteligência Artificial (IA) em sistemas de Ajuste Dinâmico de Dificuldade (DDA) para videojogos. O estudo começou com a revisão das técnicas utilizadas para DDA, com foco em metodologias como modelação de jogadores, sistemas baseados em regras e aprendizagem automática. Com base nesta investigação, foram identificadas áreas com potencial para inovação e a aplicação de Deep Reinforcement Learning (DRL) na plataforma de desenvolvimento de jogos Unity, através do uso do kit de ferramentas ML-Agents, foi escolhida como uma abordagem promissora para este trabalho de investigação. Usando esta metodologia, este estudo procurou implementar um sistema de DDA que ajuste a dificuldade do jogo com base nas habilidades do jogador, aumentando o seu envolvimento e mantendo um desafio consistente. Este projeto inclui várias fases críticas de desenvolvimento, tais como a criação de um protótipo de jogo, a recolha de dados para o treino do modelo, o desenvolvimento e integração do sistema de DDA no protótipo, e a realização de uma experiência que compara o protótipo com DDA integrado com uma versão do protótipo que utiliza um sistema tradicional de escalamento de dificuldade estática. A experiência foi realizada com 20 participantes de diferentes níveis de habilidade e usou uma combinação de métricas de jogo recolhidas e um questionário modificado da Experiência de Jogo (GEQ) para avaliar a eficácia do sistema de DDA. Os resultados mostraram que o sistema de DDA demonstrou um aumento estatisticamente significativo no envolvimento dos jogadores e ajustou adequadamente a dificuldade para ser mais difícil para os participantes de maior habilidade. No entanto, o sistema apresentou, por vezes, problemas com ajustes drásticos de dificuldade entre níveis, o que resultou numa pontuação ligeiramente inferior na experiência positiva pós-jogo em comparação com o sistema de escalamento de dificuldade estática. Apesar destas flutuações, o sistema proposto demonstra o potencial da ferramenta ML-Agents para a implementação de DDA com DRL em jogos desenvolvidos na plataforma Unity. Ao identificar áreas pouco exploradas na literatura atual e ao aplicar técnicas avançadas como DRL, esta tese procura contribuir tanto para a investigação científica como para o desenvolvimento de jogos no que diz respeito à abordagem de DDA em vídeo jogos.
Description
Keywords
Dynamic difficulty adjustment Artificial intelligence Machine learning Video game design Deep reinforcement learning Unity platform