Pereira, Nuno Alexandre MagalhãesMarques, Duarte Figueiredo2024-11-272024-11-272024-10-17http://hdl.handle.net/10400.22/26532The evolution of digital media consumption has led to innovative ways to ingest its content. In this thesis, on the research and state-of-the-art topic, we explore the concept of volumetric video streaming, a type of media that can be seen from any position and angle in 6 degrees of freedom navigation, giving a total state of immersion. The work starts with deep research into existing capture systems with an array of hundreds of cameras down to a single camera system from various fields (sports, meetings, music, fashion, health care, entertainment, and gaming). How the end-user can consume the content is also a topic of concern. Present devices, from head mount displays (HDMI), such as the Oculus Rift, to specialized volumetric displays, are analyzed, and examples are given to help understand how they work and their advantages and disadvantages. Finally, for the streaming aspect, as the volumetric content is vastly more extensive than traditional "flat" media, methods to arrange volumetric data, such as Point Clouds and Volumetric Meshes, are explored, as well as how to compress them. The practical section of the thesis was focused on designing, implementing, and evaluating a volumetric video streaming system. Various potential solutions were explored and tested, leading to the development of an optimized system capable of capturing and analyzing realtime performance metrics. To validate the system, experiments were conducted across three scenarios: a static camera with no movement, a static camera with regular movement, and a moving camera with extreme movement. The captured data were analyzed to assess the system’s stability and performance under different conditions. The findings highlighted key challenges and provided insights for future improvements, confirming the feasibility of the proposed system and offering a foundation for further research in volumetric video streaming.A evolução do consumo de conteúdo digital levou a fortes inovações de consumo do mesmo. Nesta tese, exploramos o streaming de vídeos volumétricos, um tipo de média que pode ser visto de qualquer posição e ângulo com uma navegação de 6 graus de liberdade, proporcionando um estado total de imersão. A análise começa com uma pesquisa aprofundada nos sistemas de captura existentes, desde um conjunto de centenas de câmeras até um sistema de uma câmera apenas, focados em diversos campos (desportos, reuniões, música, moda, saúde, entretenimento e jogos). Onde o utilizador pode consumir o conteúdo também é uma preocupação do tópico. Dispositivos atuais, desde HMDs (como o Oculus Rift) até displays volumétricos especializados são analisados e exemplos dados para entender como funcionam, bem como suas vantagens e desvantagens. Finalmente, para o streaming, visto que o conteúdo volumétrico é consideravelmente maior do que os meios tradicionais "2D", são explorados métodos para organizar dados volumétricos, como Point Clouds e Volumetric meshes e como comprimir estes tipos de formatos. A outra secção da tese centra-se no design, implementação e avaliação de um sistema de streaming de vídeo volumétrico. Foram exploradas e testadas várias potenciais soluções, o que levou ao desenvolvimento de um sistema otimizado, capaz de capturar e analisar métricas de desempenho em tempo real. Para validar o sistema, foram realizados testes em três cenários: uma câmara estática sem movimento, uma câmara estática com movimento regular, e uma câmara em movimento com movimento extremo. Os dados capturados foram analisados para avaliar a estabilidade e o desempenho do sistema em diferentes condições. Os resultados destacaram os principais desafios e forneceram informações para futuras melhorias, confirmando a viabilidade do sistema proposto e oferecendo uma base para pesquisas futuras no streaming de vídeo volumétrico.engVolumetric videoVolumetric streamingVideo capturemaster thesis203732642