Utilize este identificador para referenciar este registo: http://hdl.handle.net/10400.22/5608
Título: Estrutura a partir do Movimento em Sistemas Autónomos
Autor: Junqueira, Artur Jorge Martins
Orientador: Almeida, José Miguel
Palavras-chave: Bundler
Geo-Bundler
Bundle Adjustment
Reconstrução 3D
SIFT
SiftGPU
Sistemas Autónomos
3D Reconstruction
Autonomous Systems
Data de Defesa: 2014
Editora: Instituto Politécnico do Porto. Instituto Superior de Engenharia do Porto.
Resumo: A estimação da estrutura do espaço e do movimento das câmaras, a partir de um conjunto de pontos correspondentes entre as imagens, é um tópico de pesquisa na comunidade da visão computacional, conhecido como Structure from Motion (SfM). Nesta dissertação pretende-se explorar uma ferramenta SfM e analisar o seu desempenho, tendo em consideração a sua aplicabilidade em sistemas autónomos. Para a análise são considerados dois cenários de aplicação: pós-processamento de imagens adquiridas durante operações robóticas (por exemplo para a criação de modelos tridimensionais) e aplicações em tempo real como a perceção do ambiente de operação. A ferramenta em estudo é o projeto Bundler de Noah Snavely. Este projeto estima os parâmetros das câmaras e os pontos 3D do ambiente, a partir de um conjunto de imagens e um lista de pontos de interesse, correspondentes entre as imagens. Na análise do Bundler pretende-se evidenciar os principais blocos que exigem maior esforço computacional, o matching de imagens e a estimação iterativa dos parâmetros das câmaras com base na diminuição do erro de reprojeção, através da biblioteca Sparse Bundle Adjustment (SBA). Para o processo de deteção e matching de pontos de interesse, efetuou-se a comparação entre a aplicação Scale Invariant Feature Transform (SIFT) e uma adaptação deste para a Graphics Processing Unit (GPU), o SiftGPU. Os resultados da comparação demonstraram uma melhoria signi cativa na utilização do SiftGPU, com uma placa gráfica Nvidia com Compute Uni ed Device Architecture (CUDA). Na exploração do Bundler para aplicações de pós-processamento, realizaram-se testes com diversos conjuntos de imagens e as nuvens de pontos geradas, permitem observar o modelo tridimensional dos objetos no espaço. Neste tipo de aplicações, a restrição do tempo de processamento não é uma condicionante tão grave como numa aplicação em tempo real. Então para tentar optimizar o desempenho do processo de estimação dos parâmetros das câmaras, apresentaram-se duas propostas. A primeira, considerando que se utiliza a mesma câmara e que esta tem uma distância focal fixa, consiste em efetuar uma calibração prévia dos parâmetros intrínsecos e fornecer ao Bundler, evitando assim a estimação de três parâmetros, e consequentemente redução do tempo de processamento do Bundle Adjustment (BA). A segunda proposta, implica a utilização de dados sensoriais de IMU/GPS para fornecer uma óptima inicialização dos parâmetros extrínsecos das câmaras. Com os parâmetros extrínsecos provenientes do IMU/GPS, em conjunto com os parâmetros intrínsecos de calibração, pretende-se reduzir o tempo de estimação dos parâmetros das câmaras no processo iterativo BA. Através da utilização destes dados, também se pretende evitar o desvio da estimação, devido à acumulação de erros ao longo do processo. Uma das vantagens da utilização do IMU/GPS, é facto de os resultados serem gerados em relação a um sistema de coordenadas, o que não acontece no Bundler, em que as posições são relativas e com ambiguidade na escala. Para adaptar o Bundler ao contexto de uma aplicação em tempo real, procedeu-se à alteração da abordagem atual, para enormes conjuntos desordenados de imagens, para um método sequencial e ordenado de acordo com o processo de aquisição de imagens. Este é apenas um dos primeiros passos para modificar o Bundler de acordo com as exigências das aplicações robóticas.
The estimation of the structure and cameras movement, from a set of corresponding points between images, is a research topic in the computer vision community, known as Structure from Motion (SFM). This dissertation aims to explore a SfM tool and analyze its performance, taking into account their applicability in autonomous systems. Two application scenarios are considered for the analysis: post-processing of images acquired during robotic operations (for instance, the creation of three-dimensional models) and real-time applications, such as the perception of the operating environment. The tool in question is the Noah Snavely's Bundler project. This project estimates the parameters of the cameras and the 3D environment points, from a set of images, image features and image matches. With the analysis of Bundler it's intended to highlight the main blocks that require higher computational e ort, the image pairwise matching and the iterative estimation of the cameras' parameters based on the reduction of the reprojection error, through the library Sparse Bundle Adjustment (SBA). For the process of keypoint detection and matching, it was carried out a comparison between the Scale Invariant Feature Transform (SIFT) and an adaptation of this application for the Graphics Processing Unit (GPU), the SiftGPU. The comparison results showed a significant improvement in the use of SiftGPU, with an Nvidia graphics card with Compute Unified Device Architecture (CUDA). During the exploration of Bundler for post-processing applications, tests were conducted with different image sets and the point clouds generated allowed us to observe the three-dimensional model of the objects in space. In this kind of applications, the restriction of processing time is not a serious condition such as it is in a real-time application. When trying to optimize the estimation process performance of the cameras' parameters, two proposals were presented. The first one, considering that the same camera is used, and it has a fixed focal distance, consists in performing a prior calibration of the intrinsic parameters, and provide them to the Bundler, thereby preventing the estimation of three parameters, and thus reducing the processing time of the Bundle Adjustment (BA). The second proposal involves the use of sensory data from the IMU/GPS to provide an optimal initialization of the cameras' extrinsic parameters. The extrinsic parameters from the IMU/GPS, together with the intrinsic calibration parameters, are intended to reduce the estimation of the cameras' parameters during the BA iterative process. Through the use of this data, it's also intended to avoid the deviation of the estimation due to accumulation of errors along the process. One of the advantages of using the IMU/GPS, is that the results are generated relative to a coordinate system, which does not happen in Bundler, in which the positions are relative and ambiguous in scale. To adapt the Bundler to the context of a real-time application, the current approach was modified, from large unordered collections of images, to a sequential and ordered method, according with the process of image acquisition. This is just one of the first steps to modify Bundler in accordance with the requirements of robotic applications.
Descrição: Mestrado em Engenharia Electrotécnica e de Computadores - Ramo de Sistemas Autónomos
URI: http://hdl.handle.net/10400.22/5608
Aparece nas colecções:ISEP - DM – Engenharia Electrotécnica e de Computadores

Ficheiros deste registo:
Ficheiro Descrição TamanhoFormato 
DM_ArturJunqueira_2014_MEEC.pdf5,05 MBAdobe PDFVer/Abrir


FacebookTwitterDeliciousLinkedInDiggGoogle BookmarksMySpace
Formato BibTex MendeleyEndnote Degois 

Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.