Silva, Manuel Fernando dos SantosMartins, João Pedro Pires Jacob Correia2023-02-062022http://hdl.handle.net/10400.22/22152Mobile robots are increasingly being used in protected and open field agriculture. However, it is necessary to maintain safety for the cooperating agents of the environment, such as persons. Systems used in industry are prepared for a controlled environment with little dynamics. Agricultural environments are very dynamic with constant changes of the static structures and intervention of the agents of the environment, such as people and living beings. Thus, an intelligent system capable of predicting dangerous situations between the robot and its surroundings is needed. This thesis addresses the development of a smart collision avoidance system, for robots operating in greenhouses, based on the 3D representation of the environment by fusion of RGB image with 3D point cloud, and object detection through deep learning. Since agriculture is a dynamic environment, approaches that require prior knowledge of the robot’s surroundings become unfeasible. This system allows the creation, in real-time, of a 3D map where objects known by the robot are detected. This way its operation is not conditioned when changes occur in the scene. The system acts in the robot’s navigation according to its spacial sense, to static or moving objects, respecting the International Organization for Standardization (ISO) standards stipulated for Autonomous Mobile Robots (AMR). To evaluate the system, is simulated the scenario with real data from the greenhouses and then rated collision avoidance outputs commands to the navigation system.Os robôs móveis estão a ser cada vez mais utilizados na agricultura protegida e de campo aberto. No entanto, é necessário manter a segurança dos agentes que co-operam no meio, tais como as pessoas. Sistema utilizados na industria estão preparados para um ambiente controlado e com pouca dinâmica. Ambientes agrícolas revelam-se muito dinâmicos com constantes alterações das estruturas estáticas e intervenção dos agentes do meio, como pessoas e seres vivos. Assim, é necessário um sistema inteligente capaz de prever situações de perigo entre o robot e o meio que o rodeia. Esta tese aborda o desenvolvimento de um sistema inteligente de prevenção de colisões, para robôs que operam em estufas, baseado na representação 3D do ambiente por fusão de imagem RGB com nuvem de pontos 3D, e consequente deteção de objetos através de aprendizagem profunda. Uma vez que a agricultura apresenta um ambiente dinâmico, as abordagens que requerem um conhecimento prévio do ambiente do robô tornam-se impraticáveis. Este sistema permite criar em tempo real um mapa 3D onde objetos conhecidos pelo robô são detetados. Desta forma, o seu funcionamento não é condicionado quando ocorrem alterações no ambiente. O sistema atua na navegação do robô de acordo com o seu sentido espacial, tanto de objetos estáticos ou em movimento, respeitando as normas da organização internacional para a normalização (ISO) estipuladas para veículos móveis autónomos (AMR). Para avaliar o sistema, simula-se o cenário com dados reais das estufas e depois classificam-se os comandos de saída, que previnem colisões, para o sistema de navegação.engCollision AvoidanceRGB Image3D Point Cloud3D MapDeep LearningObject DetectionPrevenção de ColisõesImagem RGBNuvem de Pontos 3DMapa 3DAprendizagem ProfundaDetecção de Objectosmaster thesis203113144