Big Data: Integração e armazenamento de informação do IOT

Guedes, Sérgio Manuel Marques

http://hdl.handle.net/10400.22/23152

Use this identifier to reference this record.

Name:	Description:	Size:	Format:
SérgioGuedes - TituloEspecialista.pdf		5.29 MB	Adobe PDF	Download

Send Feedback

Authors

Guedes, Sérgio Manuel Marques

Abstract(s)

Ao longo da última década, tem-se verificado um aumento na procura, por parte das organizações, no que diz respeito a soluções de Internet Of Things (IOT). As previsões indicam que, ao longo dos próximos anos a procura por estas soluções terá um crescimento acentuado, devendo-se, principalmente, ao facto das organizações reconhecerem os benefícios que as mesmas trazem para a sua atividade. Este crescimento na procura de soluções de IOT traz alguns desafios no que diz respeito ao aumento do volume de dados e ao seu processamento. Atualmente, grande parte das empresas utiliza sistemas baseados em Base Dados relacionais. Este tipo de arquitetura levanta alguns problemas no que diz respeito à escalabilidade e a dados provenientes de estruturas heterogéneas, como o caso dos dispositivos de IOT. Acrescido aos problemas apresentados, esta solução tem-se mostrado ineficiente em termos de custos. Este projeto teve como objetivo, o desenvolvimento de uma plataforma de integração e armazenamento de dados com base na cloud que será a base de todas as soluções analíticas. Este projeto, teve, também, como objetivo a entrega de uma arquitetura que permitisse uma gestão eficiente dos custos, bem como, a apresentação de uma solução de integração e armazenamento escalável e com bons níveis de performance. A solução proposta baseou-se na integração de dados em tempo real entre a fonte de dados e os diferentes destinos como Data Lake, MongoDb e ElasticSearch, recorrendo às plataformas Oracle GoldenGate e Kafka. Esta arquitetura foi desenvolvida com base em políticas de segurança rígidas, de forma a manter a confidencialidade dos dados. A implementação deste sistema, foi realizada em 2020 e trará enormes benefícios para o negócio como, redução de custos, escalabilidade e melhorias de desempenho.