Browsing by Author "Sobreiro , Saulo Abel Ramos"
Now showing 1 - 1 of 1
Results Per Page
Sort Options
- Estudo de tecnologias para sistemas de Big DataPublication . Sobreiro , Saulo Abel Ramos; Duarte, Fernando Jorge FerreiraBig Data é um conceito da moda, consequência da evolução tecnológica dos últimos anos, que tem potenciado o aumento do volume de dados gerados diariamente. As empresas têm cada vez mais noção da oportunidade que é gerar valor dos dados que lhe pertencem, mas isso implica conseguir dar resposta às características dos dados, que se têm tornado intratáveis pelas tecnologias tradicionais. Uma solução para responder a esses desafios é o ecossistema Hadoop, que disponibiliza várias tecnologias dedicadas a resolver problemas específicos no âmbito dos desafios de Big Data. Com o intuito de produzir um estudo de tecnologias de Big Data, é aqui feita uma análise teórica do ecossistema, de quais as Stacks de tecnologias mais comuns e de como estas são integradas num sistema Hadoop. Posteriormente, e partindo de um caso de uso baseado num sistema para processamento de dados de sensores foi feito um estudo teórico de quais as tecnologias mais adequadas a usar e qual a melhor arquitetura a seguir. Esta análise revelou-se, em termos teóricos, inconclusiva. Desta forma, surgiu a necessidade de fazer testes práticos de quatro combinações diferentes entre tecnologias de processamento - onde se considerou Spark Streaming e Storm – e arquitetura seguida - onde se considerou a arquitetura Lambda e a arquitetura Kappa. O objetivo dos testes foi identificar qual a combinação com melhor desempenho e menor consumo de recursos para o caso de uso em questão. Os testes realizados revelaram, entre outros, que o Spark seguindo uma arquitetura Kappa é a abordagem com melhor relação desempenho – recursos consumidos.