Loading...
Publication
Transferências Assíncronas de Dados Não-Finitos através de Data Spaces
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 5.01 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Data has become an increasingly vital asset for organizations, as the volume of information being generated reaches an all-time high. This growth affects not only individual enterprises but also entire supply chains, with data sharing becoming key to organizational success. Yet, data exchange remains a complex endeavor, as businesses must comply with strict security, sovereignty and privacy requirements. Data Spaces were introduced to address these challenges, fostering ecosystems of trust where organizations can share information while preserving data sovereignty. At the core of this concept lies the Connector, a key component that acts as the gateway for data to flow
between Data Space participants. Connectors support both synchronous and asynchronous
transfers, handling either finite or non-finite data.
A prominent initiative in this field is the Eclipse Dataspace Components (EDC) project, an
open-source framework for building Data Space components. Although this project aims to
establish data sharing environments where any type of transfer is possible, it lacked support
for asynchronous non-finite data transfers. The goal of this dissertation is to develop a new
functionality for the EDC project to enable this type of data transfers, addressing this gap.
As part of this work, interviews were conducted with members of an organization participating
in the Catena-X Data Space. These revealed that asynchronous non-finite data
transfers were already taking place through workarounds that were either complex, costly,
or incompatible with the core principles of Data Spaces. The interviewees also shared their
expectations on how these transfers should occur instead, allowing for the definition of
technical requirements.
Building on the insights gathered from the interviews, a design for handling asynchronous
non-finite data transfers was proposed to the EDC project. This proposal was discussed
within the community, being adjusted until a consensus was reached. As a result, the final
approach introduces three contributions to the project: a method to identify non-finite data,
a service to perform asynchronous non-finite data transfers, and a mechanism to trigger
transfers on demand.
Following this design, a solution was developed to fulfill the defined requirements and tackle
the identified problem. Its outcomes were presented to the participants of the interview
process, receiving positive feedback. On a technical level, the EDC maintainers approved
the contributions, including the feature for the upcoming release.
In the end, the defined objectives were achieved. Besides contributing the developed feature,
this dissertation also provides a detailed overview of Data Spaces and the initiatives in this
field. In conclusion, continued development on projects such as the EDC are essential to
potentiate the benefits of Data Spaces, creating value for organizations seeking to thrive in
this data-driven ecosystem.
A engenharia e análise de dados tornaram-se essenciais para as organizações, levando a que o volume de informação gerada tenha atingido níveis históricos. Este crescimento não afetou apenas os processos internos das empresas, mas também cadeias de abastecimento inteiras, de forma que a partilha de dados se tornou um fator determinante para o sucesso organizacional. No entanto, a troca de informação continua a ser um obstáculo para as empresas, já que estas precisam de cumprir requisitos de segurança, soberania e privacidade. Os Data Spaces foram criados para enfrentar estes desafios, estabelecendo ecossistemas de confiança nos quais organizações podem trocar dados entre si. No centro deste conceito está o Connector, um componente fundamental que atua como porta de entrada e saída de dados entre os participantes dos Data Spaces. Os Connectors suportam transferências síncronas e assíncronas, e permitem a troca tanto de dados finitos como não finitos. Uma iniciativa de destaque nesta área é o projeto EDC, uma framework open-source para desenvolver componentes de Data Spaces. Embora este projeto vise estabelecer espaços de partilha de dados onde qualquer tipo de transferência seja possivel, o suporte para transferências assíncronas de dados não finitos encontrava-se em falta. Esta dissertação tem como objetivo desenvolver uma nova funcionalidade para o projeto EDC, colmatando esta lacuna de modo a possibilitar este tipo de transferências. Para tal, foram realizadas entrevistas com membros de uma organização participante do Data Space Catena-X. As entrevistas revelaram que transferências assíncronas de dados não finitos já ocorriam por meio de soluções alternativas, mas estas eram complexas, dispendiosas ou incompatíveis com os princípios fundamentais dos Data Spaces. Os entrevistados também partilharam as suas expectativas sobre como estas transferências deveriam funcionar, permitindo a definição de requisitos técnicos. Com base nos resultados das entrevistas, foi elaborada uma proposta para o projeto EDC sobre como lidar com transferências assíncronas de dados não finitos. A proposta foi discutida pela comunidade e ajustada até se alcançar um consenso. Como resultado, a abordagem final definiu três contribuições para o projeto: um método para identificar dados não finitos, um serviço para realizar transferências assíncronas de dados não finitos e um mecanismo para acionar transferências sob demanda. Seguindo esta abordagem, foi desenvolvida uma solução que cumpriu todos os requisitos definidos e resolveu o problema identificado. De um ponto de vista técnico, os responsáveis pela manutenção do projeto EDC aprovaram as contribuições, incluíndo a funcionalidade para lançamento na próxima versão. Os resultados foram também apresentados aos participantes das entrevistas, que deram um parecer positivo. Por fim, os objetivos definidos foram alcançados. Além de contribuir com a funcionalidade desenvolvida, esta dissertação também proporcionou uma visão detalhada sobre os Data Spaces e as iniciativas desta área. Conclui-se que continuar a desenvolver projetos como o EDC será essencial para potenciar os benefícios dos Data Spaces, criando valor para organizações que procuram prosperar nestes ecossistemas.
A engenharia e análise de dados tornaram-se essenciais para as organizações, levando a que o volume de informação gerada tenha atingido níveis históricos. Este crescimento não afetou apenas os processos internos das empresas, mas também cadeias de abastecimento inteiras, de forma que a partilha de dados se tornou um fator determinante para o sucesso organizacional. No entanto, a troca de informação continua a ser um obstáculo para as empresas, já que estas precisam de cumprir requisitos de segurança, soberania e privacidade. Os Data Spaces foram criados para enfrentar estes desafios, estabelecendo ecossistemas de confiança nos quais organizações podem trocar dados entre si. No centro deste conceito está o Connector, um componente fundamental que atua como porta de entrada e saída de dados entre os participantes dos Data Spaces. Os Connectors suportam transferências síncronas e assíncronas, e permitem a troca tanto de dados finitos como não finitos. Uma iniciativa de destaque nesta área é o projeto EDC, uma framework open-source para desenvolver componentes de Data Spaces. Embora este projeto vise estabelecer espaços de partilha de dados onde qualquer tipo de transferência seja possivel, o suporte para transferências assíncronas de dados não finitos encontrava-se em falta. Esta dissertação tem como objetivo desenvolver uma nova funcionalidade para o projeto EDC, colmatando esta lacuna de modo a possibilitar este tipo de transferências. Para tal, foram realizadas entrevistas com membros de uma organização participante do Data Space Catena-X. As entrevistas revelaram que transferências assíncronas de dados não finitos já ocorriam por meio de soluções alternativas, mas estas eram complexas, dispendiosas ou incompatíveis com os princípios fundamentais dos Data Spaces. Os entrevistados também partilharam as suas expectativas sobre como estas transferências deveriam funcionar, permitindo a definição de requisitos técnicos. Com base nos resultados das entrevistas, foi elaborada uma proposta para o projeto EDC sobre como lidar com transferências assíncronas de dados não finitos. A proposta foi discutida pela comunidade e ajustada até se alcançar um consenso. Como resultado, a abordagem final definiu três contribuições para o projeto: um método para identificar dados não finitos, um serviço para realizar transferências assíncronas de dados não finitos e um mecanismo para acionar transferências sob demanda. Seguindo esta abordagem, foi desenvolvida uma solução que cumpriu todos os requisitos definidos e resolveu o problema identificado. De um ponto de vista técnico, os responsáveis pela manutenção do projeto EDC aprovaram as contribuições, incluíndo a funcionalidade para lançamento na próxima versão. Os resultados foram também apresentados aos participantes das entrevistas, que deram um parecer positivo. Por fim, os objetivos definidos foram alcançados. Além de contribuir com a funcionalidade desenvolvida, esta dissertação também proporcionou uma visão detalhada sobre os Data Spaces e as iniciativas desta área. Conclui-se que continuar a desenvolver projetos como o EDC será essencial para potenciar os benefícios dos Data Spaces, criando valor para organizações que procuram prosperar nestes ecossistemas.
Description
Keywords
Data Spaces Eclipse Dataspace Components Data Transfers Non-Finite Data