Vai al contenuto
Crypto.world

Ricerca

Provenienza dei dati su blockchain MultiChain per l’elaborazione deterministica dei flussi con Kafka Streams: un caso di studio sui dati meteorologici

La verificabilità e la riproducibilità restano sfide cruciali per le pipeline di dati in tempo reale. I motori di elaborazione dei flussi dipendono fortemente dalla pianificazione delle operazioni…

Provenienza dei dati su blockchain MultiChain per l’elaborazione deterministica dei flussi con Kafka Streams: un caso di studio sui dati meteorologici
arXiv
2601.18011
Pubblicato
2026-01-25
Autori
Niaz Mohammad Ramaki, Florian Schintke

Abstract degli autori

La verificabilità e la riproducibilità restano sfide cruciali per le pipeline di dati in tempo reale. I motori di elaborazione dei flussi dipendono fortemente dalla pianificazione delle operazioni durante l’esecuzione, dalle attivazioni delle finestre temporali, dall’ordine di arrivo dei dati e da fattori incerti come le variazioni della latenza di rete. Tutti questi elementi possono indurre le piattaforme di elaborazione dei flussi a produrre risultati non deterministici. In questo lavoro presentiamo un’architettura di provenienza dei dati basata su blockchain per una piattaforma di streaming, come Kafka Streams, che pubblica dati crittografici relativi a un flusso suddiviso in finestre temporali senza pubblicare sulla blockchain i dati contenuti nelle finestre. Abbiamo utilizzato dati meteorologici in tempo reale provenienti da stazioni di Berlino. I rilevamenti vengono normalizzati secondo un formato canonico, deduplicati e aggregati per finestra, quindi serializzati in modo deterministico. Calcoliamo inoltre la radice di Merkle dei rilevamenti contenuti in ciascuna finestra e la registriamo, insieme ai limiti degli offset di Kafka, negli stream della blockchain MultiChain come checkpoint. La nostra architettura può consentire a un revisore indipendente di verificare: (1) la completezza dei dati contenuti nelle finestre, (2) la serializzazione canonica e (3) la correttezza delle analisi derivate, come le temperature minime, massime e medie. Abbiamo valutato il sistema usando un flusso di dati reali provenienti da due stazioni meteorologiche, Berlin-Brandenburg e Berlin-Tempelhof, e mostrato che il costo della verifica cresce linearmente, che i risultati sono riproducibili in modo deterministico e che l’archiviazione off-chain è scalabile, con un ancoraggio crittografico on-chain. Abbiamo inoltre dimostrato che la blockchain può essere integrata nelle piattaforme di streaming, in particolare nel nostro sistema, ottenendo valori soddisfacenti di transazioni al secondo.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv