Ricerca
Provenienza dei dati su blockchain MultiChain per l’elaborazione deterministica dei flussi con Kafka Streams: un caso di studio sui dati meteorologici
La verificabilità e la riproducibilità restano sfide cruciali per le pipeline di dati in tempo reale. I motori di elaborazione dei flussi dipendono fortemente dalla pianificazione delle operazioni…

- arXiv
- 2601.18011
- Pubblicato
- 2026-01-25
- Autori
- Niaz Mohammad Ramaki, Florian Schintke
Abstract degli autori
La verificabilità e la riproducibilità restano sfide cruciali per le pipeline di dati in tempo reale. I motori di elaborazione dei flussi dipendono fortemente dalla pianificazione delle operazioni durante l’esecuzione, dalle attivazioni delle finestre temporali, dall’ordine di arrivo dei dati e da fattori incerti come le variazioni della latenza di rete. Tutti questi elementi possono indurre le piattaforme di elaborazione dei flussi a produrre risultati non deterministici. In questo lavoro presentiamo un’architettura di provenienza dei dati basata su blockchain per una piattaforma di streaming, come Kafka Streams, che pubblica dati crittografici relativi a un flusso suddiviso in finestre temporali senza pubblicare sulla blockchain i dati contenuti nelle finestre. Abbiamo utilizzato dati meteorologici in tempo reale provenienti da stazioni di Berlino. I rilevamenti vengono normalizzati secondo un formato canonico, deduplicati e aggregati per finestra, quindi serializzati in modo deterministico. Calcoliamo inoltre la radice di Merkle dei rilevamenti contenuti in ciascuna finestra e la registriamo, insieme ai limiti degli offset di Kafka, negli stream della blockchain MultiChain come checkpoint. La nostra architettura può consentire a un revisore indipendente di verificare: (1) la completezza dei dati contenuti nelle finestre, (2) la serializzazione canonica e (3) la correttezza delle analisi derivate, come le temperature minime, massime e medie. Abbiamo valutato il sistema usando un flusso di dati reali provenienti da due stazioni meteorologiche, Berlin-Brandenburg e Berlin-Tempelhof, e mostrato che il costo della verifica cresce linearmente, che i risultati sono riproducibili in modo deterministico e che l’archiviazione off-chain è scalabile, con un ancoraggio crittografico on-chain. Abbiamo inoltre dimostrato che la blockchain può essere integrata nelle piattaforme di streaming, in particolare nel nostro sistema, ottenendo valori soddisfacenti di transazioni al secondo.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv