Ricerca
Tipi di dati replicati senza conflitti per la fusione di modelli di reti neurali: un’architettura a due livelli che consente la fusione di modelli conforme ai requisiti CRDT con 26 strategie
Tutte le 26 strategie di fusione di reti neurali che abbiamo testato — tra cui la media dei pesi, SLERP, TIES, DARE, la fusione di Fisher e gli approcci evolutivi — non soddisfano le proprietà…

- arXiv
- 2605.19373
- Pubblicato
- 2026-05-16
- Autori
- Ryan Gillespie
Abstract degli autori
Tutte le 26 strategie di fusione di reti neurali che abbiamo testato — tra cui la media dei pesi, SLERP, TIES, DARE, la fusione di Fisher e gli approcci evolutivi — non soddisfano le proprietà algebriche (commutatività, associatività e idempotenza) necessarie per operare in modo distribuito senza conflitti. Dimostriamo che questo limite è strutturale: le fusioni basate sulla normalizzazione non possono soddisfare contemporaneamente tutte e tre le proprietà. Per superarlo, presentiamo CRDTMergeState, un’architettura a due livelli che racchiude qualsiasi strategia di fusione in un livello conforme ai requisiti CRDT (Conflict-Free Replicated Data Type). Il livello 1 gestisce i contributi secondo la semantica dei CRDT OR-Set: l’operazione di fusione è l’unione degli insiemi, che è per definizione commutativa, associativa e idempotente. Il livello 2 applica le strategie di fusione come funzioni pure deterministiche a un insieme di contributi ordinato secondo un criterio canonico, usando come seme per la casualità un valore ricavato dalla radice di Merkle. Dimostriamo che questa separazione garantisce la consistenza eventuale forte: tutte le repliche che ricevono gli stessi contributi calcolano modelli fusi identici, indipendentemente dall’ordine dei messaggi. La validazione empirica si articola su tre livelli: tensori 4x4 in condizioni controllate (104/104 test superati), modelli su scala di produzione fino a 7,24 miliardi di parametri (208 test a livello di strategia e 43.368 verifiche delle proprietà a livello dei livelli, con una risoluzione dei tensori limitata) e convergenza fra più nodi con gossip e ricomposizione delle partizioni (100 nodi, 20 ordinamenti). L’overhead introdotto dal CRDT è inferiore a 0,5 ms. Poiché il livello che racchiude le strategie è trasparente, le prestazioni a valle sono identiche per costruzione, come conferma la verifica di output identici byte per byte. L’implementazione di riferimento è disponibile come crdt-merge v0.9.4.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv