Data Lake Per SIAE: Sofia Data Lake

Sommario:

Linkalab, in partnership con Alkemy, ha curato la progettazione e messa in opera del nuovo Data Lake per SIAE, Ente pubblico economico preposto alla protezione e all'esercizio dell'intermediazione del diritto d'autore in Italia. Sofia, questo il nome del progetto, uno dei più innovativi in Italia, si concentra sulla pulizia, elaborazione e decodifica dei dati e l’interpretazione del risultato ottenuto con i flussi aziendali dei sistemi legacy di fatturazione.

Presentazione progetto:

Linkalab grazie alle competenze nelle tecnologie BigData Open Source, come Hadoop e Spark, e alle competenze nello sviluppo di componenti architetturali basate su piattaforme Cloud (AWS), ha realizzato la progettazione e la messa in opera del nuovo Data Lake di SIAE, Sofia. La realizzazione del progetto Sofia, è risultato strategico per la gestione dell'identificazione delle opere musicali di SIAE. Grazie ad esso, Linkalab ha permesso di raggiungere lo scopo finale di automatizzazione del processo di studio dei report di utilizzo delle opere musicali, filmiche e teatrali incrementando la precisione nella indentificazione delle stesse.

Il progetto è consistito nella gestione degli stream online di SIAE per i quali si prevedeva una prima fase di normalizzazione ed enhancement dei data warehouse esistenti per passare alla fase di elaborazione vera e propria di decodifica, interpretazione e connessione finale con i flussi aziendali dei sistemi legacy di fatturazione.

Grazie alle ricerche svolte negli anni dal laboratorio, è stato possibile realizzare la gestione dei dati in un unico repository centralizzato ed eliminare, ovunque fosse possibile, la manualità dei processi con la riprogettazione dei singoli step e la messa a fattor comune dei dati ottenuti.

Gli strumenti di dashboarding e reporting, interamente progettati e realizzati dal laboratorio, sulla base delle esigenze e richieste del cliente, hanno concesso inoltre alla società di avere accesso ad un'interfaccia intuitiva per l’analisi dell’andamento delle elaborazioni ed il potenziamento delle stesse.

Risultati ottenuti Data Lake Sofia:

-Gestione dei dati in un unico repository centralizzato

-Eliminazione della manualità nei processi di computazione ovunque fosse possibile

-Miglioraramento dei processi attraverso la ridisegnazione e ottimizzandone dei singoli step posti a fattor comune

-Automatizzazione delle interfacce con i sistemi terzi quali quello delegato alla "Codifica Automatica"

-Fornitura di dashboarding e reporting che potessero permettere al business di avere contezza dell'andamento delle elaborazioni e di eventuali possibilità di miglioramento del processo