Demo sul data mesh: abbattere i silos di dati con il Marketplace interno

Il data mesh ha guadagnato terreno negli ultimi anni, spinto dalla promessa di ridurre il carico di lavoro dei team dati centralizzati eliminando i colli di bottiglia, scalando la gestione dei dati e accelerando il time to value dai dati. Per coloro che non sono ancora saltati sul carro, il data mesh è un approccio sociotecnico che enfatizza la proprietà decentralizzata dei dati e il trattamento dei dati come prodotto, reso possibile da un’infrastruttura dati self-service. Mira ad affrontare le sfide legate alla scalabilità della gestione, dell’accesso e della condivisione dei dati a fronte di un costante aumento delle fonti di dati e dei consumatori. 

Matthias Nicola, esperto di data mesh, ha guidato numerosi clienti Snowflake nell’esplorazione, costruzione e gestione delle architetture data mesh. Queste iniziative gli hanno fornito una prospettiva unica sulla natura convincente del data mesh sia come architettura tecnica che come approccio organizzativo. In questo articolo, riassumeremo i punti salienti del nostro recente webinar demo sul data mesh, in cui Matthias ha parlato del potenziale del data mesh di trasformare le aziende e delle soluzioni Snowflake, incluso il Marketplace interno, per mostrare come possono consentire alla tua organizzazione di condividere data product documentati e governati tra business unit. Anche se il data mesh è soggetto a importanti considerazioni organizzative, questo webinar si è concentrato sulle funzionalità della piattaforma dati per la gestione dei data product.

Il dilemma dei dati: perché gli approcci tradizionali sono insufficienti 

I tradizionali team di gestione centralizzata dei dati spesso non riescono a tenere il passo con l’eterno backlog delle richieste di dati. Questo determina colli di bottiglia, che ostacolano la capacità di un’azienda di scalare e adattarsi alle mutevoli esigenze di dati della sua attività. Inoltre, i team centrali lottano con la mancanza di conoscenza del dominio (in marketing, prodotti, vendite e altre business unit), che causa ritardi nella fornitura dei dati giusti ai giusti data consumer. Ciascuno di questi ostacoli rallenta i team, la collaborazione sui dati ne risente, allungando il time to value e riducendo l’agilità dei dati. 

Soluzioni Snowflake: le funzionalità chiave per il successo del data mesh 

Per superare queste sfide, molte aziende lungimiranti stanno adottando un approccio data mesh per ridurre i colli di bottiglia organizzativi e le limitazioni della tradizionale gestione centralizzata dei dati. L’architettura data mesh offre il potenziale per un approccio più agile e scalabile alla gestione dei dati, fornendo ai team una maggiore autonomia e una condivisione dei dati trasparente. 

I quattro principi chiave di un data mesh sono governance federata, proprietà e architettura incentrate sul dominio, dati come prodotto e infrastruttura self-service. 

La piattaforma Snowflake offre soluzioni e funzionalità allineate ai principi del data mesh, tra cui:   

• Governance federata: offre alle organizzazioni solide funzionalità di governance, disponibili tramite Snowflake Horizon Catalog, per controllare l’accesso, monitorare l’utilizzo e applicare i criteri di sicurezza in modo coerente su domini e ambienti diversi.  

• Proprietà incentrata sul dominio: l’architettura multi-cloud distribuita di Snowflake supporta la proprietà incentrata sul dominio fornendo ambienti separati per i diversi domini. Questo favorisce l’indipendenza, consentendo al contempo la collaborazione e la condivisione dei dati tra domini diversi. 

• Dati come prodotto: consente ai domini di pacchettizzare oggetti di dati, metadati e criteri di governance come data product che possono essere facilmente pubblicati e scoperti nel marketplace interno Snowflake, garantendo che data asset affidabili e di alta qualità siano prontamente accessibili. I data product in Snowflake possono includere anche data asset archiviati e gestiti all’esterno di Snowflake.

• Infrastruttura self-service: la facilità d’uso di Snowflake e l’interoperabilità con fonti esterne semplificano l’accesso ai dati e consentono ai team di operare in modo indipendente, riducendo la dipendenza dai team centrali e promuovendo una vera infrastruttura dati self-service.

Queste funzionalità forniscono la base essenziale per costruire e gestire un’architettura data mesh di successo. 

Semplificando la condivisione dei dati tra domini diversi, molte organizzazioni stanno efficacemente abbattendo i tradizionali silos di dati e promuovendo un ecosistema di dati più integrato. Snowflake aiuta organizzazioni come FlixBus, leader globale nel settore travel-tech, a realizzare appieno i vantaggi trasformativi del data mesh. FlixBus ha implementato un’architettura data mesh e sfruttato il Marketplace interno e i listing Snowflake, un metodo per pacchettizzare le informazioni con metadati, descrizioni e altro come data product. Da qui, FlixBus ha potuto condividere e mobilitare i propri dati per migliorare le operazioni che riguardano la flotta, prevedere la domanda e l’offerta, misurare le prestazioni aziendali e fornire analisi self-service. 

Sbloccare il successo del data mesh con Snowflake: domande e risposte 

Il data mesh può sembrare complesso all'inizio, ma non deve esserlo per forza. Durante questo webinar live, i partecipanti hanno espresso un forte interesse ad approfondire aspetti specifici delle implementazioni del data mesh con Snowflake. Per chiarezza e come riferimento, abbiamo raccolto le domande che hanno generato più interesse: 

D: Come posso scegliere tra un singolo account Snowflake o più account nell’architettura del data mesh?

La decisione di utilizzare un singolo account o più account Snowflake dipende in realtà dalle esigenze, dalle sfide o dai requisiti legali specifici della tua organizzazione. Alcune considerazioni utili per determinare un approccio basato su un singolo o più account includono: 

• Necessità o meno del massimo isolamento tra domini aziendali, per motivi legali o di sicurezza, con configurazioni di sicurezza separate e gestione degli utenti per dominio.

• Regioni in cui la tua organizzazione opera: lavori a livello internazionale con più aziende (team residenti in regioni come Asia, Stati Uniti o Europa)? Oppure la tua organizzazione opera in una sola regione geografica?  

• Business unit che lavorano su piattaforme cloud diverse (AWS, Google Cloud, Azure) in regioni diverse e prendono in considerazione eventuali requisiti di localizzazione. Inoltre, hai requisiti legali o di sicurezza per cloud e aree geografiche? 

Vanno inoltre considerati aspetti come la misurazione e il controllo dei costi e la possibilità di configurare la sicurezza. Alcune organizzazioni scelgono di utilizzare un singolo account perché è più semplice da gestire. Tuttavia, alcuni scelgono più account per rafforzare la privacy, supportare un più ampio set di regioni e cloud e soddisfare esigenze di sicurezza specifiche. 

Qualunque sia la tua scelta, un account o più, sappi che non c’è vendor lock-in, perché il Marketplace Snowflake funziona senza problemi con uno o più account e topologie di account in evoluzione, come illustrato nell’immagine seguente.

Leggi questo articolo per approfondire!   

D: Come posso configurare i profili di dominio?

In qualità di amministratore dell’organizzazione, puoi configurare i profili di dominio utilizzando Organization Profiles nel Marketplace interno. I profili dell’organizzazione sono normali oggetti Snowflake che puoi creare, alterare, eliminare, mostrare e utilizzare per elencare informazioni sull’origine e la proprietà dei dati. La creazione o la modifica di un profilo prende come input un file YAML contenente il nome di dominio, una descrizione e vari attributi del dominio, come le informazioni di contatto o un approvatore predefinito per le richieste ai data product. Questo aiuta a definire chiaramente la proprietà e la provenienza dei dati per promuovere la fiducia, la qualità e la struttura dei dati, rafforzando al contempo la governance in tutta l’organizzazione. 

D: Quali tipi di oggetti possono essere contenuti in un data product in Snowflake?

Un data product può contenere uno o più oggetti di varia natura, tra cui: 

• Database

• Schemi

• Tabelle

• Tabelle dinamiche

• External Tables

• Dati semi-strutturati come JSON e XML

• File e documenti non strutturati, anche se archiviati in bucket di storage esterni a Snowflake

• Tabelle Apache Iceberg™, anche se memorizzate all’esterno di Snowflake e gestite da un catalogo come AWS Glue o OneLake

• Viste

• Viste materializzate

• User Defined Function (UDF) Python

• Snowflake Native Apps

• Modelli ML

• Viste semantiche (private preview)

• Dati on-premise, se memorizzati come file in un sistema di archiviazione compatibile con S3

D: Come posso creare data product basati sulle tabelle Iceberg e Delta Lake?

Se gestisci dati al di fuori di Snowflake, ad esempio in Apache Iceberg puoi sempre rendere visibile tale tabella Iceberg in Snowflake e includerla come parte di un data product nel Marketplace interno. Ciò consente allo stesso data product di essere interoperabile con altri motori di calcolo che possono accedere agli stessi dati. 

D: La funzionalità “Chat with your data product” è attualmente in private preview. Che cos’è e come funziona?

Snowflake introduce una funzionalità innovativa che consente ai data consumer di utilizzare il linguaggio naturale per interagire con un data product. Questo richiede che il proprietario del data product includa una vista semantica nel listing, che descriva il contenuto e la struttura dei dati, come relazioni, metriche, dimensioni, commenti e sinonimi facoltativi. 

La vista semantica viene poi utilizzata da Snowflake Cortex Analyst, una funzionalità completamente gestita basata su LLM che aiuta a rispondere alle domande aziendali sulla base dei dati strutturati in Snowflake. Un data consumer può quindi interrogare il data product in modi potenti. Le query in linguaggio naturale vengono convertite automaticamente in SQL ed eseguite per generare risposte. Il codice SQL generato può essere rivisto e manipolato se lo si desidera. Il data consumer può anche porre domande a risposta aperta come “In cosa può aiutarmi questo data product?” o “Quali sono le limitazioni di questo data product?”

Webinar sul data mesh: cinque punti chiave 

Ecco i cinque punti chiave del webinar sul data mesh: 

• Il data mesh mira a risolvere i limiti della tradizionale gestione centralizzata decentralizzando la proprietà dei dati e consentendo ai domini aziendali di gestire i propri dati. La valutazione del data mesh richiede un’attenta considerazione per stabilire se l’implementazione sociotecnica e le funzionalità sono allineate con i tuoi obiettivi aziendali. 

• Snowflake fornisce una piattaforma che supporta i principi del data mesh abilitando una proprietà dei dati scalabile e governata, facilitando la condivisione dei data product e riducendo complessità e costi.   

• Il Marketplace interno Snowflake consente ai domini di pubblicare, scoprire, condividere e utilizzare data product governati all’interno dell’azienda.   

• Snowflake garantisce autonomia ai team di dominio fornendo ambienti separati con risorse di archiviazione e di calcolo proprie, facilitando al contempo la collaborazione e la condivisione dei dati tra domini diversi.   

• Snowflake aiuta a ridurre la complessità e i costi di creazione e gestione di una piattaforma dati offrendo un servizio pre-integrato e completamente gestito con un’ampia gamma di funzionalità.

• Snowflake si integra con un ampio ecosistema di strumenti e servizi che consente alle aziende di creare architetture personalizzate in base alle proprie esigenze.    

Potenziando i domini aziendali, facilitando la condivisione dei dati e riducendo la complessità, un’architettura data mesh può aiutare le organizzazioni a sbloccare il pieno potenziale dei propri dati e ottenere risultati aziendali migliori. Tuttavia, costruire e gestire un data mesh richiede una combinazione di visione, allineamento e capacità tecniche. Per avere successo dovrai avvalerti di una varietà di stakeholder, strumenti e soluzioni. La piattaforma Snowflake fornisce una base per soluzioni potente e completa alle organizzazioni impegnate in questo percorso di data mesh.