Data Mesh e i suoi 4 principi: una panoramica sull’approccio sociotecnico

Nelle aziende non si può non parlare di dati e non si può mettere in secondo piano la loro gestione. In un mercato sempre più complesso, in cui i volumi di dati aumentano ogni giorno di più, le strutture di dati tradizionali non sono più adatte per molte organizzazioni, soprattutto per gli ecosistemi digitali. Ecco che Data Mesh potrebbe essere la soluzione. Approfondiamo tale approccio architetturale e sociotecnico per la gestione dei dati e i suoi quattro principi.

Perché oggi i dati sono una delle risorse più importanti?

I dati sono una risorsa che permettono di

• migliorare i prodotti
• ottimizzare le operazioni
• comprendere le esigenze i clienti
• compiere decisioni basate su fatti concreti

La complessità e il volume dei dati stanno rendendo la loro gestione difficile.
Le strutture di gestione dei dati tradizionali, come i data warehouse centralizzati, stanno risentendo della pressione di queste sfide e non sono più in grado di tenere il passo con l’evoluzione delle esigenze delle aziende, con conseguenti ritardi nello sviluppo, problemi di scalabilità, silos di dati e mancanza di agilità.
Da qui, si fa strada il concetto di Data Mesh.

Cos’è Data Mesh?

Il termine è stato coniato da Zahamk Dehghani nel 2019. Nel suo libro Data Mesh: di fatto propone un approccio architetturale per la gestione e l’organizzazione dei dati su scala aziendale. Si basa sull’idea di trattare i dati come un prodotto, con team di dati dedicati e responsabili per aree o domini specifici dell’azienda. 

Il Data Mesh promuove un modello decentralizzato, quindi al posto di un singolo data warehouse, l’approccio suggerisce di avere molteplici “mesh” di dati, ciascuno gestito da un team di dominio specifico. In pratica, scompone i dati in “mesh” o nodi distribuiti, permettendo un più alto grado di scalabilità e flessibilità rispetto ai tradizionali modelli centralizzati. Promuove la governance decentralizzata dei dati, l’autonomia dei team e l’utilizzo di tecnologie cloud native per il trattamento dei dati.

I 4 principi del Data Mesh

Nel suo libro, Dehghani delinea quattro principi fondamentali.

1. Domain-Oriented Decentralized Data Ownership and Architecture

La gestione dei dati dovrebbe essere affidata a team responsabili di specifici domini di business. Quindi la responsabilità viene spostata verso team di dati di dominio piuttosto che quelli centralizzati.

2. Data as a Product

I dati sono prodotti, con i team di dati sono responsabili della qualità dei dati, della governance, della privacy e della sicurezza.

3. Self-Serve Data Infrastructure as a Platform

Avere un’infrastruttura dati che consente a tutti i team di utilizzare autonomamente i dati secondo le proprie esigenze facilita l’accesso ai dati, aumentando l’agilità e l’innovazione.

4. Federated Computational Governance

La governance dei dati è distribuita tra i diversi team di dati facilitando la conformità alle normative, la sicurezza dei dati e la responsabilità. 

Data Mesh e DDD: una differenza fondamentale

Il Data Mesh e il Domain-Driven Design (DDD) sono entrambi approcci rivoluzionari nella gestione dei dati, ma c’è una differenza fondamentale tra i due.

Il Domain-Driven Design è un approccio alla progettazione del software che si concentra sui “domini” all’interno di un’organizzazione. DDD ha l’obiettivo di creare sistemi software che riflettano la complessità e l’interconnessione di questi domini, utilizzando un linguaggio comune tra sviluppatori ed esperti del dominio.

Il Data Mesh estende questo concetto al campo dei dati. Mentre DDD si concentra sulla progettazione del software, il Data Mesh si concentra sulla gestione dei dati. Infatti, quest’ultimo si preoccupa di come i dati vengono generati, gestiti e utilizzati all’interno di ciascun dominio.

In sostanza, applica il concetto di responsabilità di dominio dei dati distribuiti attraverso l’organizzazione, con i team di dominio che diventano responsabili della gestione dei dati correlati alle loro aree di competenza.

Questa decentralizzazione è voluta per risolvere problemi come la latenza, la difficoltà di manutenzione e le limitazioni di scalabilità che affliggono le architetture di dati tradizionali.

Un approccio sociotecnico

L’adozione del Data Mesh richiede anche un cambiamento culturale all’interno delle organizzazioni. È necessario favorire una mentalità di collaborazione tra i team, promuovendo la responsabilizzazione dei team di dominio per la gestione dei dati e implementare una governance efficace.

Per questo si parla di approccio “sociotecnico”, perché accanto agli aspetti tecnologici, anche la componente organizzativa e “sociale” dell’azienda diventa cruciale per la sua implementazione.

Data Mesh come soluzione

Alla luce delle sfide sempre crescenti che le aziende devono affrontare nella gestione dei dati, l’approccio trattato si presenta come una soluzione promettente. Implementare i principi visti sopra richiede un impegno e una comprensione approfondita, ma può portare a una trasformazione significativa nella gestione dei dati e nella crescita delle aziende nell’era digitale.

Risorse

Articolo “Una panoramica sull’approccio dei dati” su Mokabyte

Zhamak Dehghani, Data Mesh: Delivering Data-Driven Value at Scale. O’Reilly Media, 2022

 Joydeep Ghosh, Data Mesh: A Paradigm Shift in Data Platform Architecture. Medium, 2020

Benjamin McIlroy et al. Beyond the Data Lake: An Introduction to the Data Mesh. ThoughtWorks Technology Radar, 2020

Denise Chen, The Rise of Data Mesh: Managing Data at Scale. Harvard Business Review, 2021

Raj Baburajan, Data Mesh: The Next Evolution in Data Architecture. Towards Data Science, 2021