Integrare e trasformare dati con Azure Data Factory
Con l'avvento del cloud gli applicativi, le loro funzionalità e il loro utilizzo si è amplificato a dismisura. Di conseguenza anche i dati sono diventati sempre di più, grazie anche al fatto che la loro memorizzazione è sempre più economica e alla portata di tutti, soprattutto nella loro gestione. I big data, quindi, rappresentano una nuova risorsa, che da una parte bisogna saper gestire, dall'altra anche interpretare. E' normale quindi trovarsi di fronte ad esigenze vecchie come l'informatica stessa, come l'estrapolazione e la trasformazione di questi dati, e di necessitare di un ETL (extract, transform, load). Questo strumento però, deve considerare l'enorme disomogeneità di fonte dati e tipologie di database, e allo stesso tempo poter processare GB o TB di dati.
Azure Data Factory è l'implementazione di Microsoft Azure che raccoglie tutte queste esigenze offrendole come PaaS, il tutto basandosi su Apache Spark, un motore consolidato e ampiamento utilizzato. Possiamo quindi scalare facilmente, a seconda della quantità di dati da processare, e pagare solo lo stretto necessario dovuto all'elaborazione. In questo articolo vogliamo quindi introdurre questo servizio e affrontare le sue caratteristiche principali, per capire come riuscire a processare i nostri dati.
Introduzione
Come ogni servizio della piattaforma Microsoft Azure, anche Data Factory necessita di creare un'istanza in una delle regioni disponibili. Poco ci viene chiesto, come il classico nome o i requisiti di rete.
Di particolare, però, ci viene chiesto se vogliamo integrare un repository Git, in modo da gestire gli elementi di configurazione delle trasformazioni attraverso file JSON persistiti su un repository e beneficiando di caratteristiche come la history e le branch.
Possiamo effettuare questa configurazione anche successivamente. Creata l'istanza, il pannello Azure ci permette solamente di monitorare utilizzo e prestazioni. Il tutto è infatti demandato all'Azure Data Factory Studio, un ambiente web di disegno dei nostri ETL.
Si apre così un nuovo ambiente dedicato al disegno, al monitoraggio e alla gestione della nostra istanza.
Il motore si compone di alcuni concetti basilari che permettono poi di operare. Le pipeline sono il cuore di esso e definiscono le attività da svolgere, come caricare, processare o scrivere dati. I dataflow hanno il compito di ricevere input e output da leggere o scrivere all'interno di dataset. Vengono attivate da trigger che possono essere temporali o in base ad un input, ed eseguite all'interno di runtime che definiscono la capacità, in termini di CPU e RAM disponibile. Questi concetti chiave sono la base per partire e definire i nostri processi, ma prima di tutto è necessario configurare l'ambiente.
Contenuti dell'articolo
Commenti
Per inserire un commento, devi avere un account.
Fai il login e torna a questa pagina, oppure registrati alla nostra community.
Approfondimenti
Visualizzare le change sul plan di Terraform tramite le GitHub Actions
Migliorare la scalabilità delle Azure Function con il Flex Consumption
Miglioramenti agli screen reader e al contrasto in Angular
Generare velocemente pagine CRUD in Blazor con QuickGrid
Creare una custom property in GitHub
Generare HTML a runtime a partire da un componente Razor in ASP.NET Core
Come migrare da una form non tipizzata a una form tipizzata in Angular
Evitare (o ridurre) il repo-jacking sulle GitHub Actions
Esportare ed analizzare le issue di GitHub con la CLI e GraphQL
Migrate and Modernize your .NET Applications on Azure
Utilizzare un service principal per accedere a Azure Container Registry
Utilizzare Azure AI Studio per testare i modelli AI
Top Ten Articoli
- Realizzare una Progressive Web Application con Blazor e ASP.NET Core
di Giampaolo Tucci - Gestire le chiamate a servizi esterni in ASP.NET Core e Blazor tramite Polly
di Morgan Pizzini - Usare gRPC come infrastruttura per i nostri servizi web
di Morgan Pizzini - Abilitare e gestire il prerendering nelle applicazioni Blazor WebAssembly
di Marco De Sanctis - Creare API GraphQL con ASP.NET Core e HotChocolate
di Moreno Gentili - Le novità di Blazor in .NET 6.0
di Morgan Pizzini - Blazor e il pattern Model-View-ViewModel
di Giampaolo Tucci - Le novità in ASP.NET Core e Blazor con .NET 7
di Morgan Pizzini - Introduzione a Blazor WebAssembly
di Marco De Sanctis, Moreno Gentili - Le novità di ASP.NET Core 5
di Marco De Sanctis
Articoli via e-mail
Iscriviti alla nostra newsletter nuoviarticoli per ricevere via e-mail le notifiche!
In primo piano
I più letti di oggi
In evidenza
- Eseguire script pre e post esecuzione di un workflow di GitHub
- Creare una libreria CSS universale: Cards
- Migliorare l'organizzazione delle risorse con Azure Policy
- Effettuare il log delle chiamate a function di GPT in ASP.NET Web API
- Leggere la posta usando il protocollo IMAP tramite la libreria MailKit
- Eseguire una ricerca avanzata per recuperare le issue di GitHub
- Creare una libreria CSS universale: Clip-path
- Sfruttare gli embedding e la ricerca vettoriale con Azure SQL Database