Elaborare i Big Data con U-SQL e Azure Data Lake
Nei sistemi informativi moderni è presente una crescita esponenziale di dati da processare. Più un sistema evolve nel tempo e più i dati aumentano; sorge la necessità di acquisire dati da sistemi tra loro eterogenei e non strutturati; sorgono quindi problemi di acquisizione e di elaborazione a fronte di un incremento di dati da elaborare. I problemi appena descritti possono essere inseriti in un contesto definito con il nome di Big Data. Il termine descrive tutte le metodologie e tecnologie che consentono di estrarre e analizzare dati di qualsiasi tipo che devono essere processati da un sistema produttivo.
Il contesto
In Azure sono presenti diversi strumenti per l'analisi dei dati, Azure Data Lake Analytics è strumento che ci permette di analizzare dati provenienti da altri servizi presenti sul Cloud Microsoft. In particolare con Azure Data Lake possiamo utilizzare i dati presenti in altri strumenti come Data Warehouse, SQL Database, Blog Storage e così via. Come vedremo nel prossimo paragrafo, per utilizzare Azure Data Lake dovremmo sfruttare un nuovo linguaggio che unisce le competenze di sviluppatori C# e sviluppatori SQL.
Un nuovo linguaggio
Nel 2015 Microsoft affronta il problema dei Big Data creando un nuovo linguaggio denominato U-SQL e introducendo una serie di servizi Azure come Azure Data Lake. La U di U-SQL, oltre ad essere consecutiva in ordine alfabetico ai linguaggi di elaborazione dati precedenti come SQL (ANSI SQL) e T-SQL, ha un significato che definisce la natura del linguaggio stesso. U-SQL significa letteralmente Unified-SQL, e mescola i benefici di scalabilità e la familiarità del linguaggio SQL con l'espressività e la programmabilità del linguaggio C#. Il linguaggio U-SQL abilita gli sviluppatori e i data scientists a processare qualsiasi tipo di dato con un codice facilmente mantenibile e scalabile al mutare della quantità di dati in ingresso al sistema. Il linguaggio U-SQL prepara, trasforma e analizza i dati; permette allo sviluppatore di focalizzare gli sforzi sul problema e non sul come debba essere implementata la soluzione; l'infrastruttura scalabile consente di gestire i dati indipendentemente dalla quantità in esso presente. Uno dei punti di forza del linguaggio U-SQL è quello di poter riutilizzare segmenti di codice C# su più progetti, cosa che con il linguaggio SQL è di difficile applicazione.
Gli ambiti di utilizzo
Come detto in precedenza, il linguaggio U-SQL si presta bene a sistemi con alto consumo di dati. Sebbene il tema big data venga utilizzato spesso per definire qualsiasi processo che manipoli dati, sistemi come quello che stiamo descrivendo ci consentono di agire in un processo più ampio rispetto alla semplice lettura di una query da un database. Il modello di utilizzo di U-SQL elabora dati non strutturati e presenti in sorgenti dati dal formato più disparato; possiamo quindi acquisire dati da sensori, siti web, database relazionali, social e servizi presenti su Azure come Azure Stream Analytics o Azure Event Hub.
Nei casi più comuni, il dato viene elaborato dal sistema come file residente su sistemi quali Azure Blob Storage o da Azure Data Lake Storage. Il servizio Azure Data Lake fornisce una istanza SQL Server sulla quale è possibile creare database multipli in cui ospitare dati ed eseguire le elaborazioni, l'utilizzo del database è consigliato per archiviare i dati durante il processo di elaborazione e ottimizzarne l'accesso. Il servizio Azure Data Factory, potrà infine esportare dati dal servizio Azure Data Lake a sistemi esterni come Azure SQL Database o Azure SQL Datawarehouse. Il fulcro del sistema quindi risulta l'elaborazione del dato, tramite operatori SQL, come aggregazioni e filtri oppure tramite funzioni C# che vanno ad implementare logiche più o meno complesse. Infine il dato elaborato potrà essere archiviato su ulteriori file o sul sistema Azure Data Lake Storage. Possiamo trovare un ampio utilizzo dello strumento in sistemi di image processing o di shopping recommendation che possiamo trovare in numerosi siti di e-commerce.
Contenuti dell'articolo
Commenti
Per inserire un commento, devi avere un account.
Fai il login e torna a questa pagina, oppure registrati alla nostra community.
Approfondimenti
Sfruttare al massimo i topic space di Event Grid MQTT
Supportare lo HierarchyID di Sql Server in Entity Framework 8
Creare un'applicazione React e configurare Tailwind CSS
Change tracking e composition in Entity Framework
Usare i servizi di Azure OpenAI e ChatGPT in ASP.NET Core con Semantic Kernel
Code scanning e advanced security con Azure DevOps
Inference di dati strutturati da testo con Semantic Kernel e ASP.NET Core Web API
Utilizzare il nuovo modello GPT-4o con Azure OpenAI
Sostituire la GitHub Action di login su private registry
Aggiungere interattività lato server in Blazor 8
Eseguire query verso tipi non mappati in Entity Framework Core
Referenziare un @layer più alto in CSS
Top Ten Articoli
- Realizzare una Progressive Web Application con Blazor e ASP.NET Core
di Giampaolo Tucci - Gestire le chiamate a servizi esterni in ASP.NET Core e Blazor tramite Polly
di Morgan Pizzini - Usare gRPC come infrastruttura per i nostri servizi web
di Morgan Pizzini - Abilitare e gestire il prerendering nelle applicazioni Blazor WebAssembly
di Marco De Sanctis - Creare API GraphQL con ASP.NET Core e HotChocolate
di Moreno Gentili - Le novità di Blazor in .NET 6.0
di Morgan Pizzini - Blazor e il pattern Model-View-ViewModel
di Giampaolo Tucci - Le novità in ASP.NET Core e Blazor con .NET 7
di Morgan Pizzini - Introduzione a Blazor WebAssembly
di Marco De Sanctis, Moreno Gentili - Le novità di ASP.NET Core 5
di Marco De Sanctis
Articoli via e-mail
Iscriviti alla nostra newsletter nuoviarticoli per ricevere via e-mail le notifiche!
In primo piano
I più letti di oggi
In evidenza
- Eseguire script pre e post esecuzione di un workflow di GitHub
- Creare una libreria CSS universale: Cards
- Migliorare l'organizzazione delle risorse con Azure Policy
- Effettuare il log delle chiamate a function di GPT in ASP.NET Web API
- Leggere la posta usando il protocollo IMAP tramite la libreria MailKit
- Eseguire una ricerca avanzata per recuperare le issue di GitHub
- Creare una libreria CSS universale: Clip-path
- Sfruttare gli embedding e la ricerca vettoriale con Azure SQL Database