Fornisci informazioni potenti all'istante con Federated
Query: indipendentemente da dove risiedono i tuoi dati
Il concetto di query federate non è nuovo. Facebook PrestoDB ha reso popolare l'idea di motori di query SQL (structured query language) distribuiti nel 2013.
Nel corso degli anni, AWS, Google, Microsoft e molti altri nel settore hanno accelerato l'adozione di un modello di motore di query distribuito nei loro prodotti. Ad esempio, AWS ha sviluppato Amazon Athena basato sul codice Presto, mentre BigQuery di Google è basato su Cloud SQL.
Perché tutto questo fermento intorno alla Query Federation?
Le organizzazioni archiviano i propri dati in diversi database e sistemi di archiviazione, come database relazionali (MySQL, SQL Server, Postgres) e sistemi di archiviazione di oggetti (S3, HDFS) per archiviare grandi quantità di dati a una tariffa più economica. Le organizzazioni hanno spesso dovuto affrontare la sfida di riuscire ad accedere rapidamente ai dati giusti al momento giusto.
Presto ha semplificato questa operazione consentendo l'interrogazione di database relazionali e non relazionali e di archivi di oggetti (o fonti diverse, come si possono chiamare collettivamente) tramite SQL, consentendo un accesso più semplice ai dati dagli strumenti di BI e persino dal codice delle organizzazioni.
Facilitare l'accesso ai dati da più fonti in un'unica query, e anche velocemente, è ciò che rende Query Federation così rivoluzionario. Questo perché consolidare i dati da fonti diverse era un processo lungo e noioso. Sono necessari processi di estrazione, trasformazione, caricamento (ETL) per riunire i dati in un formato condiviso.
Ma gli strumenti ETL in genere non sono considerati adatti dagli esperti della comunità se si cerca un accesso ai dati quasi in tempo reale o su richiesta. Sono stati progettati per una modalità di lavoro batch in cui i comandi vengono letti e gestiti come un batch senza l'intervento dell'utente. ETL era più adatto per dati consolidati e in lenta evoluzione. Inoltre, ETL non è accessibile direttamente agli utenti aziendali e di analisi dei dati.
Vantaggi delle query federate
I vantaggi delle query federate superano di gran lunga gli approcci di query tradizionali di altre soluzioni di database. Eccone alcuni:
Non c'è bisogno che gli utenti ricordino le credenziali o accedano a singoli database, poiché tutto è centralizzato all'interno del servizio di query federato. Ciò consente un accesso unificato ai dati in tutti i tipi di origine e ambienti IT.
Le query federate semplificano l'analisi dei dati da parte di analisti e scienziati dei dati, poiché gli strumenti ETL tradizionali erano più orientati verso sviluppatori e programmatori che conoscevano il linguaggio dei database.
Le query federate sono solitamente ottimizzate prima dell'esecuzione, consentendo il bilanciamento del carico e la deduplicazione in tempo reale di centinaia di query utente. Ciò comporta una maggiore produttività e riduce i costi quando si utilizzano strumenti di analisi avanzata o di business intelligence, promuovendo il processo decisionale basato sui dati.
Il vantaggio più grande è che gli utenti non hanno bisogno di conoscere la query specifica o il linguaggio dei dati per ogni database. La conversione automatizzata del linguaggio di definizione dei dati (DDL) nelle query federate consente a chiunque di eseguire query su tutte le fonti di dati.
Approccio di Trianz alla Federazione delle Query
Il nostro ampio studio sulle trasformazioni digitali rileva che oltre il 90% dei leader IT e dei dati sta pianificando di utilizzare architetture multi-cloud o cloud ibride. È quindi altamente improbabile che applicazioni e dati vengano consolidati su un'unica piattaforma cloud, che si tratti di AWS, Azure, GCP, IBM o del tuo ambiente virtualizzato privato.
Ciò significa che i dati saranno sempre più distribuiti tra le fonti di dati e diventeranno difficili da gestire. Mentre i data lake sono una soluzione desiderabile, consolidare tutti i dati aziendali in un lake e aggiornarli continuamente può essere costoso.
Cerchi il modo più veloce per analizzare i dati archiviati in Amazon S3?
Gli utenti devono semplicemente puntare Athena ai dati memorizzati nel loro bucket S3, identificare i loro campi, eseguire le query e ottenere i risultati in pochi secondi.
La nuova piattaforma Athena di Amazon utilizza query federate, consentendo query SQL rapide su dati provenienti da fonti relazionali, non relazionali, di oggetti e personalizzate. Utilizzando connettori di origine dati che vengono eseguiti su AWS Lambda, data scientist, ingegneri e analisti possono analizzare dati da più origini in esecuzione on-prem o sul cloud con una singola query SQL.
Trianz ha sviluppato estensioni estensioni Athena Federated Query (AFQ) per semplificare la BI e agevolare l'analisi su fonti di dati multiple. Le estensioni generalmente analizzano i dati da S3 ed eseguono i connettori basati su Lambda per leggere i dati da Teradata on-prem, Amazon Redshift, Google BigQuery e SAP HANA.
Grazie a un ecosistema completo di connettori Trianz e AWS AFQ, puoi eseguire analisi e visualizzazioni multi-cloud senza la necessità di migrare o consolidare i dati. La libreria combinata di connettori AFQ può estrarre dati da letteralmente qualsiasi fonte nella tua azienda o altre piattaforme cloud come Azure o GCP.
Un esempio di query federata utilizzando le estensioni AFQ di Trianz
I nostri connettori AFQ sono stati testati e provati da Amazon e da grandi e complesse organizzazioni di dati in aziende Fortune 1000. Athena consente sia agli utenti tecnici che non tecnici di creare visualizzazioni potenti con semplici query, risparmiando tempo e risorse nel lungo periodo.
