Quale piattaforma è adatta a te?
AWS è il principale provider mondiale di cloud pubblico e privato. Come parte del suo portafoglio di elaborazione di big data, AWS ha sviluppato Glue e Amazon EMR. AWS Glue è uno strumento ETL (estrazione, trasformazione e caricamento) che consente agli scienziati dei dati di manipolare e spostare i dati su Amazon S3.
Amazon EMR, abbreviazione di Amazon Elastic MapReduce, è una piattaforma di elaborazione big data, flussi di dati in tempo reale, query SQL e apprendimento automatico. EMR può essere utilizzato per eseguire e scalare cluster Apache Spark, tra gli altri motori big data.
Anche se entrambi gli strumenti offrono capacità ETL, la scelta dipenderà in gran parte dalla tua infrastruttura attuale." Esploriamo AWS Glue vs. EMR in modo che tu possa decidere se utilizzare entrambe le piattaforme in parallelo o sceglierne una è la scelta giusta per la tua attività.
Che cos'è AWS Glue?
AWS Glue è un servizio serverless per l'integrazione dei dati nel cloud AWS. La piattaforma mira ad aiutare gli analisti di dati a scoprire dati da diverse fonti, preparare i dati in più formati e schemi e combinare set di dati utilizzando la mappatura dei dati. AWS Glue funziona con una gamma di archivi dati come database, data lake e fonti di data warehouse.data warehouse.
Il servizio riduce la complessità dei flussi di lavoro ETL grazie a interfacce visive per utenti non tecnici, affiancate da interfacce basate su codice per utenti avanzati. Tutti i metadati per AWS Glue sono archiviati nell'AWS Glue Data Catalog, il che significa che qualsiasi utente può trovare e accedere ai set di dati pertinenti.
Che cos'è Amazon EMR?
Amazon Elastic MapReduce (EMR)è una piattaforma per l'elaborazione di big data. Supporta lo streaming di dati in tempo reale per carichi di lavoro di intelligenza artificiale e machine learning tramite Apache Spark e altri motori di analisi. Ciò è reso possibile da pipeline di dati scalabili che estraggono i dati dalla fonte e li consegnano alla destinazione. Analisi predittive su larga scala e modelli statistici in EMR possono anche essere utilizzati per aiutare a scoprire tendenze e correlazioni.
I vantaggi di EMR includono scalabilità a livello di petabyte a metà del costo di on-premise e tempi di acquisizione delle informazioni fino a due volte più rapidi per i carichi di lavoro di analisi. EMR Studio permette di creare pipeline di dati, visualizzare flussi di dati ed eseguire query SQL.
Confronto tra AWS Glue ed EMR
AWS Glue ed EMR sono entrambi in grado di abilitare processi e flussi di lavoro ETL. Tuttavia, ci sono alcune differenze fondamentali nel modo in cui operano i due servizi.
Servizi senza server vs. servizi gestiti
AWS Glue è una piattaforma serverless per l'integrazione dei dati che gestisce l'infrastruttura, le opzioni di configurazione e l'impostazione. AWS Glue è una piattaforma di integrazione dati serverless che gestisce l'infrastruttura, le opzioni di configurazione e l'impostazione. Può funzionare con formati di dati strutturati e semi-strutturati per dedurre automaticamente i riferimenti di schema.
Amazon EMR è un overlay di servizi gestiti per infrastrutture autoconfigurate, come istanze o cluster Amazon EC2. EMR offre anche un'opzione serverless dedicata. EMR supporta componenti dell'ecosistema Apache Hadoop come Spark, Hive, HBase e Presto, con archiviazione dati in Amazon Athena, Amazon Redshift e altre soluzioni di analisi big data.
In sintesi, AWS Glue è una piattaforma ETL scalabile e di facile configurazione e utilizzo. Tuttavia, la facilità d'uso comporta alcune limitazioni, rendendolo più adatto a lavori con requisiti infrastrutturali flessibili. Amazon EMR ha un set di funzionalità molto più ricco, tra cui la compatibilità con l'hosting dei componenti Hadoop, le librerie di apprendimento automatico TensorFlow e le query SQL Presto. Glue è adatta a flussi di lavoro ETL e di integrazione dei dati più semplici, mentre EMR è una piattaforma di servizi gestiti per le operazioni sui dati più completa .
Spese, costi operativi e prezzi
Come per molti servizi cloud, più funzionalità sono incluse out of the box, maggiore sarà il costo. AWS Glue è una piattaforma serverless, il che significa che puoi ignorare la distribuzione e la configurazione dell'infrastruttura per concentrarti sui flussi di lavoro ETL.
EMR attinge alle fonti di dati esistenti per facilitare le query SQL, lo streaming di dati e altri processi ETL. Ciò si traduce in costi inferiori, poiché l'onere di distribuzione e configurazione dei dati è tuo. Questi costi inferiori possono essere compensati pagando i dipendenti per configurare e distribuire EMR e le spese operative aggiuntive per ogni servizio AWS di accompagnamento.
Puoi confrontare il costo di ciascun servizio in base al caso d'uso previsto con l' AWS Pricing Calculator.
Limitazioni delle prestazioni
Ad aprile 2022, il tipo di worker più grande di AWS Glue è G.2X. Questo ha un limite massimo di 32 GB di memoria dell'esecutore, il che significa che la decompressione di file altamente compressi può portare a errori di "memoria esaurita". Mentre EMR può utilizzare qualsiasi tipo di istanza AWS, consentendo allocazioni di RAM molto più grandi fino a 24 Tebibyte (TiB).
Casi d'uso e scenari per AWS Glue ed EMR
Per coloro che archiviano dati su larga scala nel cloud, è utile utilizzare motori di elaborazione distribuita, database cloud-native e data warehouse. Amazon EMR e AWS Glue sono due servizi che le organizzazioni possono utilizzare per raggiungere questo obiettivo. Esploriamo altri due scenari in cui i lavori Glue o EMR potrebbero essere più adatti all'utilizzo separato.
Nuovo flusso di lavoro dei dati, ambiente di test o sandbox
Se stai testando un flusso di lavoro dati completamente nuovo, AWS Glue potrebbe essere un'opzione migliore. Ti consente di saltare la configurazione e l'implementazione dell'infrastruttura e di eseguire semplicemente un flusso di lavoro dati. La natura pay-as-you-go (PAYG) di Glue comporta un rischio minimo di spese inutili.
La configurazione di un cluster EMR per ambienti di test e flussi di lavoro una tantum aumenterebbe lo sforzo con scarsi benefici per l'azienda. L'unico problema sarebbe la compatibilità di Glue con la fonte dati. Al contrario, EMR offre maggiore flessibilità utilizzando tutti i tipi di istanza AWS.
Elaborazione di Big Data e apprendimento automatico
Per l'elaborazione di big data o carichi di lavoro di machine learning, EMR potrebbe essere un'opzione migliore grazie alla sua flessibilità. Può gestire in modo sicuro e affidabile machine learning, deep learning, data ETL e analisi di streaming in tempo reale.
Glue è più focalizzato sulle azioni di estrazione, trasformazione e caricamento (ETL). Può eseguire trasformazioni di apprendimento automatico ma ha molte limitazioni per l'analisi di streaming in tempo reale a causa di finestre di elaborazione e scrittura che durano 100 secondi. Il rilevamento di Glue Schema disabilita anche le azioni di unione dei dati in streaming, con solo le trasformazioni Glue integrate o le trasformazioni Apache Spark Structured Streaming supportate.
Riepilogo di AWS Glue vs. EMR
AWS Glue e Amazon EMR sono piattaforme simili che si differenziano per semplicità e flessibilità. AWS Glue è un modo rapido e poco impegnativo per eseguire lavori ETL nel cloud. EMR è una soluzione di elaborazione big data più robusta e ricca di funzionalità che abilita ETL insieme allo streaming di dati in tempo reale per carichi di lavoro ML utilizzando l'infrastruttura esistente. La flessibilità di EMR comporta un onere di gestione, ma spesso si traduce in una spesa inferiore rispetto a Glue, grazie all'eliminazione di funzionalità serverless.
In definitiva, Amazon EMR è adatto a operazioni di dati su piccola e larga scala, mentre Glue è molto più ad hoc e adatto a piccoli lavori in batch. Tuttavia, poiché servono a scopi diversi, potresti ritrovarti a usare entrambi gli strumenti: Glue per attività ad hoc che vuoi avviare rapidamente ed EMR per lavori di elaborazione dati distribuiti su larga scala e a lungo termine.
Vuoi saperne di più sulla migrazione ETL?
Scopri come Trianz riduce fino al 50% i tempi di migrazione dai database legacy e dagli strumenti ETL esistenti ad AWS Glue.
