Liefern Sie sofort aussagekräftige Erkenntnisse mit Federated
Abfragen – egal, wo sich Ihre Daten befinden
Das Konzept föderierter Abfragen ist nicht neu. Facebook PrestoDB machte die Idee verteilter Abfrage-Engines mit strukturierter Abfragesprache (SQL) im Jahr 2013 populär.
Im Laufe der Jahre haben AWS, Google, Microsoft und viele andere in der Branche die Einführung eines verteilten Abfrage-Engine-Modells in ihren Produkten beschleunigt. Beispielsweise hat AWS Amazon Athena auf der Grundlage der Presto-Codebasis entwickelt, während Googles BigQuery auf Cloud SQL basiert.
Was ist der ganze Wirbel um Query Federation?
Organisationen speichern ihre Daten in verschiedenen Datenbank- und Speichersystemen, wie relationalen Datenbanken (MySQL, SQL Server, Postgres) und Objektspeichersystemen (S3, HDFS), um große Datenmengen kostengünstiger zu speichern. Organisationen stehen oft vor der Herausforderung, schnell und zum richtigen Zeitpunkt auf die richtigen Daten zugreifen zu können.
Presto vereinfachte dies, indem es die Abfrage relationaler und nicht relationaler Datenbanken und Objektspeicher – oder unterschiedlicher Quellen, wie man sie zusammenfassend nennen kann – über SQL ermöglichte und so einen einfacheren Zugriff auf Daten aus BI-Tools und sogar dem eigenen Code von Organisationen gestattete.
Das Revolutionäre an Query Federation ist, dass es den Zugriff auf Daten aus mehreren Quellen in einer einzigen Abfrage ermöglicht, und das auch noch so schnell. Das liegt daran, dass die Konsolidierung von Daten aus verschiedenen Quellen früher ein langer, mühsamer Prozess war. Sie benötigen ETL-Prozesse (Extract, Transform, Load), um Daten in einem gemeinsamen Format zusammenzuführen.
Aber ETL-Tools werden von den Experten der Community im Allgemeinen nicht als geeignet angesehen, wenn Sie nach nahezu Echtzeit- oder On-Demand-Datenzugriff suchen. Sie wurden für einen Batch-Arbeitsmodus entwickelt, bei dem Befehle ohne Benutzereingriff als Batch gelesen und verarbeitet werden. ETL war eher für etablierte, sich langsam ändernde Daten geeignet. Außerdem ist ETL für Datenanalytiker und Geschäftsbenutzer nicht direkt zugänglich.
Vorteile föderierter Abfragen
Die Vorteile föderierter Abfragen sind im Vergleich zu den herkömmlichen Abfrageansätzen anderer Datenbanklösungen enorm. Hier sind einige davon:
Benutzer müssen sich keine Anmeldeinformationen merken oder sich bei einzelnen Datenbanken anmelden, da alles im föderierten Abfragedienst zentralisiert ist. Dies ermöglicht einen einheitlichen Zugriff auf Daten über alle Quelltypen und IT-Umgebungen hinweg.
Föderierte Abfragen erleichtern Datenwissenschaftlern und Analysten die Datenanalyse, da die herkömmlichen ETL-Tools eher auf Entwickler und Programmierer ausgerichtet waren, die sich mit der Datenbanksprache auskannten.
Föderierte Abfragen werden normalerweise vor der Ausführung optimiert, sodass Hunderte von Benutzerabfragen in Echtzeit ausgeglichen und Duplikate entfernt werden können. Dies führt zu einem höheren Durchsatz und senkt die Kosten bei der Verwendung erweiterter Analyse- oder Business-Intelligence-Tools und fördert datengesteuerte Entscheidungsfindung.
Der größte Vorteil besteht darin, dass die Benutzer nicht die spezifische Abfrage- oder Datensprache für jede Datenbank kennen müssen. Dank der automatischen Konvertierung in die Data Definition Language (DDL) in föderierten Abfragen kann jeder Abfragen für alle Datenquellen durchführen.
Trianz‘ Ansatz zur Abfrageföderation
Unsere umfassende Studie zu digitalen Transformationen zeigt, dass über 90 % der IT- und Datenverantwortlichen den Einsatz von Multi-Cloud- oder Hybrid-Cloud-Architekturen planen. Daher ist es höchst unwahrscheinlich, dass Anwendungen und Daten auf einer einzigen Cloud-Plattform konsolidiert werden – sei es AWS, Azure, GCP, IBM oder Ihre private virtualisierte Umgebung.
Dies bedeutet, dass Daten zunehmend über verschiedene Datenquellen verteilt werden und schwer zu verwalten sind. Obwohl Data Lakes eine wünschenswerte Lösung sind, kann die Konsolidierung aller Unternehmensdaten in einem Lake und dessen kontinuierliche Aktualisierung kostspielig sein.
Suchen Sie nach der schnellsten Möglichkeit, in Amazon S3 gespeicherte Daten zu analysieren?
Benutzer richten Athena einfach auf Daten die in ihrem S3-Bucket gespeicherten Daten, identifizieren ihre Felder, führen die Abfragen aus und erhalten in Sekundenschnelle die Ergebnisse zurück.
Die neue Athena-Plattform von Amazon verwendet föderierte Abfragen, die schnelle und einfache SQL-Abfragen für Daten ermöglichen, die in mehreren relationalen, nicht relationalen, Objekt- und benutzerdefinierten Datenquellen gespeichert sind. Mithilfe von Datenquellen-Konnektoren, die auf AWS Lambda ausgeführt werden, können Datenwissenschaftler, Ingenieure und Analysten Daten aus mehreren Quellen, die vor Ort oder in der Cloud ausgeführt werden, mit einer einzigen SQL-Abfrage analysieren.
Trianz hat auf der Athena-Plattform Athena Federated Query (AFQ)-Erweiterungen entwickelt, um BI zu vereinfachen und datenquellenübergreifende Analysen zu ermöglichen. Diese Erweiterungen scannen normalerweise Daten aus S3 und führen die Lambda-basierten Konnektoren aus, um Daten aus lokalen Teradata-, Amazon Redshift-, Google BigQuery- und SAP HANA-Systemen zu lesen.
Mit einem vollständigen Ökosystem aus Trianz- und AWS AFQ-Konnektoren können Sie Hybrid-/Multi-Cloud-Analysen und -Visualisierungen erstellen, ohne Ihre Daten migrieren oder konsolidieren zu müssen. Die kombinierte Bibliothek aus AFQ-Konnektoren kann Daten aus praktisch jeder Quelle in Ihrem Unternehmen oder anderen Cloud-Plattformen wie Azure oder GCP abrufen.
Ein Beispiel für eine föderierte Abfrage mit Trianz AFQ Extensions
Unsere AFQ-Konnektoren wurden von Amazon und großen, komplexen Datenorganisationen in Fortune 1000-Unternehmen getestet und erprobt. Die Stärke von Athena besteht darin, dass es sowohl technischen als auch nicht-technischen Benutzern ermöglicht, mit einfachen Abfragen umfangreiche, leistungsstarke Visualisierungen zu erstellen, was auf lange Sicht Zeit und Ressourcen spart.
