تقديم رؤى قوية على الفور باستخدام Federated
الاستعلامات - بغض النظر عن مكان وجود بياناتك
إن مفهوم الاستعلامات الفيدرالية ليس جديدًا. فقد قامت PrestoDB التابعة لشركة Facebook بترويج فكرة محركات الاستعلام بلغة الاستعلام الهيكلية الموزعة (SQL) في عام 2013.
على مر السنين، قامت AWS وGoogle وMicrosoft والعديد من الشركات الأخرى في الصناعة بتسريع تبني نموذج محرك الاستعلام الموزع ضمن منتجاتها. على سبيل المثال، طورت AWS Amazon Athena على قاعدة كود Presto، بينما يعتمد BigQuery من Google على Cloud SQL.
ما كل هذا الضجيج حول اتحاد الاستعلامات؟
تخزن المؤسسات بياناتها في العديد من قواعد البيانات وأنظمة التخزين، مثل قواعد البيانات العلائقية (MySQL وSQL Server وPostgres) وأنظمة تخزين الكائنات (S3 وHDFS) لتخزين كميات كبيرة من البيانات بسعر أرخص. غالبًا ما واجهت المؤسسات تحدي القدرة على الوصول بسرعة إلى البيانات الصحيحة في الوقت المناسب.
لقد قامت Presto بتبسيط هذا الأمر من خلال تمكين الاستعلام عن قواعد البيانات العلائقية وغير العلائقية ومخازن الكائنات - أو المصادر المتفرقة كما يمكنك تسميتها بشكل جماعي - عبر SQL، مما يسمح بسهولة الوصول إلى البيانات من أدوات BI وحتى التعليمات البرمجية الخاصة بالمنظمات.
إن تسهيل الوصول إلى البيانات من مصادر متعددة في استعلام واحد، وبسرعة كبيرة، هو ما يجعل عملية اتحاد الاستعلامات ثورية للغاية. وذلك لأن دمج البيانات من مصادر مختلفة كان في الماضي عملية طويلة ومملة. فأنت بحاجة إلى عمليات استخراج وتحويل وتحميل (ETL) لجمع البيانات في تنسيق مشترك.
ولكن خبراء المجتمع لا يعتبرون أدوات ETL مناسبة عادةً إذا كنت تبحث عن الوصول إلى البيانات في الوقت الفعلي تقريبًا أو عند الطلب. فقد تم تصميمها للعمل بنظام الدفعات حيث تتم قراءة الأوامر والتصرف بناءً عليها كدفعة واحدة دون تدخل المستخدم. وكانت ETL أكثر ملاءمة للبيانات الثابتة البطيئة التغير. كما أن ETL غير متاحة لمحللي البيانات ومستخدمي الأعمال بشكل مباشر.
فوائد الاستعلامات الفيدرالية
إن فوائد الاستعلامات الفيدرالية هائلة مقارنة بأساليب الاستعلام التقليدية لحلول قواعد البيانات الأخرى. وفيما يلي بعض هذه الفوائد:
لا يحتاج المستخدمون إلى تذكر بيانات الاعتماد أو تسجيل الدخول إلى قواعد بيانات فردية حيث يتم تجميع كل شيء داخل خدمة الاستعلام الفيدرالية. يتيح هذا الوصول الموحد إلى البيانات عبر جميع أنواع المصادر وبيئات تكنولوجيا المعلومات.
تجعل الاستعلامات الفيدرالية من الأسهل على علماء البيانات والمحللين تحليل البيانات حيث كانت أدوات ETL التقليدية موجهة أكثر نحو المطورين والمبرمجين الذين يفهمون لغة قاعدة البيانات.
عادةً ما يتم تحسين الاستعلامات الفيدرالية قبل تنفيذها، مما يتيح موازنة تحميل مئات الاستعلامات الخاصة بالمستخدمين وإزالة التكرارات منها في الوقت الفعلي. ويؤدي هذا إلى زيادة الإنتاجية وخفض التكاليف عند استخدام أدوات التحليلات المتقدمة أو أدوات الاستخبارات التجارية، مما يعزز اتخاذ القرارات القائمة على البيانات.
الميزة الأكبر هي أن المستخدمين لا يحتاجون إلى معرفة الاستعلام المحدد أو لغة البيانات لكل قاعدة بيانات. يتيح تحويل لغة تعريف البيانات الآلية (DDL) في الاستعلامات الفيدرالية لأي شخص إجراء استعلامات على جميع مصادر البيانات.
نهج تريانز في اتحاد الاستعلامات
توصلت دراستنا الموسعة حول التحولات الرقمية إلى أن أكثر من 90% من قادة تكنولوجيا المعلومات والبيانات يخططون لاستخدام إما هياكل سحابية متعددة أو سحابية هجينة. وبالتالي، من غير المرجح أن يتم دمج التطبيقات والبيانات على منصة سحابية واحدة - سواء كانت AWS أو Azure أو GCP أو IBM أو بيئتك الافتراضية الخاصة.
وهذا يعني أن البيانات سوف تنتشر بشكل متزايد عبر مصادر البيانات وتصبح إدارتها صعبة. وفي حين أن بحيرات البيانات تعد أحد الحلول المرغوبة، فإن دمج جميع بيانات المؤسسة في بحيرة واحدة وتحديثها باستمرار قد يكون مكلفًا.
هل تبحث عن أسرع طريقة لتحليل البيانات المخزنة في Amazon S3؟
كل ما على المستخدمين فعله هو توجيه Athena إلى البيانات المخزنة في دلو S3 الخاص بهم، وتحديد حقولهم، وتشغيل الاستعلامات، والحصول على النتائج في ثوانٍ.
تستخدم منصة Athena الجديدة من Amazon استعلامات متحدة تتيح إجراء استعلامات SQL سريعة وسهلة عبر البيانات المخزنة في العديد من مصادر البيانات العلائقية وغير العلائقية والكائنية والمخصصة. باستخدام موصلات مصدر البيانات التي تعمل على AWS Lambda، يمكن لعلماء البيانات والمهندسين والمحللين تحليل البيانات من مصادر متعددة تعمل محليًا أو في السحابة باستخدام استعلام SQL واحد.
قامت Trianz ببناء ملحقات Athena Federated Query (AFQ) على منصة Athena لتبسيط BI وتسهيل التحليلات عبر مصادر البيانات. تقوم هذه الملحقات عادةً بمسح البيانات من S3 وتنفيذ الموصلات المستندة إلى Lambda لقراءة البيانات من Teradata وAmazon Redshift وGoogle BigQuery وSAP HANA المحلية.
بفضل النظام البيئي الكامل لموصلات Trianz وAWS AFQ، يمكنك إنتاج تحليلات وتصورات سحابية مختلطة/متعددة دون الحاجة إلى ترحيل بياناتك أو دمجها. يمكن للمكتبة المجمعة لموصلات AFQ سحب البيانات من أي مصدر حرفيًا في مؤسستك أو منصات سحابية أخرى مثل Azure أو GCP.
مثال على استعلام اتحادي باستخدام ملحقات Trianz AFQ
لقد تم اختبار واختبار موصلات AFQ الخاصة بنا من قبل أمازون ومنظمات البيانات الكبيرة والمعقدة في شركات Fortune 1000. تكمن قوة Athena في السماح للمستخدمين الفنيين وغير الفنيين بإنشاء تصورات غنية وقوية باستخدام استعلامات بسيطة، وتوفير الوقت والموارد على المدى الطويل.
