Konsep pertanyaan bersekutu bukanlah perkara baharu. Facebook PrestoDB mempopularkan idea enjin pertanyaan bahasa pertanyaan berstruktur (SQL) teragih pada tahun 2013.
Selama bertahun-tahun, AWS, Google, Microsoft dan banyak lagi dalam industri telah mempercepatkan penggunaan model enjin pertanyaan teragih dalam produk mereka. Sebagai contoh, AWS membangunkan Amazon Athena di atas asas kod Presto, manakala BigQuery Google adalah berdasarkan Cloud SQL.
Organisasi menyimpan data mereka dalam beberapa pangkalan data dan sistem storan, seperti pangkalan data hubungan (MySQL, SQL Server, Postgres) dan sistem storan objek (S3, HDFS) untuk menyimpan sejumlah besar data pada kadar yang lebih murah. Organisasi sering menghadapi cabaran untuk dapat mengakses data yang betul dengan cepat pada masa yang sesuai.
Presto memudahkan ini dengan mendayakan pertanyaan pangkalan data hubungan dan bukan hubungan serta stor objek - atau sumber yang berbeza seperti yang anda boleh panggil secara kolektif - melalui SQL, membolehkan akses lebih mudah kepada data daripada alat BI dan juga kod organisasi sendiri.
Memudahkan akses kepada data daripada berbilang sumber dalam satu pertanyaan, dan itu terlalu pantas adalah perkara yang sangat revolusioner tentang Persekutuan Pertanyaan. Ini kerana penyatuan data daripada sumber yang berbeza dahulunya merupakan proses yang panjang dan membosankan. Anda memerlukan proses Extract, Transform, Load (ETL) untuk menyatukan data ke dalam format yang dikongsi.
Tetapi alat ETL biasanya tidak dianggap sesuai oleh pakar komuniti jika anda mencari akses data hampir masa nyata atau atas permintaan. Mereka direka bentuk untuk mod kumpulan berfungsi di mana arahan dibaca dan bertindak sebagai kumpulan tanpa campur tangan pengguna. ETL lebih sesuai untuk data yang stabil dan berubah perlahan. Selain itu, ETL tidak boleh diakses oleh analitik data dan pengguna perniagaan secara langsung.
Faedah pertanyaan bersekutu adalah besar berbanding pendekatan pertanyaan tradisional penyelesaian pangkalan data lain. Berikut adalah beberapa:
Tidak perlu untuk pengguna mengingati kelayakan atau log masuk ke pangkalan data individu kerana semuanya terpusat dalam perkhidmatan pertanyaan bersekutu. Ini membolehkan akses bersatu kepada data merentas semua jenis sumber dan persekitaran IT.
Pertanyaan bersekutu memudahkan saintis data dan penganalisis menganalisis data kerana alatan ETL tradisional lebih ditujukan kepada pembangun dan pengekod yang memahami bahasa pangkalan data.
Pertanyaan bersekutu biasanya dioptimumkan sebelum pelaksanaan, membolehkan ratusan pertanyaan pengguna diseimbangkan beban dan dinyahduakan dalam masa nyata. Ini membawa kepada daya pemprosesan yang lebih tinggi dan mengurangkan kos apabila menggunakan analitik lanjutan atau alat risikan perniagaan, mempromosikan pembuatan keputusan berasaskan data.
Kelebihan terbesar ialah pengguna tidak perlu mengetahui pertanyaan atau bahasa data khusus untuk setiap pangkalan data. Penukaran Bahasa Definisi Data Automatik (DDL) dalam pertanyaan bersekutu membolehkan sesiapa sahaja melakukan pertanyaan pada semua sumber data.
Kajian menyeluruh kami tentang transformasi digital mendapati bahawa lebih 90% pemimpin IT dan data merancang untuk menggunakan sama ada seni bina awan berbilang awan atau hibrid. Oleh itu, aplikasi dan data sangat tidak mungkin disatukan pada satu platform awan - sama ada AWS, Azure, GCP, IBM atau persekitaran maya peribadi anda.
Ini bermakna data akan semakin diedarkan merentas sumber data dan menjadi sukar untuk diurus. Walaupun tasik data adalah satu penyelesaian yang diingini, menyatukan semua data perusahaan ke dalam tasik dan mengemas kini secara berterusan ia boleh menjadi mahal.
Mencari cara terpantas untuk menganalisis data yang disimpan dalam Amazon S3?
Pengguna hanya menunjuk Athena pada data yang disimpan dalam baldi S3 mereka, mengenal pasti medan mereka, menjalankan pertanyaan dan mendapatkan kembali hasil dalam beberapa saat.
Platform Athena baharu Amazon menggunakan pertanyaan bersekutu yang membolehkan pertanyaan SQL pantas dan mudah merentas data yang disimpan dalam beberapa sumber data relasi, bukan hubungan, objek dan tersuai. Menggunakan penyambung sumber data yang dijalankan pada AWS Lambda, saintis data, jurutera dan penganalisis boleh menganalisis data daripada berbilang sumber yang dijalankan di premis atau awan dengan satu pertanyaan SQL.
Trianz telah membina sambungan Athena Federated Query (AFQ) di atas platform Athena untuk memudahkan BI dan memudahkan analitik sumber merentas data. Sambungan ini biasanya mengimbas data daripada S3 dan melaksanakan penyambung berasaskan Lambda untuk membaca data daripada Teradata di hadapan, Amazon Redshift, Google BigQuery dan SAP HANA.
Dengan ekosistem lengkap penyambung Trianz dan AWS AFQ, anda boleh menghasilkan analitik dan visualisasi hibrid/berbilang awan tanpa memindahkan atau menyatukan data anda. Pustaka gabungan penyambung AFQ boleh menarik data daripada mana-mana sumber dalam perusahaan anda atau platform awan lain seperti Azure atau GCP.
Penyambung AFQ kami telah diuji dan dicuba oleh Amazon dan organisasi data yang besar dan kompleks dalam syarikat Fortune 1000. Kuasa Athena adalah untuk membenarkan pengguna teknikal dan bukan teknikal menjana visualisasi yang kaya dan berkuasa dengan pertanyaan mudah, dan menjimatkan masa dan sumber dalam jangka masa panjang.