Hai Pembaca, Kali ini kita akan membahas Bagaimana Cara Memulai BigQuery? Pengertian , fitur dari Google BigQuery, dan bagaimana arsitektur Google BigQuery Tersebut.
Sebelum memulai, terimakasih sudah berkunjung ke blog ilmuprogram.com dimana blog ini berisi informasi mengenai seputar teknologi di dunia programming & konsultan IT, jangan lupa share artikel ini dan subscribed juga channel youtube kami di ILMUPROGRAM CHANNEL agar Anda tidak ketinggalan informasi terhadap teknologi terupdate masa kini.
Daftar isi
Apa Itu Google BigQuery?
Google BigQuery adalah gudang data / data Warehouse yang dimiliki perusahaan milik Google Cloud Platform untuk analitik. Google BigQuery berkinerja cukup bagus bahkan saat menganalisis data dalam jumlah besar & pemrosesan Big Data kita dengan cepat dengan menawarkan penyimpanan skala exabyte dan kueri SQL skala petabyte. Ini adalah aplikasi Software as a Service (SaaS) tanpa server yang mendukung kueri menggunakan ANSI SQL & menampung kemampuan pembelajaran mesin atau bisa juga kita sebut Machine Learning.
Fitur Fitur Google BigQuery
- Skalabilitas: Google BigQuery menawarkan skalabilitas dan performa yang konsisten menggunakan komputasi paralel yang masif dan mesin penyimpanan yang aman.
- Format yang didukung: Google BigQuery memungkinkan pengguna memuat data dalam berbagai format seperti AVRO, CSV, JSON, dll.
- AI & ML bawaan: Mendukung analisis prediktif menggunakan fitur tabel ML otomatis, antarmuka tanpa kode yang membantu mengembangkan model yang memiliki akurasi terbaik di kelasnya. Google BigQuery ML adalah fitur lain yang mendukung algoritma seperti K means, Logistic Regression, dll.
- Pemrosesan Paralel: Ini menggunakan mesin pemrosesan kueri paralel berbasis cloud yang membaca data dari ribuan disk secara bersamaan.
Memahami Arsitektur Google BigQuery
Layanan BigQuery Google mengikuti struktur empat lapis(four-layer). Lapisan pertama dikenal sebagai proyek, yang bertindak sebagai penampung tingkat atas untuk data yang ingin Anda simpan di Google Cloud Platform.
Berikut 4 Layer pada Arsitektur Google BigQuery
- Project
- Dataset
- Table
- Job
Perhatikan Gambar dibawah ini:
[1] BigQuery Projects
BigQuery Projects berfungsi sebagai penampung tingkat atas untuk data Anda. Setiap proyek memiliki nama dan id unik, yang membuat penyimpanan, pengaksesan, dan penghapusan data dari BigQuery menjadi proses yang lancar.
Untuk membuat project BigQuery bisa menggunakan script berikut ini:gcloud projects create PROJECT_ID
[2] BigQuery Datasets
BigQuery Datasets bertindak sebagai penampung untuk tabel dan view, dengan setiap set data memiliki beberapa tabel yang menyimpan data Anda. Dengan kumpulan data, Anda dapat mengelola, mengontrol, dan mengakses data Anda dari tabel dan view. Anda juga dapat mengatur izin di tingkat organisasi, proyek, dan set data.
Untuk membuat dataset BigQuery bisa menggunakan script berikut ini:bq mk test_dataset
[3] BigQuery Tables
BigQuery menyimpan data Anda dalam bentuk baris dan kolom dalam banyak tabel. Setiap tabel BigQuery mengikuti skema tertentu yang menjelaskan kolom, nama, dan tipe datanya.
Perhatikan gambar dibawah ini:
BigQuery memungkinkan pengguna membuat tiga jenis tabel yang berbeda:
- Tabel Native: Tabel ini menggunakan penyimpanan BigQuery untuk menyimpan data Anda.
- Tabel Eksternal: Tabel ini menggunakan fasilitas penyimpanan eksternal seperti Google Drive, Google Cloud Platform, dll. untuk menyimpan data Anda.
- View: Ini adalah tabel virtual yang dapat ditentukan pengguna menggunakan kueri SQL, biasanya dilakukan untuk mengontrol akses tingkat kolom.
Untuk membuat tabel pada BigQuery gunakan perintah berikut ini
bq mk
--table
--expiration 36000
--description "test table"
bigquery_project_id:test_dataset.test_table
sr_no:INT64,name:STRING,DOB:DATE
[4] BigQuery Jobs
BigQuery Jobs mengacu pada operasi yang Anda lakukan pada data Anda. Dengan BigQuery, Anda dapat melakukan empat operasi/tugas yang berbeda, yaitu memuat, membuat kueri, mengekspor, dan menyalin data yang telah Anda simpan di BigQuery. Setiap kali Anda menjalankan salah satu tugas ini, itu secara otomatis membuat job.
Untuk melihat job yang sedang aktif dapat gunakan perintah berikut ini:
ls -j project_id
Cara Akses Data Google BigQuery?
BigQuery memungkinkan pengguna untuk mengakses data mereka menggunakan berbagai perintah SQL dengan cara yang mirip dengan cara mereka mengakses data yang disimpan dalam database berbasis SQL tradisional seperti MySQL, SQL Server, Oracle, Netezza, dll. BigQuery juga memungkinkan pengguna untuk mengakses data BigQuery mereka menggunakan berbagai cara lain. seperti menggunakan perintah bq, API layanan BigQuery, menggunakan alat visualisasi seperti Google Data Studio, Looker, dll.
Berikut contoh akses data terhadap Google BigQuery Tables:
select columns_names from table_name where condition group by column_name order by column_name
Nah, itu dia penjelasan mengenai cara memulai Google BigQuery, BigQuery menyediakan fitur lengkap diantaranya dalam skalabilitas, Format yang didukung cukup lengkap, dan terdapat AI & Machine Learning bawaan dari Google BigQuery, dan terlebih lagi memiliki pemrosesan paralel sehingga data Anda bisa lebih cepat diproses oleh Google BigQuery.
Sekian artikel mengenai Cara Memulai Google BigQuery terkait pembahasan Pengertian, Fitur , Arsitektur dan cara mengakses data dari Google BigQuery, jika artikel ini bermanfaat jangan lupa share & comment dan subscribed channel youtube kami.
Semoga bermanfaat.
