Bagaimana Cara Memulai Google BigQuery? Pengertian, Fitur , Arsitektur dan Akses Data | ILMU PROGRAMMER
Home » Bagaimana Cara Memulai Google BigQuery? Pengertian, Fitur , Arsitektur dan Akses Data

Bagaimana Cara Memulai Google BigQuery? Pengertian, Fitur , Arsitektur dan Akses Data

   

Hai Pembaca, Kali ini kita akan membahas Bagaimana Cara Memulai BigQuery? Pengertian , fitur dari Google BigQuery, dan bagaimana arsitektur Google BigQuery Tersebut.

Sebelum memulai, terimakasih sudah berkunjung ke blog ilmuprogram.com dimana blog ini berisi informasi mengenai seputar teknologi di dunia programming & konsultan IT, jangan lupa share artikel ini dan subscribed juga channel youtube kami di ILMUPROGRAM CHANNEL agar Anda tidak ketinggalan informasi terhadap teknologi terupdate masa kini.

Google bigquery
Google BigQuery

Apa Itu Google BigQuery?

Google BigQuery adalah gudang data / data Warehouse yang dimiliki perusahaan milik Google Cloud Platform untuk analitik. Google BigQuery berkinerja cukup bagus bahkan saat menganalisis data dalam jumlah besar & pemrosesan Big Data kita dengan cepat dengan menawarkan penyimpanan skala exabyte dan kueri SQL skala petabyte. Ini adalah aplikasi Software as a Service (SaaS) tanpa server yang mendukung kueri menggunakan ANSI SQL & menampung kemampuan pembelajaran mesin atau bisa juga kita sebut Machine Learning.

Fitur Fitur Google BigQuery

  • Skalabilitas: Google BigQuery menawarkan skalabilitas dan performa yang konsisten menggunakan komputasi paralel yang masif dan mesin penyimpanan yang aman.
  • Format yang didukung: Google BigQuery memungkinkan pengguna memuat data dalam berbagai format seperti AVRO, CSV, JSON, dll.
  • AI & ML bawaan: Mendukung analisis prediktif menggunakan fitur tabel ML otomatis, antarmuka tanpa kode yang membantu mengembangkan model yang memiliki akurasi terbaik di kelasnya. Google BigQuery ML adalah fitur lain yang mendukung algoritma seperti K means, Logistic Regression, dll.
  • Pemrosesan Paralel: Ini menggunakan mesin pemrosesan kueri paralel berbasis cloud yang membaca data dari ribuan disk secara bersamaan.

Memahami Arsitektur Google BigQuery

Layanan BigQuery Google mengikuti struktur empat lapis(four-layer). Lapisan pertama dikenal sebagai proyek, yang bertindak sebagai penampung tingkat atas untuk data yang ingin Anda simpan di Google Cloud Platform.
Berikut 4 Layer pada Arsitektur Google BigQuery

  • Project
  • Dataset
  • Table
  • Job

Perhatikan Gambar dibawah ini:

Arsitektur Google BigQuery

[1] BigQuery Projects
BigQuery Projects berfungsi sebagai penampung tingkat atas untuk data Anda. Setiap proyek memiliki nama dan id unik, yang membuat penyimpanan, pengaksesan, dan penghapusan data dari BigQuery menjadi proses yang lancar.
Untuk membuat project BigQuery bisa menggunakan script berikut ini:
gcloud projects create PROJECT_ID

[2] BigQuery Datasets
BigQuery Datasets bertindak sebagai penampung untuk tabel dan view, dengan setiap set data memiliki beberapa tabel yang menyimpan data Anda. Dengan kumpulan data, Anda dapat mengelola, mengontrol, dan mengakses data Anda dari tabel dan view. Anda juga dapat mengatur izin di tingkat organisasi, proyek, dan set data.
Untuk membuat dataset BigQuery bisa menggunakan script berikut ini:
bq mk test_dataset

[3] BigQuery Tables
BigQuery menyimpan data Anda dalam bentuk baris dan kolom dalam banyak tabel. Setiap tabel BigQuery mengikuti skema tertentu yang menjelaskan kolom, nama, dan tipe datanya.
Perhatikan gambar dibawah ini:

BigQuery memungkinkan pengguna membuat tiga jenis tabel yang berbeda:

  • Tabel Native: Tabel ini menggunakan penyimpanan BigQuery untuk menyimpan data Anda.
  • Tabel Eksternal: Tabel ini menggunakan fasilitas penyimpanan eksternal seperti Google Drive, Google Cloud Platform, dll. untuk menyimpan data Anda.
  • View: Ini adalah tabel virtual yang dapat ditentukan pengguna menggunakan kueri SQL, biasanya dilakukan untuk mengontrol akses tingkat kolom.

Untuk membuat tabel pada BigQuery gunakan perintah berikut ini

bq mk
--table
--expiration 36000
--description "test table"
bigquery_project_id:test_dataset.test_table
sr_no:INT64,name:STRING,DOB:DATE

[4] BigQuery Jobs
BigQuery Jobs mengacu pada operasi yang Anda lakukan pada data Anda. Dengan BigQuery, Anda dapat melakukan empat operasi/tugas yang berbeda, yaitu memuat, membuat kueri, mengekspor, dan menyalin data yang telah Anda simpan di BigQuery. Setiap kali Anda menjalankan salah satu tugas ini, itu secara otomatis membuat job.
Untuk melihat job yang sedang aktif dapat gunakan perintah berikut ini:

ls -j project_id

Cara Akses Data Google BigQuery?

BigQuery memungkinkan pengguna untuk mengakses data mereka menggunakan berbagai perintah SQL dengan cara yang mirip dengan cara mereka mengakses data yang disimpan dalam database berbasis SQL tradisional seperti MySQL, SQL Server, Oracle, Netezza, dll. BigQuery juga memungkinkan pengguna untuk mengakses data BigQuery mereka menggunakan berbagai cara lain. seperti menggunakan perintah bq, API layanan BigQuery, menggunakan alat visualisasi seperti Google Data Studio, Looker, dll.

Berikut contoh akses data terhadap Google BigQuery Tables:

   

select columns_names from table_name where condition group by column_name order by column_name

Nah, itu dia penjelasan mengenai cara memulai Google BigQuery, BigQuery menyediakan fitur lengkap diantaranya dalam skalabilitas, Format yang didukung cukup lengkap, dan terdapat AI & Machine Learning bawaan dari Google BigQuery, dan terlebih lagi memiliki pemrosesan paralel sehingga data Anda bisa lebih cepat diproses oleh Google BigQuery.

Sekian artikel mengenai Cara Memulai Google BigQuery terkait pembahasan Pengertian, Fitur , Arsitektur dan cara mengakses data dari Google BigQuery, jika artikel ini bermanfaat jangan lupa share & comment dan subscribed channel youtube kami.

Semoga bermanfaat.

   

Komentar

Open chat
Perlu Bantuan Konsultasi ?
Hallo Pembaca.
Telp (021) 55670115 untuk terhubung langsung dengan kami.

Apakah ada yang bisa kami bantu?