BigQuery merupakan sebuah tool yang disediakan Google Cloud untuk mengelola dan menganalisis data Anda dengan fitur bawaan seperti analisis geospasial, business intelligence, hingga machine learning. Tool ini memiliki banyak sekali fitur, yang beberapa masih belum banyak diketahui pengguna. Berikut 3 fitur “rahasia” di BigQuery yang bisa Anda manfaatkan untuk mengelola data berskala besar lebih baik lagi.
AUTO column
Photo Credit: DCStudio (Freepik)
Bisa dibilang, fitur yang satu ini adalah “hidden gem” BigQuery, Pasalnya, fitur AUTO column ini tidak tercantum di dokumentasi resmi BigQuery. Bagaimana cara kerjanya?
Katakanlah Anda memasukkan beberapa data ke BigQuery, lalu sistem lain ingin menjalankan tugas terjadwal untuk memproses data yang baru datang. Misalnya, sistem dirancang untuk menarik data dari BigQuery ke penyimpanan lain atau menjalankan laporan per jam berdasarkan data. Dalam setiap kasus tersebut, disarankan menghindari pemrosesan catatan yang sama beberapa kali. Namun itu berarti Anda harus tahu catatan mana yang sudah diproses dan mana yang baru ditambahkan setelah pemrosesan berlangsung.
Tidak seperti OLTP DB tradisional, BigQuery tidak mendukung kolom kenaikan otomatis atau kolom yang secara otomatis diisi dengan tanggal-waktu terkini (kecuali Anda menggunakan API Streaming) Dengan fitur AUTO column, Anda cukup menambahkan kolom TIMESTAMP ke skema tabel dan menetapkan “AUTO” di payload JSON. Hal ini memungkinkan BigQuery mengisi kolom yang disebutkan dengan waktu yang menunjukkan kapan data masuk secara otomatis.
Baca juga: Fitur Penelusuran BigQuery: Bantu Tentukan Elemen Unik Data dengan Mudah
Transaksi multi-statement
Meski bukan OLTP DB, BigQuery mendukung transaksi multi-statement. Per bulan Agustus 2022, fitur ini masih dalam preview. Namun Google Cloud akan segera mengubah ketersediaannya menjadi general availability (GA).
Tidak banyak yang bisa dibahas tentang transaksi dan cara penggunaannya. Google telah menyediakan dokumentasi resmi khusus untuk hal itu. Namun ada beberapa hal menarik yang perlu Anda perhatikan:
- Jika transaksi mengubah (memperbarui atau menghapus) baris dalam tabel, maka transaksi lain atau pernyataan DML yang mengubah baris dalam satu tabel sama tidak dapat berjalan secara bersamaan. Transaksi yang bertentangan dibatalkan.
- Transaksi tidak dapat menggunakan pernyataan DDL yang memengaruhi entitas permanen.
- Fungsi CURRENT_TIMESTAMP, CURRENT_DATE, dan CURRENT_TIME mengembalikan time stamp waktu mulai transaksi.
- Anda tidak dapat menggunakan klausa FOR SYSTEM_TIME AS OF untuk membaca tabel di luar time stamp waktu mulai transaksi. Melakukannya akan mengembalikan kesalahan.
- Dalam sebuah transaksi, views yang terwujud diinterpretasikan sebagai pandangan logis. Anda masih dapat menanyakan tampilan terwujud di dalam transaksi, tetapi tidak menghasilkan peningkatan kinerja atau pengurangan biaya dibandingkan dengan tampilan logis yang setara.
Baca juga: Percepat Migrasi Data BigQuery dengan Penerjemah SQL Otomatis
Clustering
Photo Credit: Freepik
Bicara tentang pengoptimalan kueri di BigQuery (sebagian besar adalah tentang optimalisasi biaya), pendekatan pertama yang terlintas dalam pikiran adalah partisi tabel (table partitioning).
Namun sebenarnya partitioning bukanlah satu-satunya pilihan yang tersedia. Ada juga clustering atau pengelompokan. Sementara partitioning membagi data menjadi beberapa partisi (memungkinkan kueri untuk membaca hanya partisi tertentu bila diperlukan), clustering bekerja dengan menempatkan data terkait dan mengizinkan kueri mengakses segmen data tertentu jika filter untuk kolom pengelompokan digunakan.
Baca juga: Memantau dan Menganalisis Performa BigQuery dengan Information Schema
Dari ketiga fitur “rahasia” BigQuery di atas, adakah yang sudah pernah Anda gunakan? Dengan memngoptimalkan berbagai fitur serta kapabilitas yang ada dalam tool milik Google Cloud ini, Anda dapat mengelola sekaligus menganalisis data jauh lebih mudah dan optimal, terutama dari segi biaya.
Tool ini bisa Anda akses dengan mudah jika menggunakan solusi komputasi awan dari Google Cloud. Dapatkan segera melalui EIKON Technology, authorized reseller yang menyediakan Google Cloud resmi untuk penggunaan skala besar. Kami juga menyediakan layanan konsultasi untuk mendampingi Anda mulai dari tahap perencanaan hingga penerapan solusi. Informasi selengkapnya mengenai implementasi Google Cloud, silakan klik di sini!