Saat ini, kebutuhan akan ruang penyimpanan data bertumbuh dengan pesat. Penting untuk bisa menangkap, memproses, sekaligus menganalisis metadata dan metrik pekerjaan/kueri untuk keperluan audit, pelacakan, penyesuaian kinerja, hingga perencanaan kapasitas.
Untuk memberikan akses dan visibilitas yang mudah terhadap metadata dan metrik BigQuery, Google Cloud meluncurkan Information Schema pada tahun 2020 lalu. Layanan ini memberi pelanggan “lensa” untuk bisa menggunakan metadata dan indikator performa untuk setiap tugas/kueri/API BigQuery. Penyimpanan yang terkait dengan Information Schema Views gratis. Pengguna cukup membayar biaya Compute yang terkait.
Ada beberapa faktor yang berkontribusi terhadap pembelanjaan BigQuery. Dua yang paling umum adalah penyimpanan dan pemrosesan. Ulasan kali ini akan membahas tentang cara mudah untuk menganalisis dan menguraikan metrik kunci BigQuery menggunakan Information Schema.
Analisis dan visualisasi titik konsumsi slot waktu dan konkurensi
Tujuan dari kueri ini adalah untuk mengumpulkan informasi semua pekerjaan yang berjalan selama rentang waktu dan kemudian dipecah menjadi interval yang lebih kecil hingga satuan detik (Point in Time).
Tutorial ini menggunakan skrip SQL yang bisa Anda akses di sini. Salin dan tempelkan pada BigQuery UI untuk memulai. Sebelumnya, tutorial ini mendeklarasikan 5 jenis variabel yang berhubungan dengan waktu, yaitu:
DECLARE _RANGE_START_TS_LOCAL timestamp;
DECLARE _RANGE_END_TS_LOCAL timestamp;
DECLARE _RANGE_INTERVAL_SECONDS int64;
DECLARE _UTC_OFFSET INT64;
DECLARE _RANGE_START_TS_UTC timestamp;
Atur nilai untuk 5 variabel yang dideklarasikan. Empat variabel pertama perlu diatur secara manual oleh individu yang menjalankan kueri.
- Variabel pertama (_TIMEZONE) harus mewakili waktu lokal Anda.
- Variabel kedua (_RANGE_START_TS_LOCAL) dan ketiga (_RANGE_END_TS_LOCAL) akan menggunakan Zona Waktu lokal yang ingin Anda analisis.
- Variabel keempat (_RANGE_INTERVAL_SECONDS) mewakili ukuran interval waktu yang Anda inginkan. Point in Tima akan dikumpulkan di sini.
Untuk menganalisis apa yang terjadi selama rentang waktu 5 menit, akan tepat untuk mengatur _RANGE_INTERVAL_SECONDS = ‘1’. Ini akan menghasilkan 300 titik data pada X-Axis.
Untuk menganalisis apa yang terjadi untuk rentang waktu 1 jam, akan tepat untuk mengatur _RANGE_INTERVAL_SECONDS = ’10’. Ini akan menghasilkan 360 titik data pada X-Axis.
Ada baiknya Anda mengorbankan “akurasi” untuk rentang waktu yang lebih besar guna menghasilkan bagan yang lebih mudah dibaca.
- Variabel kelima (UTC_OFFSET) mewakili offset antara zona waktu Anda dengan UTC yang ditentukan secara lokal.
Baca juga: BigQuery BI Engine Kini Tersedia untuk Publik, Apa Saja Fitur yang Tersedia?
Tabel turunan ‘kunci’
Tabel turunan ‘kunci’ membuat satu set hasil kolom dengan satu baris untuk setiap interval (_RANGE_INTERVAL_SECONDS) yang ada dalam rentang waktu yang ingin Anda analisis. Tahapan ini dapat dilakukan dengan beberapa fungsi array yang sangat rapi.
Pertama, Anda dapat memanfaatkan fungsi GENERATE_TIMESTAMP_ARRAY yang akan menghasilkan baris (alias sebagai POINT_IN_TIME) timestamp antara variabel _RANGE_START_TS_UTC dan _RANGE_END_TS_UTC untuk setiap interval waktu yang ditentukan dalam _RANGE_INTERVAL_SECONDS.
Photo Credit: Google Cloud Blog
Dengan sedikit proses slicing (mengiris) dan dicing (memotong), Anda juga dapat membuat Stacked Area Chart yang berdasarkan pengguna dalam slot detik.
Photo Credit: Google Cloud Blog
Baca juga: Fitur Penelusuran BigQuery: Bantu Tentukan Elemen Unik Data dengan Mudah
Tutorial ini jelas belum bisa merangkum seluruh kapabilitas yang mampu dijalankan oleh Information Schema. Namun Anda tidak perlu khawatir karena Google Cloud sebenarnya telah memberikan beberapa resources untuk dipelajari yang bisa Anda akses melalui blog resmi mereka. Di sana Anda juga bisa menemukan pendapat dan persepsi dari para pakar komputasi awan. Semuanya bisa diakses secara gratis, kapan saja dan di mana saja.
Ekosistem Google Cloud memang menawarkan solusi komputasi awan yang komprehensif. Selain kapabilitas untuk menganalisis dan memvisualisasikan data dari BigQuery, Cloud juga masih memiliki beragam fitur serta layanan yang bisa Anda eksplorasi lebih jauh. Belum menggunakan Google Cloud? Anda bisa mendapatkan solusi komputasi awan dari Google ini melalui EIKON Technology. Kami siap menyediakan solusi yang disesuaikan dengan kebutuhan perusahaan Anda. Untuk informasi selengkapnya, silakan klik di sini.