BigQuery baru saja memperkenalkan kapabilitas baru yang memungkinkan Anda untuk bisa menemukan elemen data unik dalam teks tak terstruktur dan JSON yang semi-terstruktur, tanpa harus mengetahui skema tabel terlebih dulu.
Pembaruan ini akan membantu Anda meningkatkan kinerja dan biaya saat harus menemukan baris data alih-alih agregasi. Misalnya, mengidentifikasi baris data yang terkait dengan pengguna untuk pelaporan GDPR (General Data Protection Regulation). Indeks penelusuran ini sepenuhnya tanpa server dan dikelola oleh BigQuery.
Contoh penggunaan fungsi dan indeks penelusuran BigQuery
| Kasus | Contoh Penggunaan |
| Dasbor yang perlu filter selektif | Mengiris dan memotong data berdasarkan item inventaris yang berbeda |
| Identifikasi subset data yang ditargetkan dalam set data besar | Buat kohort pasien dengan mutasi gen yang tepat |
| Proses regulasi yang memerlukan pencarian elemen data spesifik | Temukan dan hapus catatan pengguna untuk GDPR |
| Pemecahan masalah pengembang | Identifikasi entri log aplikasi yang terkait dengan kode kesalahan tertentu |
| Audit keamanan | Tinjau semua aktivitas jaringan dari alamat IP tertentu |
Bagaimana indeks penelusuran BigQuery bekerja
Indeks penelusuran adalah indeks terbalik yang berada di samping data BigQuery utama Anda. Fungsinya adalah untuk mempercepat pencarian titik dengan memberikan insight mengenai lokasi elemen data tertentu di penyimpanan dasar tabel.
Berikut adalah beberapa kemudahan yang ditawarkan fitur penelusuran BigQuery:
- Pencarian skala besar
Indeks penelusuran BigQuery menawarkan skala petabyte untuk menyimpan semua log real-time dan historis. Sehingga sesuai untuk analitik keamanan, ancaman sistem yang tidak spesifik dan lokal, beberapa cloud, dan Kubernetes.
Misalnya, jika seorang peretas masuk ke GCP, mereka kemungkinan juga akan masuk ke komponen lain dan Anda ingin melacaknya di satu lokasi. Dengan BigQuery, Anda memiliki skalabilitas tanpa batas dan performa kueri yang sangat cepat. Pengguna bahkan dapat mencari di beberapa kolom sekaligus dan tidak perlu khawatir tentang di mana elemen yang mereka cari disimpan.
Baca juga: Alasan Mengapa BigQuery Connector For SAP Dapat Memperkuat Strategi Analitis Data
- Tidak ada harga tambahan
Photo Credit: Freepik
BigQuery memberikan solusi yang hemat biaya. Anda hanya perlu membayar untuk penyimpanan indeks yang diperlukan, sedangkan biaya pemeliharaan gratis. Ketika digunakan secara efektif, kueri memindai lebih sedikit data yang menghasilkan penghematan biaya.
Katakanlah Anda harus menghapus semua data untuk pengguna bernama ‘Ade’ yang muncul hanya dalam 10 catatan petabyte data Anda untuk GDPR. Secara historis, Anda perlu memindai semua tabel tersebut dan membayar pemrosesannya (yang ukurannya bisa beberapa terabyte). Namun dengan indeks BigQuery, hanya perlu memerhatikan sub-kumpulan baris data yang disentuh sehingga mengurangi biaya secara signifikan.
- Integrasi JSON
Log keamanan memiliki skema variabel, jenis, dan berasal dari berbagai sumber yang membuat data tidak dapat diprediksi. Kini Anda dapat memiliki fleksibilitas untuk menyimpan data sebagai JSON yang dilengkapi kemudahan penggunaan SQL untuk kueri. Ini menghilangkan kebutuhan akan pipeline kompleks untuk mempertahankan penghematan biaya dan resources data.
Menggunakan penelusuran untuk meningkatkan analisis log di BigQuery
Photo Credit: luis_molinero (Freepik)
Kemampuan penelusuran ini adalah salah satu dari banyak cara pelanggan untuk meningkatkan analisis log mereka di BigQuery. Dengan adanya proliferasi layanan digital, aplikasi SaaS, dan perangkat IoT, banyak pengguna yang kesulitan untuk menganalisis petabyte log yang mereka kumpulkan. Ini membuat pengidentifikasian ancaman keamanan dari log menjadi rumit dan mahal. Fitur penelusuran ini adalah salah satu fitur yang menjadikan BigQuery sebagai solusi ideal untuk analisis log dan analisis keamanan terpusat.
Pelanggan telah menemukan bahwa menggunakan BigQuery sebagai platform analisis terpusat dapat membantu menjawab berbagai skenario pemecahan masalah. Baru-baru ini, Google Cloud telah merilis Community Security Analytics (CSA), yang merupakan kumpulan kueri dan aturan open source untuk membantu Anda mendeteksi ancaman umum berbasis cloud dengan memanfaatkan BigQuery.
Baca juga: Mengenal BigQuery Write API dalam Google Cloud
Untuk pelanggan yang ingin memulai analisis log mereka menggunakan BigQuery, fitur penelusuran Log Analytics ini adalah fitur Cloud Logging yang belum diluncurkan secara resmi dan sekarang masih dalam masa preview (Anda bisa mengajukan pendaftaran di sini) Antarmuka baru ini menghadirkan kecanggihan BigQuery dan SQL ke log Anda. Dengan antarmuka pengguna yang dioptimalkan untuk analisis log, Log Analytics menyediakan cara yang mulus untuk menggabungkan dan menganalisis log Anda di Cloud Logging.
Kemudahan dari BigQuery ini akan semakin seamless jika Anda bekerja dengan ekosistem Google Cloud. Bagi Anda yang belum berlangganan, EIKON Technology siap membantu Anda menemukan solusi Google Cloud. Di samping produk yang terjamin keasliannya, kami juga menyediakan pendampingan mulai dari persiapan, pemasangan, hingga penerapan. Mulai pilih paket langganan Google Cloud Anda di sini!