EIKON Technology

logo Eikon
Menu

data warehouse

Google Cloud

BigQuery BI Engine Kini Tersedia untuk Publik, Apa Saja Fitur yang Tersedia?

Dulu, ketika harus menjalankan BI (business intelligence) pada kumpulan data besar, pelanggan yang menggunakan data warehouse mau tak mau harus memilih latensi rendah dan mengorbankan kemutakhiran data. Namun kini dengan adanya BigQuery BI Engine, mereka dapat mempercepat dashboard dan laporan yang terhubung ke BigQuery tanpa harus melakukan hal tersebut. Sebenarnya, bagaimana teknologi BigQuery BI Engine ini bekerja? Hasil pengembangan dari versi preview tahun lalu Menggunakan insight terbaru data akan membantu para pengguna data warehouse dalam membuat keputusan yang lebih baik untuk bisnis mereka. BI Engine memungkinkan pelanggan mendapatkan performa tercepat untuk kueri mereka di seluruh alat BI yang terhubung dengan BigQuery. Sebenarnya, layanan ini telah diluncurkan tahun 2021 lalu. Hanya saja, saat itu masih menggunakan format pratinjau yang terbatas. BigQuery BI Engine sendiri merupakan sebuah layanan analisis in-memory yang mempercepat dan memberikan performa kueri dalam hitungan sub-detik untuk dasbor dan laporan yang terhubung ke BigQuery. Layanan ini bekerja dengan banyak tools BI atau dasbor khusus. BI Engine dirancang untuk membantu analis data mengidentifikasi tren lebih cepat, mengurangi risiko, menyesuaikan laju permintaan pelanggan, dan meningkatkan efisiensi operasional dalam iklim bisnis yang terus berubah seperti sekarang ini. Format baru yang tersedia untuk publik ini memungkinkan pelanggan untuk membuat dasbor interaktif cepat menggunakan tools populer seperti Looker, Tableau, Spreadsheet, PowerBI, Qlik atau bahkan aplikasi khusus perusahaan. Baca juga: Fitur Penelusuran BigQuery: Bantu Tentukan Elemen Unik Data dengan Mudah BI Engine Acceleration terintegrasi BigQuery  Integrasi Native dengan BigQuery API BI Engine terintegrasi secara native dengan BigQuery API. Itu artinya, ketika dasbor Anda menggunakan antarmuka standar seperti SQL, BigQuery API atau driver JDBC/ODBC untuk terhubung ke BigQuery, maka dukungan untuk BI Engine akan muncul secara otomatis. Tidak ada pengaturan tambahan yang harus dilakukan pada aplikasi atau dasbor untuk mengaktifkan dan menjalankan dasbor sub-detik yang dapat diskalakan. Jika Anda menjalankan kueri yang dapat dipercepat dengan BigQuery, maka bisa langsung menggunakan BI Engine. Photo Credit: Google Cloud Blog Penskalaan Cerdas Pelanggan umumnya tak perlu khawatir lagi tentang efisiensi penggunaan memori, BI Engine melakukannya untuk Anda berdasarkan pola akses. Layanan ini telah dibekali teknik canggih seperti pemrosesan vektor, pengkodean data tingkat lanjut, dan caching adaptif untuk membantu memaksimalkan kinerja sekaligus mengoptimalkan penggunaan memori. BI Engine juga dapat membuat replika data yang sama untuk mengaktifkan akses bersamaan dengan cepat dan cermat. Konfigurasi Sederhana Satu-satunya konfigurasi yang diperlukan saat menggunakan BI Engine adalah menyiapkan reservasi memori. Layanan ini telah menyediakan sebuah peningkatan fine-grained masing-masing 1GB. Visibilitas Penuh Pemantauan dan pencatatan sangat penting untuk menjalankan aplikasi di cloud dan juga untuk mendapatkan wawasan tentang kinerja serta peluang optimalisasi. BI Engine telah terintegrasi dengan tools yang sudah dikenal seperti Information Schema untuk detail pekerjaan (rasio pencapaian cache, latensi kueri, dan lain-lain) serta Stackdriver untuk memantau penggunaan. Baca juga: Mengelola BigQuery Lebih Mudah dengan Resource Charts dan Slot Estimator Mulai menggunakan BigQuery BI Engine Photo Credit: Google Cloud Blog BI Engine kini telah tersedia di seluruh wilayah operasional BigQuery, termasuk Indonesia. Untuk mulai menggunakannya, Anda cukup mendaftar ke sandbox BigQuery. Setelah itu, bisa langsung mengaktifkan BI Engine untuk proyek Anda. BigQuery juga telah menyediakan panduan penggunaan layanan, termasuk panduan memulai cepat tools BI populer. Anda juga dapat menonton demo dari Data Cloud Summit untuk melihat tutorial penggunaan BI Engine dengan tools seperti Looker, Data Studio, dan Tableau. Jika telah menerapkan integrasi dengan BigQuery, tersedia program inisiatif Google Cloud Ready – BigQuery. Detail mengenai program tersebut bisa Anda akses di sini. Baca juga: Mengenal BigQuery Write API dalam Google Cloud BigQuery BI Engine hadir untuk memudahkan Anda dalam mengoperasikan BI, terutama saat harus mengelola data dalam skala besar. Selain itu, BigQuery juga merupakan bagian dari Google Cloud Platform sehingga telah terintegrasi dengan berbagai tools dan layanan yang ada di GCP. Optimalkan kinerja data perusahaan Anda dengan menggunakan solusi komputasi awan dari Google Cloud. Kini Anda bahkan dapat memilih paket berlangganan yang paling sesuai dengan kondisi perusahaan. EIKON Technology sebagai authorized partner siap membantu Anda dalam penerapan Google Cloud, mulai dari perencanaan hingga manajemen pasca-implementasi. Untuk informasi selengkapnya, silakan hubungi kami di sini.

Google Cloud

Membangun Data Warehouse yang Aman dengan Blueprint Keamanan Baru Google Cloud

Meningkatkan keamanan data warehouse merupakan salah satu visi pengembangan Google Cloud. Salah satunya adalah dengan menambahkan pembaruan pada portofolio cetak biru mereka, Secure Data Warehouse Blueprint.   Sudah banyak perusahaan yang memanfaatkan kemampuan cloud untuk menganalisis data sensitif mereka. Namun, sayangnya mereka masih harus menginvestasikan banyak waktu untuk melindungi data sensitif yang tersimpan di dalam data warehouse mereka. Untuk mengatasi tantangan tersebut, Google Cloud baru saja merancang Secure Data Warehouse Blueprint yang baru. Apa itu Secure Data Warehouse Blueprint? Secure Data Warehouse Blueprint menerapkan praktik keamanan terbaik untuk membantu melindungi data dan mempercepat adopsi solusi Anda. Arsitektur yang diterapkan blueprint ini tidak hanya mencakup siklus hidup data, tapi juga menggabungkan postur tata kelola dan keamanan seperti yang terlihat dalam diagram berikut: Photo Credit: Google Cloud Blog Komponen-komponen dalam Secure Data Warehouse Blueprint Secure Data Warehouse Blueprint terdiri dari beberapa komponen, di antaranya: Area pendaratan untuk menyerap data batch atau streaming. Komponen data warehouse, menangani penyimpanan dan de-identifikasi data, yang nantinya dapat diidentifikasi kembali melalui proses terpisah. Komponen klasifikasi dan tata kelola data mengelola kunci enkripsi, template de-identifikasi, dan taksonomi klasifikasi data. Komponen keamanan membantu dalam deteksi, pemantauan, dan respons. Baca juga: Meningkatkan Kecepatan dan Keamanan Cloud Deployment Anda Memanfaatkan Secure Data Warehouse Blueprint untuk mempercepat analisis bisnis Blueprint ini menyediakan teknik infrastructure as code (IaC) seperti mengkodifikasi infrastruktur dan mendeklarasikan lingkungan Anda sehingga tim IT dapat menganalisis kontrol dan membandingkannya dengan persyaratan perusahaan Anda untuk membuat, menerapkan, dan mengoperasikan data warehouse. Teknik IaC juga dapat membantu menyederhanakan tinjauan peraturan dan kepatuhan yang dilakukan perusahaan Anda. Blueprint ini mendukung fleksibilitas. Anda dapat memulai inisiatif baru atau mengkonfigurasinya untuk diterapkan ke lingkungan yang ada. Katakanlah Anda memilih untuk menggunakan jaringan dan modul logging cetak biru yang ada. Anda masih bisa menyimpan konfigurasi jaringan yang ada dan membandingkannya dengan rekomendasi blueprint untuk menyempurnakan lingkungan data warehouse Anda. Melindungi data dengan pengaturan keamanan berlapis Dengan menggunakan blueprint ini, Anda dapat menunjukkan kepada tim keamanan, risiko, dan kepatuhan kontrol keamanan mana yang diterapkan di lingkungan data warehouse. Diagram berikut menunjukkan tidak hanya layanan yang digunakan dalam arsitektur, tetapi juga bagaimana layanan bekerja sama untuk membantu melindungi data Anda. Kontrol Layanan VPC membuat batasan untuk mengelompokkan layanan berdasarkan masalah fungsional. Jembatan perimeter didefinisikan untuk memungkinkan komunikasi dan untuk memantau antara perimeter Photo Credit: Google Cloud Blog Perimeter tata kelola data mengontrol kunci enkripsi yang disimpan di Cloud HSM, template de-identifikasi yang digunakan oleh Cloud DLP, dan taksonomi klasifikasi data yang ditentukan dalam Data Catalog. Perimeter ini juga berfungsi sebagai lokasi pusat untuk audit logging dan monitoring. Perimeter penyerapan data menggunakan Dataflow untuk mengidentifikasi data Anda berdasarkan template de-identifikasi dan menyimpan data di BigQuery. Perimeter data rahasia mencakup kasus ketika data sensitif butuh diidentifikasi ulang. Pipeline Dataflow terpisah dibuat untuk mengirim data ke dataset BigQuery yang terisolasi pada proyek berbeda. Photo Credit: Piqsels Anda dapat menggunakan layanan tambahan dari blueprint Security Foundations. Blueprint tersebut menggunakan kontrol keamanan bawaan seperti Security Command Center, Cloud Logging, dan Cloud Monitoring. Bagian pencatatan dan pemantauannya menjelaskan bagaimana Security Command Center membantu kebutuhan deteksi ancaman Anda. Di samping itu, ada Security Health Analytics, sebuah layanan bawaan dari Security Command Center yang memantau setiap proyek agar tidak terjadi kesalahan konfigurasi. Log audit dikonfigurasi secara terpusat dengan CMEK untuk membantu pemantauan akses. Keamanan data warehouse Anda akan lebih teruji jika mendapatkan validasi dan perspektif dari luar. Untuk itu, Google Cybersecurity Action Team dan tim keamanan pihak ketiga telah meninjau kontrol serta postur keamanan yang ditetapkan oleh blueprint ini. Anda bisa mempelajari detailnya di sini. Tinjauan eksternal ini akan membantu Anda memahami bahwa penerapan praktik keamanan yang baik akan melindungi data, bahkan yang paling sensitif sekalipun. Baca juga: Meningkatkan Efektivitas Keamanan Google Cloud Platform dengan Mute Findings Selain Secure Data Warehouse Blueprint yang dibahas dalam artikel ini, Google Cloud juga menawarkan beragam layanan dan solusi untuk meningkatkan keamanan data Anda. Bagi Anda yang belum berlangganan solusi Google Cloud, tidak perlu khawatir. EIKON Technology siap menyediakan solusi terbaik yang dapat disesuaikan dengan kebutuhan perusahaan Anda. Silakan klik di sini untuk informasi lebih lanjut.

Google Cloud

Kelola Administrasi BigQuery Lebih Mudah dengan Fitur Resource Charts dan Slot Estimator

BigQuery pada mulanya diperkenalkan sebagai sebuah data warehouse. Seiring perkembangannya, platform tersebut merambah ke bidang analitik data dan juga business intelligence. Bukan hanya itu, BigQuery kemudian juga dirancang untuk dapat bekerja tanpa server pada skala yang fleksibel, baik kecil maupun besar. Dengan berbagai kemampuan tersebut tidak mengherankan jika BigQuery kemudian begitu diandalkan untuk menangani berbagai macam beban kerja analitik. Namun ketika pelanggan meningkatkan beban kerja di BigQuery, otomatis persyaratan pemantauan dan pengelolaan mereka pun akan ikut berkembang. Anda tidak perlu khawatir, karena kini telah tersedia beberapa fitur dan kapabilitas untuk mengelola administrasi BigQuery dalam skala besar. Simak ulasan berikut untuk mengetahui penjelasan lengkapnya. Fitur Resource Charts Untuk mengelola administrasi, BigQuery (BQ) telah menyediakan suatu kapabilitas spesifik bernama Administrator Hub. Di dalam kapabilitas tersebut Anda bisa menemukan fitur baru bernama Resource Charts. Fitur ini akan membantu para administrator lebih mudah memahami lingkungan BQ mereka. Photo Credit: Google Cloud Blog Resource Charts membantu administrator mengelola administrasi dengan pengalaman bawaan untuk memantau penggunaan slot mereka, mengelola kapasitas berdasarkan konsumsi historis, memecahkan masalah kinerja pekerjaan, queries yang mampu melakukan diagnosis mandiri, dan mengambil tindakan perbaikan sesuai kebutuhan. Fitur ini juga memberikan visibilitas menuju metrik utama seperti konsumsi slot, kinerja pekerjaan, konkurensi, jumlah byte yang diproses, dan pekerjaan yang gagal. Resource Charts dibuat menggunakan tabel-tabel INFORMATION_SCHEMA, sehingga memungkinkan pelanggan memahami data melalui dashboard yang dibuat khusus. Baca juga: Mengenal BigQuery Explainable AI, Alat Interpretasi Model Machine Learning Fitur Slot Estimator Slot Estimator merupakan sebuah tool BigQuery yang berfungsi sebagai pengelola kapasitas interaktif. Dengan tool ini, administrator dapat memperkirakan dan mengoptimalkan kapasitas BQ berdasarkan performa dan data penggunaan historis. Menggunakan Slot Estimator, pengguna juga dapat menghitung, memprediksi sekaligus menyesuaikan kapasitas berdasarkan beban kerja mereka. Jadi, Anda bisa mengambil keputusan yang tepat dalam hal perencanaan kapasitas. Cara kerja Resource Charts dan Slot Estimator Kedua fitur tersebut bisa Anda temukan pada BigQuery Administrator Hub yang merupakan kontrol pusat untuk memahami, mengelola, dan memantau query, kapasitas, serta keseluruhan lingkungan BQ Anda. Katakanlah saat melakukan pemantauan lingkungan BQ secara real-time di Resource Charts, tampak bahwa penggunaan slot mengalami penurunan selama beberapa jam. Anda pun memutuskan untuk menyelidiki lebih jauh. Photo Credit: Google Cloud Blog Anda bisa melihat pada bagan Errors yang baru. Jika misalnya terlihat peningkatan tajam pada izin ditolak atau kesalahan yang tidak valid, Anda bisa gunakan filter seperti proyek, reservasi, serta pengguna dan prioritas pekerjaan untuk memahami apa saja yang sudah berubah. Jadi, Anda bisa langsung memperbaikinya. Photo Credit: Google Cloud Blog Tak lama, seorang data analis perusahaan mendatangi Anda dan mengungkapkan bahwa ia merasa alur kerja terasa melambat secara bertahap selama satu minggu terakhir. Untuk menyelesaikan masalah ini, Anda juga bisa memanfaatkan Resource Charts. Dari fitur tersebut akan langsung tampak apa yang bisa menyebabkan alur kerja melambat, misalnya, pemanfaatan slot telah mencapai kapasitas maksimal. Setelah ditelusuri lebih lanjut, ternyata problem tersebut bisa diatasi dengan meningkatkan workload baru. Saat workload naik maka kapasitas slot pun akan lebih stabil dan penggunaannya bisa lebih optimal. Photo Credit: Google Cloud Blog Setelah mendeteksi penyebab melalui Resource Charts, Anda bisa beralih ke Slot Estimator. Di situ akan tampak pemanfaatan slot yang penuh dan bagaimana penggunaan slot meningkat selama seminggu terakhir. Anda dapat melihat data reservasi dan menganalisis peluang untuk meningkatkan kinerja dengan menambahkan jumlah slot. Photo Credit: Google Cloud Blog BigQuery merupakan suatu data warehouse dengan berbagai kapabilitas mulai dari machine learning, analisis geospasial, hingga business intelligence. Arsitekturnya yang tanpa server memungkinkan Anda sebagai pengguna untuk bisa menemukan jawaban atas berbagai permasalahan terkait pengelolaan data perusahaan. Baca juga: Mengenal BigQuery Write API dalam Google Cloud Dengan adanya fitur Resource Charts dan Slot Estimator, pengelolaan lingkungan BigQuery pun menjadi semakin mudah. Selain memanfaatkan BQ dan berbagai fitur di dalamnya, untuk penyimpanan data perusahaan dalam skala besar, layanan komputasi awan Google Cloud adalah solusi terbaik. Menggunakan Google Cloud, Anda tidak perlu bingung lagi dengan masalah penyimpanan dan pengelolaan data perusahaan. Dapatkan produk Google Cloud berlisensi resmi dan dapat disesuaikan dengan kebutuhan perusahaan lewat EIKON Technology. Untuk langsung terhubung dengan tim EIKON Technology, silakan klik di sini!

Scroll to Top