Google BigQuery Write API resmi diluncurkan tahun 2021 lalu. Write API sendiri merupakan jalur penyerapan data pilihan BigQuery yang menawarkan batching dan streaming dengan performa tinggi dalam satu API terpadu. Apa saja keunggulannya?
Mengenal fitur BigQuery Write API
Sejak pertama diperkenalkan, BigQuery Write API terus melakukan penyempurnaan untuk meningkatkan performa dan kemampuan. Dengan begitu, pengguna pun lebih mudah menyerap data secara langsung ke BigQuery. Beberapa fitur tersebut di antaranya:
- Menyerap data langsung ke BigQuery tanpa harus menyusunnya di Google Cloud Storage terlebih dahulu sehingga menyederhanakan alur kerja.
- Menyalurkan pemrosesan data dan langsung membacanya, memungkinkan Anda membangun aplikasi data dengan latensi rendah dan respons cepat.
- Menjamin pengiriman tepat satu kali, yang memastikan Anda tidak perlu menulis logika deduplikasi khusus.
- Mendukung transaksi baris batch-level, memungkinkan percobaan ulang yang aman dan deteksi pembaruan skema.
Menyerap data ke BigQuery
Ada beberapa cara untuk menyerap data ke dalam penyimpanan terkelola BigQuery. Metode penyerapan spesifik akan tergantung pada workload Anda. Umumnya, disesuaikan untuk tugas pemuatan satu kali dan tugas batch berulang (karena latensi batch tidak menjadi masalah). Anda dapat menggunakan BigQuery Data Transfer Service atau BigQuery Load Jobs. Di samping itu, Anda juga bisa menggunakan BigQuery Write API.
Baca juga: Mengelola BigQuery Lebih Mudah Dengan Resource Charts dan Slot Estimator
Photo Credit: Google Cloud Blog
Membandingkan BigQuery Write API dengan BigQuery Load Job
Sebelum BigQuery Write API diperkenalkan, penyerapan data bisa dilakukan melalui BigQuery Load Job atau Streaming API. Di manakah letak perbedaannya?
Jika dibandingkan, ada beberapa perbandingan utama antara BigQuery Write API dengan BigQuery Load Jobs, yakni:
- Transaksi tingkat aliran: Pada BigQuery Write API, satu aliran hanya dapat dilakukan sekali, memungkinkan Anda melakukan percobaan ulang yang aman.
- Alur kerja yang lebih sederhana: Dengan menulis langsung ke penyimpanan BigQuery, Anda dapat menghindari mengekspor data ke Google Cloud Storage dan kemudian memuatnya ke BigQuery. Hal ini tidak bisa dilakukan pada BigQuery Load Jobs.
- SLO: BigQuery Write API memiliki tingkat SLO yang sama dengan BigQuery API lain yang ada seperti Query Jobs dan legacy Streaming API.
Membandingkan BigQuery Write API dengan legacy Streaming API
Jika poin sebelumnya membandingkan BigQuery Write API dengan BigQuery Load Jobs, kali ini mari simak perbandingannya dengan legacy Streaming API. Beberapa perbandingan yang paling mudah dikenali di antaranya:
- Menulis idempotency: Streaming API lawas hanya mendukung deduplikasi pada periode waktu yang singkat (urutan beberapa menit). Namun, BigQuery Write API memastikan bahwa satu penambahan hanya dapat terjadi sekali pada offset tertentu pada aliran yang sama, sehingga menjamin idempotency penulisan.
- Throughput yang lebih tinggi: Write API memiliki kuota default tiga kali lebih banyak (3GB/detik) dibandingkan dengan legacy Streaming API (1GB/detik), menghasilkan throughput yang lebih tinggi dalam proses penyerapan data. Kuota tambahan dapat diberikan berdasarkan permintaan pengguna.
- Biaya lebih rendah: Biaya Write API per GB 50% lebih hemat dibandingkan dengan Streaming API lawas.
Selain itu, karena BigQuery Write API telah mendukung proses batch sekaligus streaming terpadu, Anda tidak perlu lagi menggunakan API terpisah untuk menangani semua workloads dalam skala besar.
Batch dan Streaming API terpadu
Photo Credit: Piqsels
Write API didukung oleh streaming backend baru. Dukungan tersebut membuat Write API dapat menangani throughput yang jauh lebih besar dengan keandalan data lebih baik dari backend lama.
Backend baru tersebut merupakan adalah sistem penyimpanan terstruktur berskala exabyte di belakang BigQuery. Sistem tersebut dibuat untuk mendukung pemrosesan berbasis streaming, tepatnya untuk analisis streaming yang skalabel di semua mesin analitis di GCP.
Tidak seperti pendahulunya yang dioptimalkan untuk pemrosesan batch mode, streaming backend baru ini memperlakukan streaming sebagai beban kerja kelas satu. Di samping itu, backend ini juga telah mendukung streaming dan pemrosesan real-time dengan tingkat throughput yang tinggi.
Baca juga: Jenis Pemrosesan Data Perusahaan
Bagi Anda yang memerlukan penyerapan data dengan proses batching dan streaming berperforma tinggi dalam satu API terpadu, BigQuery Write API bisa dijadikan pilihan. BigQuery akan bekerja lebih baik jika berada dalam ekosistem Google. Untuk itu, ada baiknya juga jika Anda menggunakan layanan komputasi awan dari Google saat menggunakanWrite API.
Dapatkan layanan cloud yang didukung ekosistem Google lewat Google Cloud. Sekarang, Anda bisa mengelola Google Cloud yang dipersonalisasi sesuai kebutuhan Anda. Tim EIKON Technology yang merupakan authorized reseller Google di Indonesia, siap menyediakannya untuk Anda. Untuk informasi lebih lanjut, klik di siniv!