Google Cloud menemukan bahwa salah satu permintaan tinggi pelanggan mereka adalah pemindahan data real-time dengan semua manfaat yang ditawarkan Storage Transfer Service (STS)—penjadwalan, percobaan ulang, checksumming, dan detail logs.
Ini karena pelanggan membutuhkannya untuk mereplikasi data dengan lancar di antara bucket Cloud Storage. Pelanggan memerlukan layanan asinkron yang dapat diskalakan sehingga data daapt digabungkan dalam satu bucket untuk pemrosesan dan analisis data, emnjaga agar bucket di seluruh proyek tetap sinkron, dapat menjaga salinan dev/prod tetap sinkron, sekaligus menyimpan salinan sekunder di kelas penyimpanan yang lebih terjangkau.
Kasus penggunaan lain untuk kapabilitas ini adalah analitik lintas cloud. Pelanggan memerlukan replikasi data otomatis dan real-time dari AWS S3 ke Cloud Storage untuk memanfaatkan kemampuan analitik dan machine learning Google Cloud.
Memperkenalkan transfer berbasis peristiwa
STS kini menawarkan dukungan pratinjau untuk transfer berbasis peristiwa, kemampuan replikasi real-time tanpa server untuk memindahkan salinan dari AWS S3 ke Cloud Storage dan menyalin data di antara beberapa bucket Cloud Storage.
Photo Credit: Google Cloud Blog
Untuk melakukannya, STS mengandalkan Pubsub dan SQS. Pelanggan harus menyiapkan notifikasi dan memberikan akses STS ke antrean ini. Menggunakan bidang baru “Event Stream” di Transfer Job, pelanggan dapat menentukan nama event stream serta mengontrol kapan STS dimulai dan berhenti.
Dengan transfer berbasis peristiwa, Anda dapat menyiapkan replikasi data otomatis dan berkelanjutan antar bucket hanya dengan beberapa klik. Sudah dilengkapi berbagai fitur pendukung, termasuk pemfilteran berdasarkan awalan, penanganan percobaan ulang, checksumming, transfer logs terperinci melalui Cloud Logging dan pelacakan kemajuan melalui Cloud Monitoring. Selain mudah disiapkan dan digunakan, juga skalabel dan fleksibel, memungkinkan replikasi data antar bucket dalam satu proyek, di proyek yang berbeda, atau bahkan di berbagai region Cloud Storage.
Baca juga: Memanfaatkan Google Cloud Sebagai Pengamanan Tambahan bagi Developer
Mengonfigurasi transfer berbasis peristiwa
Anda dapat membuat transfer berbasis peristiwa antar bucket Cloud Storage dalam tiga langkah:
- Buat langganan pubsub yang memproses perubahan pada bucket Cloud Storage.
- Tetapkan izin untuk STS untuk menyalin data antar bucket dan mendengarkan langganan pubsub ini.
- Buat Transfer Job dengan konfigurasi Event Stream.
- Membuat pemberitahuan acara
Untuk memulai, buat notifikasi Pub/Sub bucket Cloud Storage sumber dan langganan untuk topik:
$ gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME –topic=TOPIC_NAME
$ gcloud pubsub subscriptions create SUBSCRIPTION_ID –topic=TOPIC_ID –ack-deadline=300 –enable-exactly-once-delivery
Ganti SOURCE_BUCKET_NAME dengan nama bucket sumber Anda, TOPIC_NAME dengan nama topik yang ingin dibuat, dan SUBSCRIPTION_ID dengan nama langganan yang ingin dibuat. STS akan menggunakannya untuk membaca pesan tentang perubahan objek di bucket sumber Anda.
Baca juga: Update Google Cloud VMware Engine: Hadirkan Peningkatan Fleksibilitas Komersial
- Membuat Transfer Job
Photo Credit: jannoon028 (Freepik)
Selanjutnya, buat Transfer Job berbasis peristiwa dengan konfigurasi EventStream. Transfer Job mengoordinasikan pergerakan data antara sumber dan tujuan berdasarkan notifikasi peristiwa yang dihasilkan dari sumber.
gcloud transfer jobs create \
gs://SOURCE_BUCKET_NAME gs://DESTINATION_BUCKET_NAME \
–event-stream-name=SUBSCRIPTION_ID
Ganti SOURCE_BUCKET_NAME dengan bucket sumber, DESTINATION_BUCKET_NAME dengan bucket tujuan, dan SUBSCRIPTION_ID dengan subscription ID, yang merupakan form proyek projects/<project_id>/subscriptions/<subscription_name>.
Tindakan ini akan membuat Transfer Job yang menunggu pemberitahuan pada langganan Pub/Sub dan mereplikasi data dalam beberapa menit setelah diberi tahu tentang perubahan di bucket Cloud Storage sumber.
Baca juga: Penyempurnaan Infrastruktur Google Cloud untuk Menyesuaikan Beban Kerja Anda
Transfer berbasis peristiwa adalah solusi yang dapat membantu Anda mengotomatiskan transfer data dan tugas pemrosesan, sekaligus menghemat waktu dan sumber daya.
Transfer berbasis peristiwa STS tersedia di semua region Google Cloud. Region untuk eksekusi transfer didasarkan pada region bucket Cloud Storage sumber. Untuk melihat di mana pekerjaan transfer dapat dibuat, silakan periksa daftar lokasi. Tidak ada biaya tambahan untuk menggunakan transfer yang digerakkan oleh Storage Transfer Service dan Anda bisa mendapatkan semua detailnya di halaman harga layanan STS.
Layanan ini merupakan bagian dari solusi komputasi awan Google Cloud. Anda bisa memanfaatkannya dengan berlangganan melalui EIKON Technology yang merupakan distributor partner Google Indonesia. Untuk informasi lebih lanjut, hubungi kami di sini!