gcloud transfer command-line merupakan sebuah tool yang berfungsi untuk mengakses layanan cloud Google, baik menggunakan scripts atau dari command line. Tool ini juga dapat digunakan untuk menjalankan otomatisasi lainnya. Dengan tool ini Anda dapat menulis script untuk menjalankan instance sesuai dengan kebutuhan.
Artikel kali ini akan membahas bagaimana cara menggunakan gcloud transfer command-line untuk common task, yaitu untuk mengunggah log ke cloud. Mari simak langkah-langkahnya berikut ini:
Persiapan
Untuk menjalankan gcloud transfer command-line, Anda memerlukan perangkat yang menjalankan sistem operasi Linux dengan setidaknya 8 GB RAM untuk melanjutkan. Namun jika Anda tidak memilikinya, bisa beralih ke Compute Engine virtual machine. Alat ini cocok untuk transfer data dalam jumlah besar (bahkan hingga petabytes).
Langkah pertama, buatlah beberapa log untuk diunggah. Selanjutnya, Anda bisa menambahkan script berikut:
$ mkdir my-logs
$ cd my-logs
$ echo “i am a petabyte” > logs.txt
Di gcloud CLI. Jika Anda belum melakukannya, silakan unduh gcloud CLI. Anda akan diminta untuk masuk ke akun Google selama proses penginstalan.
Bagaimana dengan biaya untuk menyelesaikan tutorial ini dalam proyek Google Cloud? Biaya pekerjaan transfer adalah US$0,0125 per GB. Tabel harga lengkap bisa dilihat di sini.
Selanjutnya, Anda memerlukan bucket Google Cloud Storage untuk mengunggah. Untuk membuat bucket, silakan jalankan perintah berikut:
$ gsutil mb [globally unique bucket ID]
Menggunakan transfer gcloud
Selanjutnya, beri izin yang diperlukan untuk menggunakan semua fitur transfer gcloud:
$ gcloud transfer authorize
Menambahkan transfer dari satu bucket cloud ke bucket lainnya dengan gcloud sangatlah mudah. Menyiapkan sistem file lokal Anda untuk menangani pekerjaan transfer memerlukan sedikit lebih banyak pekerjaan. Sebagai tambahan, Anda perlu mengunduh “agent”. Pada dasarnya, agent merupakan sebuah docker yang menjalankan program yang didedikasikan untuk menyalin file.
Baca juga: Perkuat Perlindungan VM GCE Anda dengan Kunci Keamanan Baru FIDO
Sebelum memasang agent apa pun, Anda memerlukan agent pool. Saat tugas transfer menugaskan pekerjaan ke pool, agent mana pun di dalam pool kemungkinan besar akan menyalin file. Gunakan agent pool untuk memastikan hanya agent dengan akses menuju file yang Anda inginkan untuk menjalankan tugas transfer.
$ gcloud transfer agent-pools create [pool ID]
Untuk memasang sebuah agent pada sistem Anda jalankan:
$ gcloud transfer agents install –pool=[pool ID]
Kini Anda bisa mengunggah fake logs. Storage Transfer Service bekerja paling baik dengan absolute paths, jadi gunakan perintah “pwd” untuk mendapatkan jalur menuju folder Anda saat ini. Pastikan Anda sudah berada di dalam folder “my-logs”.
Untuk mengunggah dari sistem file POSIX, Anda memerlukan sebuah skema “posix://” (pada Linux dan Mac).
$ gcloud transfer jobs create posix://$(pwd) gs://[bucket ID] –source-agent-pool=[pool ID]
Perintah di atas akan mengembalikan metadata pekerjaan transfer baru Anda. Untuk memantau transfer, jalankan perintah di bawah ini dengan nilai untuk kunci “nama” yang dikembalikan:
$ gcloud transfer jobs monitor [transfer job ID]
$ gsutil ls gs://[bucket ID]
Otomatisasi
Katakanlah Anda ingin mengunggah log setiap tengah malam sepanjang tahun 2022 dan 2023. Anda pasti membutuhkan kapabilitas untuk menjadwalkan transfer data reguler dalam jumlah besar. gcloud adalah tool yang tepat untuk itu, terlebih jika dibandingkan dengan tool Google lain seperti gsutil. Untuk melakukan hal tersebut, Anda hanya perlu memperbarui pengaturan jadwal pekerjaan dengan menambahkan perintah:
$ gcloud transfer jobs update [transfer job ID] –schedule-repeats-every=24h \
–schedule-starts=2022-01-01 \
–schedule-repeats-until=2023-01-01
Jika terdapat virtual machine lainnya, Anda dapat memasang agent pada mesin tersebut di pool yang sama seperti sebelumnya. Dengan catatan, tiap mesin tidak memiliki pengaturan khusus.
Namun apabila Anda ingin tiap mesin mengunggah log ke tujuan cloud yang berbeda, gcloud transfer command-line telah menyediakan script untuk dijalankan sekali di setiap perangkat. Pastikan agent pool dan argumen tujuan berbeda untuk tiap perangkat. Cara lainnya, dengan menggunakan satu mesin untuk mengunggah ke lokasi yang sama,
Baca juga: 5 Cara Manfaatkan Google Cloud untuk Memudahkan Integrasi Post-Merger Perusahaan
Seperti yang telah disebutkan, gcloud transfer command-line merupakan suatu tool yang ada dalam ekosistem Google Cloud. Maka dari itu, operasionalnya akan lebih mudah jika Anda menggunakan layanan komputasi Google Cloud. Belum memiliki Google Cloud untuk perusahaan Anda? Tak perlu khawatir, kini Anda bisa mendapatkan personalized Google Cloud yang disesuaikan dengan kebutuhan perusahaan melalui EIKON Technology. Untuk informasi selengkapnya, klik di sini!