Large language model (LLM) dilatih dengan kumpulan besar data dari berbagai topik sehingga sangat berguna dalam banyak hal. Sayangnya LLM membutuhkan data pelatihan yang besar. Salah satu pendekatan populer untuk mengatasi problem tersebut adalah dengan “menurunkan” LLM menggunakan teknik Retrieval Augmented Generation.
Teknik ini akan membuka peluang baru bagi perusahaan untuk membangun aplikasi gen AI yang dapat memanfaatkan data baru. Ulasan kali ini akan membahas tentang membangun gen AI perusahaan dengan LLM dari database Google Cloud.
Mengenal teknik RAG
Salah satu contoh umum pemanfaatan teknik RAG adalah untuk chatbot layanan pelanggan. Dengan RAG, Anda dapat menciptakan bot yang dapat menjawab berbagai pertanyaan, mulai dari ketersediaan barang hingga kebijakan pengembalian.
RAG terdiri dari satu langkah persiapan dan empat tahap penerapan. Contoh RAG yang disederhanakan ini mengalir melalui proses bagaimana aplikasi dapat memberikan jawaban mendasar dengan memanfaatkan fitur pencarian kesamaan dari database yang mendukung pengindeksan vektor.
Photo Credit: Google Cloud Blog
- Persiapan: Data internal disimpan dalam database melalui model penyematan.
- Penerapan:
- Aplikasi Gen AI menggunakan model penyematan untuk mengonversi pertanyaan dari natural language (contoh: “Apakah Anda memiliki produk X dengan fitur A, B, C?”) menjadi vektor.
- Model penyematan digunakan untuk mengubah pertanyaan menjadi vektor dan melakukan pencarian semantik pada database.
- Database mengembalikan data yang akan digunakan sebagai bagian dari prompt untuk LLM.
- LLM menyusun jawaban yang akurat berdasarkan data.
LLM dan database bekerja sama untuk memberikan hasil real-time. Pada pengaturan awal, Anda perlu menyimpan data internal seperti deskripsi produk melalui model penyematan ke dalam database operasional sebagai vektor.
Database vektor
Photo Credit: Freepik
Komponen kunci dari pendekatan RAG adalah penerapan penyematan vektor. Google Cloud menyediakan beberapa opsi untuk menyimpannya. Vertex AI Vector Speech adalah alat yan dibuat khusus untuk menyimpan dan mengambil vektor pada volume tinggi, namun berlatensi rendah.
Apabila Anda sudah familier dengan PostgreSQL, ekstensi pgvector menyediakan cara mudah untuk menambahkan kueri vektor ke database untuk mendukung aplikasi gen AI. Cloud SQL dan AlloyDB mendukung pgvector, dengan AlloyDB AI mendukung ukuran vektor hingga 4x lebih besar dan performa hingga 10x lebih cepat dibanding PostgreSQL standar saat menggunakan mode indeks IVFFlat.
Baca juga: Google Cloud Meluncurkan Produk Baru untuk Pengembangan Aplikasi
Membangun aplikasi Gen AI untuk perusahaan mungkin tampak sulit di awal, tapi dengan memanfaatkan open-source tools seperti LangChain dan memanfaatkan resources Google Cloud, Anda bisa memulai dengan mudah. Untuk mempelajari lebih lanjut mengenai pgvector di Cloud SQL dan AlloyDB, Google Cloud telah menyediakan dokumentasinya di sini.
Bangun aplikasi Gen AI untuk perusahaan Anda sekarang juga dengan berbagai resources yang disediakan oleh Google Cloud. Untuk bisa memanfaatkan resources lengkap Cloud dalam pengembangan Gen AI, Anda bisa langsung memilih paket berlangganan melalui EIKON Technology. Kami menyediakan solusi komputasi awan Google Cloud yang dapat disesuaikan dengan kebutuhan Anda. Untuk informasi lebih lanjut, silakan hubungi kami di sini!