Membaca Peluang AI dalam Mendorong Inovasi Perangkat Asisten Pribadi dan Bahasa Isyarat

Salah satu fokus utama Program AI for Accesibility dari Microsoft adalah untuk memajukan inovasi teknologi AI dan mengurangi hambatan data yang berkaitan dengan bahasa isyarat. Oleh karenanya, di tahun 2019 lalu, Microsoft menyelenggarakan sebuah workshop bahasa isyarat. Dari acara tersebut, Abraham Glasser, Ph.D., seorang mahasiswa Ilmu Komputer dan Informasi, serta penutur asli ASL (American Sign Language) berhak atas hibah penelitan 3 tahun.

Karya Glasser fokus pada kebutuhan dan peluang yang amat pragmatis: mendorong inklusi dengan berkonsentrasi pada interaksi umum dengan asisten pintar rumahan untuk orang-orang yang menggunakan bahasa isyarat sebagai bentuk komunikasi utama.

Segera bentuk tim peneliti

Tindak lanjut dari proposal yang diajukan Glasser adalah sebuah penelitian intensif yang diselenggarakan di CAIR (Center for Accesibility and Inclusion Research) oleh para peneliti dari ces at Rochester Institute of Technology (RIT). CAIR menerbitkan penelitian tentang aksesibilitas komputasi siswa Tuli dan Sulit Mendengar yang menggunakan dua bahasa, Inggris sekaligus ASL. 

Untuk memulai penelitian ini, tim menyelidiki bagaimana siswa Tuli dan Sulit Mendengar lebih senang berinteraksi dengan perangkat asisten pribadi mereka, baik itu speaker pintar maupun perangkat lain di rumah yang dapat merespons perintah lisan.

Baca juga: Reading Coach, Tool Baru dari Microsoft Education untuk Tingkatkan Literasi

Ruang pengembangan teknologi AI dengan bahasa isyarat

Sayangnya, saat ini, belum ada perangkat yang memahami perintah dalam ASL atau bahasa isyarat lain; sehingga memperkenalkan kemampuan tersebut merupakan pengembangan teknologi masa depan yang penting untuk mendorong inklusi. Glasser mengeksplorasi skenario simulasi di mana, melalui kamera pada perangkat, teknologi akan dapat melihat penutur, memproses permintaan mereka, dan menampilkan hasil di layar perangkat.

Beberapa penelitian sebelumnya fokus pada fase interaksi dengan perangkat asisten pribadi, tapi masih sedikit yang menyertakan pengguna Tuli dan Sulit Mendengar. Tampak bahwa penerapan dan bahkan pengumpulan data yang relevan, masih menjadi hambatan utama dalam pengembangan teknologi AI berbahasa isyarat.

Wizard-of-Oz

Untuk membuka jalan ke depan bagi kemajuan teknologi, sangat penting untuk memahami kebutuhan pengguna. Glasser menyiapkan pengaturan konferensi video “Wizard-of-Oz.”, seorang “penyihir” juru bahasa isyarat dalam perangkat asisten pribadi pengguna yangbergabung dengan panggilan tanpa terlihat di kamera. Layar dan output perangkat akan muncul di jendela panggilan dan setiap peserta dipandu oleh moderator.

Photo Credit: Microsoft Blog

Abraham mampu mengidentifikasi cara-cara baru pengguna akan berinteraksi dengan perangkat, seperti perintah “bangun” yang tidak ditangkap dalam penelitian sebelumnya. Tangkapan layar dari berbagai tanda “bangun” yang dihasilkan oleh peserta selama penelitian yang dilakukan dari jarak jauh oleh para peneliti dari RIT. Peserta berinteraksi dengan perangkat asisten pribadi, menggunakan perintah ASL yang diterjemahkan oleh juru bahasa dan mereka secara spontan menggunakan ASL untuk mengaktifkan perangkat asisten pribadi sebelum memberi perintah.

Baca juga: What’s Next In Security: Update Keamanan Microsoft untuk Ancaman Kompleks

 Kategori yang paling banyak dibutuhkan

Photo Credit: Microsoft Blog

Selain itu, ringkasan frekuensi perintah menunjukkan kategori yang paling populer adalah “perintah dan kontrol” di mana pengguna menyesuaikan pengaturan perangkat, menavigasi hasil, dan menjawab gaya pertanyaan ya/tidak. Kategori populer berikutnya terkait pertanyaan hiburan, diikuti gaya hidup dan belanja.

Pengamatan lain adalah penggunaan tanda tanya di awal pertanyaan ya atau tidak, untuk menarik perhatian perangkat, karena biasanya lebih sering digunakan di akhir pertanyaan. Ketika muncul kesalahan, kebanyakan pengguna hanya akan mengabaikannya dan melanjutkan dengan perintah berbeda. Metode kedua adalah mengulangi perintah dengan kata-kata dan gaya yang sama persis, diikuti dengan menulis ulang perintah. Misalnya, beberapa menyusun ulang pertanyaan mereka atau mengeja untuk menunjukkan penekanan.

Hasil penelitian

Photo Credit: Microsoft Blog

Makalah dengan rincian lengkap penelitian telah dipresentasikan dan diterbitkan dalam Prosiding Konferensi CHI 2022 tentang Faktor SDM dalam Sistem Komputasi, berjudul “Analyzing Deaf and Hard-of-Hearing Users’ Behavior, Usage, and Interaction with a Personal Assistant Device that Understands Sign-Language Input”.

Pengetahuan yang diperoleh melalui penelitian ini kemudian menjadi dasar untuk membangun dataset video rekaman penyandang Tuli dan Sulit Mendengar yang membuat perintah ASL dan berinteraksi dengan perangkat asisten pribadi mereka. Nantinya, kumpulan data tersebut dapat dimanfaatkan lebih lanjut oleh komunitas riset untuk melatih teknologi pengenalan ASL. Bisa juga dimanfaatkan untuk pengembangan teknologi asisten pribadi dan teknologi bahasa isyarat.

Baca juga: Mengenal Resources dan Tools Baru Microsoft Azure untuk Implementasi AI yang Lebih Aman

Penelitian yang dilakukan oleh Glasser dan tim menunjukkan bahwa masih ada ruang yang begitu luas untuk pengembangan teknologi AI dengan dukungan bahasa isyarat. Ini sekaligus menjadi bukti bahwa Microsoft terus berupaya untuk bisa menghadirkan teknologi, terutama AI yang lebih inklusif.

Untuk mengikuti perkembangan teknologi maupun update dari Microsoft, Anda bisa mengikuti blog EIKON Technology. Kami juga menyediakan berbagai solusi dari Microsoft seperti Microsoft 365 dan Azure. Menariknya lagi, Anda pun dapat memilih paket berlangganan yang disesuaikan dengan kebutuhan perusahaan atau instansi. Untuk informasi selengkapnya, silakan klik di sini.