Page 98 - Penelitian E-MODUL KAPITA SELEKTA BIDANG AR_Neat
P. 98
lingkungan AR. Karena sistem yang digunakan dikembangkan sebagai
aplikasi lintas platform.
Gambar 7. 1 Tampilan Cara Kerja Sistem
(Sumber: https://ieeexplore.ieee.org/)
Dalam proses sistem yang dibuat, mesin ASR dan AVSR
mengumpulkan setiap ucapan dari narator yang terdeteksi, dan mesin
AR menampilkan setiap ucapan narator melalui layar. Algoritma Joiner
digunakan untuk menggabungkan mesin AR dan ASR atau mesin AR
dan AVSR. Mesin TTS digunakan oleh sistem untuk mengubah teks
yang masuk menjadi ucapan antara tunarungu dan narator. Layar AR
menampilkan teks sebagai objek dinamis dalam lingkungan AR. Untuk
mendapatkan video dan ucapan narator, sistem yang dibuat
menggunakan kamera dan mikrofon internal pada ponsel atau AR-
HMD.
Selain itu, keyboard UMPC atau keyboard virtual pada tablet
digunakan oleh orang tuli untuk menulis teks. Kemudian, mesin TTS
akan mengubah teks menjadi ucapan, dan ucapan akan diputar oleh
pembicara.
88
