Page 97 - Penelitian E-MODUL KAPITA SELEKTA BIDANG AR_Neat

PENERAPAN AR BAGI PENYANDANG TUNARUNGU

Augmented Reality menawarkan solusi inovatif dalam mendukung

kebutuhan penyandang tunarungu melalui penyajian informasi visual
yang interaktif dan menarik. Teknologi ini memungkinkan penyandang

tunarungu mendapatkan aksesibilitas layaknya orang normal.

TUJUAN PEMBELAJARAN

Mahasiswa mampu:

1. Memahami integrasi AR dan teknologi ucapan bagi tunarungu

2. Mengetahui aplikasi mobilitas untuk mahasiswa tunarungu dan
tunanetra

3. Mengetahui aplikasi pengenalan bahasa isyarat menggunakan AR

A. Integrasi AR dan Teknologi Ucapan Bagi Tunarungu

Augmented reality dan teknologi ucapan yang terdiri dari

Automatic speech recognition (ASR), Text-to-speech synthesis (TTS)

dan Audio-visual speech recognition (AVSR) dapat digunakan untuk
membantu penyandang disabilitas khususnya tunarungu. Pada sistem

teknologi yang dibuat ucapan narator akan diubah menjadi teks yang

dapat dibaca dan menampilkannya langsung di layar AR, dan fungsi
dari AVSR adalah meningkatkan akurasi sistem untuk mengatasi

kebisingan disekitar lingkungan.

Sistem yang dibuat terdiri dari dua bagian yaitu perangkat keras
dan perangkat lunak. Perangkat keras terdiri dari kamera, mikrofon,

pengeras suara dan layar, sedangkan perangkat lunak yaitu inti sistem

dari mesin AR, ASR, AVSR, dan TTS, Algoritma joiner, Engine
Switcher, dan Skrip auto-save. Tunarungu juga dapat menggunakan AR

Head Mounted Display (AR-HMD) atau gawai untuk melihat

87