APLIKASI PEMBELAJARAN BAHASA ISYARAT MENGGUNAKAN TEKNOLOGI AUGMENTED REALITY DENGAN METODE MARKERLESS

Peneliti

Sugeng, S.Kom., M.T

Deskripsi/Abstrak

Setiap individu berkomunikasi untuk memahami maksud dan tujuan orang lain terhadap dirinya maupun lingkungannya. Namun, beberapa individu menghadapi kesulitan dalam berkomunikasi, terutama penyandang Tunarungu. Penelitian ini bertujuan membuat aplikasi pembelajaran bahasa isyarat yang menggabungkan teknologi pengenalan suara (speech to text) bebasis pembelajaran mesin dan Augmented Reality untuk membantu penyandang tunarungu dalam berkomunikasi. Pertama aplikasi akan mengenali masukkan suara dan mengubahnya menjadi teks. Setiap teks yang dikenali kemudian diubah menjadi gerakan bahasa isyarat SIBI yang ditampilkan dalam bentuk animasi 3D melalui Augmented Reality. Berdasarkan hasil pengujian yang telah dilakukan, aplikasi berhasil mencapai tujuan yang ditetapkan, dengan integrasi pengenalan suara ke teks dan gerakan 3D Augmented Reality mencapai tingkat keberhasilan 77.5%. Aplikasi dapat mengenali ucapan suara huruf A-Z. Selain itu aplikasi ini juga berhasil mengenali kata perkata serta mampu mengenali ucapan dalam bentuk kalimat masimal 5 kata setiap kalimat. Setiap huruf dan kata selanjutnya dapat diubah menjadi gerakan 3D pada augmented reality.