Uso de Redes Neurais BiLSTM com Atenção para o Reconhecimento Automático de Gestos Isolados em Libras
DOI:
https://doi.org/10.5753/reic.2026.8428Keywords:
Libras, reconhecimento de sinais, BiLSTM, MediaPipe, visão computacionalAbstract
Este trabalho apresenta o desenvolvimento e a validação de um sistema leve para reconhecimento de sinais isolados da Língua Brasileira de Sinais (Libras), utilizando landmarks das mãos extraídos pelo MediaPipe e uma arquitetura temporal baseada em BiLSTM com atenção. A entrada do sistema consiste em um vídeo do gesto, convertido em sequências de 126 características por quadro, correspondentes às coordenadas tridimensionais de até duas mãos. O modelo foi avaliado em 55 sinais e alcançou acurácia de 98,67%, com aproximadamente 1,04 milhão de parâmetros. Além da avaliação experimental, o modelo foi integrado a uma aplicação web, permitindo inferência em tempo real a partir da câmera do usuário. Os resultados indicam que representações baseadas em landmarks são suficientes para o reconhecimento eficiente de sinais isolados, viabilizando uma solução com latência interativa e custo computacional controlado.
Downloads
Referências
Alves, C. E. G. R., Boldt, F. d. A., and Paixão, T. M. (2024). Enhancing Brazilian Sign Language recognition through skeleton image representation. arXiv preprint arXiv:2404.19148.
de Avellar Sarmento, A. H. and Ponti, M. A. (2023). A cross-dataset study on the Brazilian Sign Language translation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, pages 2816–2820. DOI: 10.1109/ICCVW60793.2023.00300.
Desai, A., Berger, L., Minakov, F., Milano, N., Singh, C., Pumphrey, K., Ladner, R. E., Daumé III, H., Lu, A. X., Caselli, N., and Bragg, D. (2023). ASL citizen: A community-sourced dataset for advancing isolated sign language recognition. In Advances in Neural Information Processing Systems, volume 36. Versão publicada no NeurIPS 2023 Datasets and Benchmarks Track. DOI: 10.48550/arXiv.2304.05934.
Duarte, A., Palaskar, S., Ventura, L., Ghadiyaram, D., DeHaan, K., Metze, F., Torres, J., and Giró-i Nieto, X. (2021). How2Sign: A large-scale multimodal dataset for continuous American Sign Language. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 2735–2744. DOI: 10.1109/CVPR46437.2021.00276.
Google (2024). MediaPipe: Cross-platform, customizable ML solutions for live and streaming media. Project website. Disponível em: [link]. Acesso em: 15 maio 2026.
Instituto Brasileiro de Geografia e Estatística (2019a). Pesquisa nacional de saúde 2019: Tabela 8217 – pessoas com deficiência auditiva, por sexo e situação do domicílio. Sistema IBGE de Recuperação Automática (SIDRA). Disponível em: [link]. Acesso em: 15 maio 2026.
Instituto Brasileiro de Geografia e Estatística (2019b). Pesquisa nacional de saúde 2019: Tabela 8223 – pessoas de cinco anos ou mais de idade que referiram dificuldade permanente para ouvir, por conhecimento da língua brasileira de sinais – libras e grau de dificuldade para ouvir. Sistema IBGE de Recuperação Automática (SIDRA). Disponível em: [link]. Acesso em: 16 maio 2026.
Instituto Brasileiro de Geografia e Estatística (2021). Um em cada quatro idosos tinha algum tipo de deficiência em 2019. Agência IBGE Notícias. Publicado em 26 ago. 2021. Disponível em: [link]. Acesso em: 16 maio 2026.
Kumari, D. and Anand, R. S. (2024). Isolated video-based sign language recognition using a hybrid CNN-LSTM framework based on attention mechanism. Electronics, 13(7):1229. DOI: 10.3390/electronics13071229.
Li, D., Rodriguez, C., Yu, X., and Li, H. (2020). Word-level deep sign language recognition from video: A new large-scale dataset and methods comparison. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pages 1459–1469. DOI: 10.1109/WACV45572.2020.9093512.
Rezende, T. M. (2021). Reconhecimento Automático de Sinais da Libras: Desenvolvimento da Base de Dados MINDS-Libras e Modelos de Redes Convolucionais. Tese (doutorado em engenharia elétrica), Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil. Disponível em: [link]. Acesso em: 15 maio 2026.
Rezende, T. M., Almeida, S. G. M., and Guimarães, F. G. (2021). Development and validation of a Brazilian Sign Language database for human gesture recognition. Neural Computing and Applications, 33(16):10449–10467. DOI: 10.1007/s00521-021-05802-4.
Shi, B., Brentari, D., Shakhnarovich, G., and Livescu, K. (2022). Open-domain sign language translation learned from online video. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6365–6379, Abu Dhabi, United Arab Emirates. Association for Computational Linguistics. DOI: 10.18653/v1/2022.emnlp-main.427.
Silva, T. C. (2026). CTIC-CSBC-Libras: Código-fonte, scripts experimentais e resultados complementares. Repositório público no GitHub. Tulio-CS/CTIC-CSBC-Libras. Disponível em: [link]. Acesso em: 15 maio 2026.
Stefano, G. d. S. L., Passos, W. L., Gois, J. N., Araujo, G. M., and de Lima, A. A. (2021). Um sistema de reconhecimento de sinais em Libras usando CNN e LSTM. In Anais do XXXIX Simpósio Brasileiro de Telecomunicações e Processamento de Sinais (SBrT 2021), Fortaleza, CE, Brasil. Sociedade Brasileira de Telecomunicações. DOI: 10.14209/sbrt.2021.1570727292.
Vaezi Joze, H. R. and Koller, O. (2019). MS-ASL: A large-scale data set and benchmark for understanding American Sign Language. arXiv preprint arXiv:1812.01053.
World Federation of the Deaf (2026). Our work. Institutional website. Disponível em: [link]. Acesso em: 15 maio 2026.
World Health Organization (2026). Deafness and hearing loss. Fact sheet. Disponível em: [link]. Publicado em 3 mar. 2026. Acesso em: 15 maio 2026.
Zhang, Y. and Jiang, X. (2024). Recent advances on deep learning for sign language recognition. Computer Modeling in Engineering & Sciences, 139(3):2399–2450. DOI: 10.32604/cmes.2023.045731.
Downloads
Published
Como Citar
Issue
Section
Licença
Copyright (c) 2026 Os autores
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
