Avaliação do uso de modelos de aprendizagem profunda na tradução automática de línguas de sinais

Renan Paiva Oliveira Costa

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Diego Ramon Bezerra da Silva

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Samuel de Moura Moreira

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Daniel Faustino Lacerda de Souza

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Rostand Edson Oliveira Costa

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Tiago Maritan Ugulino de Araújo

ORCID iD Universidade Federal da Paraíba (UFPB) Brasil

Resumo

Os modelos recentes de Neural Machine Translation (NMT) podem ser aplicados a idiomas e domínios de poucos recursos sem limitações. Alguns trabalhos investigam se novas técnicas de NMT também podem ser generalizadas para diferentes recursos no que diz respeito à disponibilidade de dados e recursos computacionais. Nesse contexto, o objetivo geral deste estudo foi explorar métodos modernos de NMT e analisar a sua potencial aplicabilidade em contextos de poucos recursos, como é o caso das línguas de sinais. Para uma melhor avaliação, foram adaptados e utilizados alguns modelos promissores identificados no componente de tradução automática da Suíte VLibras e os resultados obtidos foram comparados com aqueles atualmente fornecidos pela atual arquitetura LightConv, sendo utilizado o mesmo corpus bilíngue Português-LIBRAS de treinamento e validação com mais de 70.000 sentenças geradas por linguístas, um dos maiores desse tipo disponíveis no mundo. Os resultados indicam que a adoção de uma das duas arquiteturas de melhor desempenho (Basic Transformer ou ByT5) ajudaria a melhorar a precisão e a qualidade da tradução da Suite VLibras, com um aumento percentual de até 12,73% considerando a métrica BLEU.

Palavras-chave


acessibilidade; línguas de poucos recursos; tradução automática neural; língua de sinais; transformers


Texto completo:

Referências


ABUJAR, S.; MASSUM, A. K. M.; BHATTACHARYA, B.; DUTTA, S.; HOSSAIN, S. A. English to Bengali neural machine translation using global attention mechanism. In: TAVARES, J. M. R. S.; CHAKRABARTI, S.; BHATTACHARYA, A.; GHATAK, S. (eds). Emerging technologies in data mining and information security. Lectures Notes in Networks and Systems, v. 164. Singapore: Springer, 2021. p. 359-369. DOI: https://doi.org/10.1007/978-981-15-9774-9_35.

AMIN, M.; HEFNY, H.; MOHAMMED, A. Sign language gloss translation using deep learning models. International Journal of Advanced Computer Science and Applications (IJACSA), v. 12, n. 11, p. 686-692, 2021. DOI: https://dx.doi.org/10.14569/IJACSA.2021.0121178.

ANGELOVA, G.; AVRAMIDIS, E.; MÖLLER, S. Using neural machine translation methods for sign language translation. In: MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: STUDENT RESEARCH WORKSHOP, 60., 2022, Dublin. Proceedings […]. Dublin: ACL, 2022. p. 273-284. DOI: https://doi.org/10.18653/v1/2022.acl-srw.21.

ARAÚJO, T. M. U. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. Tese. (Doutorado em Automação e Sistemas) – Universidade Federal do Rio Grande do Norte, Natal, 2012. Disponível em: https://repositorio.ufrn.br/handle/123456789/15190. Acesso em: 22 dez.2023.

ARVANITIS, N.; CONSTANTINOPOULOS, C.; KOSMOPOULOS, D. Translation of sign language glosses to text using sequence-to-sequence attention models. In: 2019 INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS (SITIS), 15., 2019, Sorrento. Proceedings […]. Sorrento: IEEE, 2019. p. 296-302. DOI: https://doi.org/10.1109/SITIS.2019.00056.

CAMGOZ, N. C.; HADFIELD, S.; KOLLER, O.; NEY, H.; BOWDEN, R. Neural sign language translation. In: 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. 2018, Salt Lake City. Proceedings […]. Salt Lake City: IEEE, p. 7784-7793, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00812.

CAMGOZ, N. C.; KOLLER, O.; HADFIELD, S.; BOWDEN, R. Sign language transformers: joint end-to-end sign language recognition and translation. In: 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, Seattle. Proceedings […]. Seattle: IEEE, 2020, p. 10023-10033. DOI: https://doi.org/10.1109/CVPR42600.2020.01004.

CORRÊA, Y.; CRUZ, C. R. (org.). Língua brasileira de sinais e tecnologias digitais. Porto Alegre: Penso, 2019.

DOSOVITSKIY, A.; KOLESNIKOV, A.; WEISSENBORN, D.; ZHAI, X.; UNTERTHEIR, T.; DEHGANI, M.; MINDERER, M.; HEIGOLD, G.; GELLY, S.; USZKOREIT, J.; HOULSBY, N. An image is worth 16x16 words: Transformers for image recognition at scale. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2021), 2021, Virtual. Proceedings […]. 2021. Disponível em: https://iclr.cc/virtual/2021/poster/3013. Acesso em 02 jan. 2024.

DRYER, M. S.; HASPELMATH, M. The world atlas of language structures (WALS). 2013. Disponível em: https://wals.info/. Acesso em: 22 dez. 2023.

FAROOQ, U.; RAHIM, M. S. M.; SABIR, N.; HUSSAIN, A.; ABID, A. Advances in machine translation for sign language: approaches, limitations, and challenges. Neural Computing and Applications, v. 33, n. 21, p. 14357-14399, 2021. DOI: https://doi.org/10.1007/s00521-021-06079-3.

GAGE, P. A new algorithm for data compression. C Users Journal, v. 12, n. 2, p. 23-38, 1994. Disponível em: https://dl.acm.org/doi/10.5555/177910.177914. Acesso em: 28 dez. 2023.

GÓMEZ, S. E.; MCGILL, E.; SAGGION, H. Syntax-aware transformers for neural machine translation: The case of text to sign gloss translation. In: WORKSHOP ON BUILDING AND USING COMPARABLE CORPORA (BUCC 2021), 14., 2021, Online. Proceedings [...]. 2021, p. 18-27. Disponível em: https://aclanthology.org/2021.bucc-1.4. Acesso em: 22 dez. 2023.

HAMED, H.; HELMY, A. M.; MOHAMMED, A. Holy quran-italian seq2seq machine translation with attention mechanism. In: 2022 INTERNATIONAL MOBILE, INTELLIGENT, AND UBIQUITOUS COMPUTING CONFERENCE (MIUCC), 2., 2022, Cairo. Proceedings […]. Cairo: IEEE, 2022. p. 11-20. DOI: https://doi.org/10.1109/MIUCC55081.2022.9781781.

HAQUE, R.; LIU, C.-H.; WAY, A. Recent advances of low-resource neural machine translation. Machine Translation, v. 35, p. 451-474, 2021. DOI: https://doi.org/10.1007/s10590-021-09281-1.

KHAN, M. ULLAH, K.; ALHARBI, Y.; ALFERAIDI, A.; ALHARBI, T. S.; YADAV, K.; ALSHARABI, N.; AHMAD, A. Understanding the research challenges in low-resource language and linking bilingual news articles in multilingual news archive. Applied Sciences, v. 13, n. 15, 8566, 2023. DOI: https://doi.org/10.3390/app13158566.

KOEHN, P.; KNOWLES, R. Six challenges for neural machine translation. In: WORKSHOP ON NEURAL MACHINE TRANSLATION, 1., 2017. Vancouver. Proceedings […]. Vancouver: ACL, 2017. p. 28-39. DOI: https://doi.org/10.18653/v1/W17-3204.

KUDO, T.; RICHARDSON, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In: 2018 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2018, Brussels. Proceedings […]. Brussels: ACL, 2018. p. 66-71. DOI: https://doi.org/10.18653/v1/D18-2012.

LEVENSHTEIN, V. I. Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics-Doklady, v. 10, n. 8, p. 707-710, 1966. Disponível em: https://nymity.ch/sybilhunting/pdf/Levenshtein1966a.pdf. Acesso em: 22 dez. 2023.

LEWIS, M. P. Ethnologue: languages of the world. 17. ed. Dallas: Sil International, 2014.

LIU, Z.; WINATA, G. I.; FUNG, P. Continual mixed-language pre-training for extremely low-resource neural machine translation. In: FINDINGS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL-IJCNLP 2021), 2021, Online. Proceedings […]. Online: ACL, 2021. DOI: https://doi.org/10.18653/v1/2021.findings-acl.239.

MOHAMED, A.; HEFNY, H.; AMIN, M. A deep learning approach for gloss sign language translation using transformer. Journal of Computing and Communication, v. 1, n. 2, p. 1-8, 2022. DOI: https://dx.doi.org/10.21608/jocc.2022.254979.

OLIVEIRA, C. C. M.; RÊGO, T. G.; LIMA, M. A. C. B.; ARAÚJO, T. M. U. Analysis of rule-based machine translation and neural machine translation approaches for translating Portuguese to LIBRAS. In: BRAZILLIAN SYMPOSIUM ON MULTIMEDIA AND THE WEB, 25., 2019, Rio de Janeiro. Proceedings […]. Rio de Janeiro: ACM, p. 117-124, 2019. DOI: https://doi.org/10.1145/3323503.3360305.

ORTEGA, J. E.; MAMANI, R. C.; CHO, K. Neural machine translation with a polysynthetic low resource language. Machine Translation, v. 34, n. 4, p. 325-346, 2020. DOI: https://dx.doi.org/10.1007/s10590-020-09255-9.

PAPINENI, K.; ROUKOS, S.; WARD, T.; ZHU, W.-J. Bleu: a method for automatic evaluation of machine translation. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 40., 2002, Philadelphia. Proceedings […]. Philadelphia: ACM, 2002. p. 311-318. DOI: https://doi.org/10.3115/1073083.1073135.

QUADROS, R. M. Efeitos de modalidade de língua: as línguas de sinais. ETD – Educação Temática Digital, v. 7, n. 2, p. 168-178. 2006. DOI: https://doi.org/10.20396/etd.v7i2.801.

RANATHUNGA, S.; LEE, E.-S. A.; SKENDULI, M. P.; SHEKTAR, R.; ALAM, M.; KAUR, R. Neural machine translation for low-resource languages: a survey. ACM Computing Surveys, v. 55, n. 11, p. 1-37, 2023. DOI: https://doi.org/10.1145/3567592.

RIVERA-TRIGUEROS, I.; OLVERA-LOBO, M.-D.; GUTIÉRREZ-ARTACHO, J. Overview of machine translation development. In: KHOSROW-POUR, M. (ed.). Encyclopedia of Information Science and Technology. 5. ed.. IGI Global, 2021. p. 874-886. DOI: https://dx.doi.org/10.4018/978-1-7998-3479-3.ch060.

SAUNDERS, B.; CAMGOZ, N. C.; BOWDEN, R. Progressive transformers for end-to-end sign language production. In: VEDALDI, A.; BISCHOF, H.; BROX, T.; FRAHM, J. M. (eds). Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science(), v. 12356. Cham: Springer, 2020. DOI: https://doi.org/10.1007/978-3-030-58621-8_40.

SHAZEER, N.; MIRHOSEINI, A.; MAZIARZ, K.; DAVIS, A.; LE, Q.; HINTON, G.; DEAN, J. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2017), 2017, Toulon. Proceedings […]. Toulon, 2017. Disponível em https://openreview.net/pdf?id=B1ckMDqlg. Acesso em: 02 jan. 2024.

SOUZA, M. F. N. S.; ARAUJO, A. M. B.; SANDES, L. F. F.; FREITAS, D. A.; SOARES, W. D.; VIANNA, R. S. M.; SOUSA, A. A. D. Principais dificuldades e obstáculos enfrentados pela comunidade surda no acesso à saúde: uma revisão integrativa de literatura. Revista CEFAC, v. 19, n. 3, p. 395-405, 2017. DOI: https://doi.org/10.1590/1982-0216201719317116.

WAGNER FILHO, J. A.; WILKENS, R.; IDIART, M.; VILLAVICENCIO A. The brWaC corpus: a new open resource for Brazilian Portuguese. In: INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2018), 11., 2018, Miyazaki. Proceedings […].Miyazaki: ELRA. 2018. Disponível em: https://aclanthology.org/L18-1686. Acesso em: 22 dez. 2023.

WILCOX, S.; WILCOX, P. P. Aprender a ver. Rio de Janeiro: Arara Azul, 2005.

WU, F.; FAN, A.; BAEVSKI, A.; DAUPHIN, Y.; AULI, M. Pay less attention with lightweight and dynamic convolutions. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2019), 2019, New Orleans. Proceedings […]. New Orleans, 2019. Disponível em: https://openreview.net/forum?id=SkVhlh09tX. Acesso em: 02 jan. 2024.

YIN, K.; READ, J. Attention is all you sign: sign language translation with transformers. In: SIGN LANGUAGE RECOGNITION, TRANSLATION AND PRODUCTION (SLRTP). 2020, Virtual Event. Proceedings […]. 2020. Disponível em: https://www.slrtp.com/papers/extended_ abstracts/SLRTP.EA.12.009.paper.pdf. Acesso em: 22 dez. 2023.

YONGLAN, L.; WENJIA, H. English-Chinese machine translation model based on bidirectional neural network with attention mechanism. Journal of Sensors, v. 2022, 5199248, 2022. DOI: https://doi.org/10.1155/2022/5199248.

ZHANG, X.; DUH, K. Approaching sign language gloss translation as a low-resource machine translation task. In: BIENNIAL MACHINE TRANSLATION SUMMIT; INTERNATIONAL WORKSHOP ON AUTOMATIC TRANSLATION FOR SIGNED AND SPOKEN LANGUAGES (AT4SSL), 18., 1., 2021, Virtual USA. Proceedings […]. p. 60-70. Disponível em: https://aclanthology.org/2021.mtsummit-at4ssl.7/. Acesso em: 22 dez. 2023.


DOI: http://dx.doi.org/10.18265/2447-9187a2022id8053

O arquivo PDF selecionado deve ser carregado no navegador caso tenha instalado um plugin de leitura de arquivos PDF (por exemplo, uma versão atual do Adobe Acrobat Reader).

Como alternativa, pode-se baixar o arquivo PDF para o computador, de onde poderá abrí-lo com o leitor PDF de sua preferência. Para baixar o PDF, clique no link abaixo.

Caso deseje mais informações sobre como imprimir, salvar e trabalhar com PDFs, a Highwire Press oferece uma página de Perguntas Frequentes sobre PDFs bastante útil.

Download do PDF
Imprimir artigo
Exibir metadados
Como citar este documento

Visitas a este artigo: 495

Total de downloads do artigo: 261