Avaliação do uso de modelos de aprendizagem profunda na tradução automática de línguas de sinais
DOI:
https://doi.org/10.18265/2447-9187a2022id8053Palavras-chave:
acessibilidade, língua de sinais, línguas de poucos recursos, tradução automática neural, transformersResumo
Os modelos recentes de Tradução Automática Neural (Neural Machine Translation – NMT) podem ser aplicados a idiomas e domínios de poucos recursos sem limitações significativas. Vários estudos investigam se novas técnicas de NMT também podem ser generalizadas para diferentes contextos, considerando a disponibilidade de dados e infraestrutura computacional. Nesse contexto, o objetivo principal deste estudo foi explorar métodos modernos de NMT e analisar a sua potencial aplicabilidade em cenários de poucos recursos, como os das línguas de sinais. Para uma melhor avaliação, foram adaptados e utilizados alguns modelos promissores identificados no componente de tradução automática da Suíte VLibras e os resultados foram comparados com aqueles fornecidos pela arquitetura LightConv atual, utilizando-se o mesmo corpus de treinamento e validação bilíngue Português-Libras, um dos maiores desse tipo disponíveis no mundo, constituído por mais de 70.000 frases geradas por linguistas. Os resultados indicam que a adoção de uma das duas arquiteturas de melhor desempenho – a Basic Transformer ou a ByT5 – ajudaria a melhorar a precisão e a qualidade da tradução da Suíte VLibras, com um aumento percentual de até 12,73% considerando a métrica BLEU.
Downloads
Métricas
Referências
ABUJAR, S.; MASSUM, A. K. M.; BHATTACHARYA, B.; DUTTA, S.; HOSSAIN, S. A. English to Bengali neural machine translation using global attention mechanism. In: TAVARES, J. M. R. S.; CHAKRABARTI, S.; BHATTACHARYA, A.; GHATAK, S. (ed.). Emerging Technologies in Data Mining and Information Security. Singapore: Springer, 2021. p. 359-369. (Lectures Notes in Networks and Systems, v. 164). DOI: https://doi.org/10.1007/978-981-15-9774-9_35.
AMIN, M.; HEFNY, H.; MOHAMMED, A. Sign language gloss translation using deep learning models. International Journal of Advanced Computer Science and Applications (IJACSA), v. 12, n. 11, p. 686-692, 2021. DOI: https://dx.doi.org/10.14569/IJACSA.2021.0121178.
ANGELOVA, G.; AVRAMIDIS, E.; MÖLLER, S. Using neural machine translation methods for sign language translation. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: STUDENT RESEARCH WORKSHOP, 60., 2022, Dublin. Proceedings […]. Dublin: ACL, 2022. p. 273-284. DOI: https://doi.org/10.18653/v1/2022.acl-srw.21.
ARAÚJO, T. M. U. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. Tese. (Doutorado em Automação e Sistemas) – Universidade Federal do Rio Grande do Norte, Natal, 2012. Disponível em: https://repositorio.ufrn.br/handle/123456789/15190. Acesso em: 22 dez. 2023.
ARVANITIS, N.; CONSTANTINOPOULOS, C.; KOSMOPOULOS, D. Translation of sign language glosses to text using sequence-to-sequence attention models. In: INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS (SITIS), 15., 2019, Sorrento. Proceedings […]. Sorrento: IEEE, 2019. p. 296-302. DOI: https://doi.org/10.1109/SITIS.2019.00056.
CAMGOZ, N. C.; HADFIELD, S.; KOLLER, O.; NEY, H.; BOWDEN, R. Neural sign language translation. In: 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2018, Salt Lake City. Proceedings […]. Salt Lake City: IEEE, 2018. p. 7784-7793. DOI: https://doi.org/10.1109/CVPR.2018.00812.
CAMGOZ, N. C.; KOLLER, O.; HADFIELD, S.; BOWDEN, R. Sign language transformers: joint end-to-end sign language recognition and translation. In: 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, Seattle. Proceedings […]. Seattle: IEEE, 2020. p. 10023-10033. DOI: https://doi.org/10.1109/CVPR42600.2020.01004.
CORRÊA, Y.; CRUZ, C. R. (org.). Língua brasileira de sinais e tecnologias digitais. Porto Alegre: Penso, 2019.
DOSOVITSKIY, A.; BEYER, L.; KOLESNIKOV, A.; WEISSENBORN, D.; ZHAI, X.; UNTERTHEIR, T.; DEHGANI, M.; MINDERER, M.; HEIGOLD, G.; GELLY, S.; USZKOREIT, J.; HOULSBY, N. An image is worth 16x16 words: Transformers for image recognition at scale. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2021), 9., 2021, on-line. Proceedings […]. Viena: OpenReview, 2021. Disponível em: https://openreview.net/forum?id=YicbFdNTTy. Acesso em: 2 jan. 2024.
DRYER, M. S.; HASPELMATH, M. The world atlas of language structures (WALS). 2013. Disponível em: https://wals.info/. Acesso em: 22 dez. 2023.
FAROOQ, U.; RAHIM, M. S. M.; SABIR, N.; HUSSAIN, A.; ABID, A. Advances in machine translation for sign language: approaches, limitations, and challenges. Neural Computing and Applications, v. 33, n. 21, p. 14357-14399, 2021. DOI: https://doi.org/10.1007/s00521-021-06079-3.
GAGE, P. A new algorithm for data compression. C Users Journal, v. 12, n. 2, p. 23-38, 1994. Disponível em: https://dl.acm.org/doi/10.5555/177910.177914. Acesso em: 28 dez. 2023.
GÓMEZ, S. E.; MCGILL, E.; SAGGION, H. Syntax-aware transformers for neural machine translation: The case of text to sign gloss translation. In: WORKSHOP ON BUILDING AND USING COMPARABLE CORPORA (BUCC 2021), 14., 2021, on-line. Proceedings [...]. [S.l.]: ACL Anthology, 2021. p. 18-27. Disponível em: https://aclanthology.org/2021.bucc-1.4. Acesso em: 22 dez. 2023.
HAMED, H.; HELMY, A. M.; MOHAMMED, A. Holy quran-italian seq2seq machine translation with attention mechanism. In: INTERNATIONAL MOBILE, INTELLIGENT, AND UBIQUITOUS COMPUTING CONFERENCE (MIUCC), 2., 2022, Cairo. Proceedings […]. Cairo: IEEE, 2022. p. 11-20. DOI: https://doi.org/10.1109/MIUCC55081.2022.9781781.
HAQUE, R.; LIU, C.-H.; WAY, A. Recent advances of low-resource neural machine translation. Machine Translation, v. 35, p. 451-474, 2021. DOI: https://doi.org/10.1007/s10590-021-09281-1.
KHAN, M.; ULLAH, K.; ALHARBI, Y.; ALFERAIDI, A.; ALHARBI, T. S.; YADAV, K.; ALSHARABI, N.; AHMAD, A. Understanding the research challenges in low-resource language and linking bilingual news articles in multilingual news archive. Applied Sciences, v. 13, n. 15, 8566, 2023. DOI: https://doi.org/10.3390/app13158566.
KOEHN, P.; KNOWLES, R. Six challenges for neural machine translation. In: WORKSHOP ON NEURAL MACHINE TRANSLATION, 1., 2017. Vancouver. Proceedings […]. Vancouver: ACL, 2017. p. 28-39. DOI: https://doi.org/10.18653/v1/W17-3204.
KUDO, T.; RICHARDSON, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In: 2018 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2018, Brussels. Proceedings […]. Brussels: ACL, 2018. p. 66-71. DOI: https://doi.org/10.18653/v1/D18-2012.
LEVENSHTEIN, V. I. Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics-Doklady, v. 10, n. 8, p. 707-710, 1966. Disponível em: https://nymity.ch/sybilhunting/pdf/Levenshtein1966a.pdf. Acesso em: 22 dez. 2023.
LEWIS, M. P. Ethnologue: languages of the world. 17. ed. Dallas: Sil International, 2014.
LIU, Z.; WINATA, G. I.; FUNG, P. Continual mixed-language pre-training for extremely low-resource neural machine translation. In: FINDINGS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL-IJCNLP 2021), 2021, on-line. Proceedings […]. [S.l.]: ACL, 2021. p. 2706–2718. DOI: https://doi.org/10.18653/v1/2021.findings-acl.239.
MOHAMED, A.; HEFNY, H.; AMIN, M. A deep learning approach for gloss sign language translation using Transformer. Journal of Computing and Communication, v. 1, n. 2, p. 1-8, 2022. DOI: https://dx.doi.org/10.21608/jocc.2022.254979.
OLIVEIRA, C. C. M.; RÊGO, T. G.; LIMA, M. A. C. B.; ARAÚJO, T. M. U. Analysis of rule-based machine translation and neural machine translation approaches for translating Portuguese to LIBRAS. In: BRAZILLIAN SYMPOSIUM ON MULTIMEDIA AND THE WEB, 25., 2019, Rio de Janeiro. Proceedings […]. Rio de Janeiro: ACM, 2019. p. 117-124. DOI: https://doi.org/10.1145/3323503.3360305.
ORTEGA, J. E.; MAMANI, R. C.; CHO, K. Neural machine translation with a polysynthetic low resource language. Machine Translation, v. 34, n. 4, p. 325-346, 2020. DOI: https://dx.doi.org/10.1007/s10590-020-09255-9.
PAPINENI, K.; ROUKOS, S.; WARD, T.; ZHU, W.-J. BLEU: a method for automatic evaluation of machine translation. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 40., 2002, Philadelphia. Proceedings […]. Philadelphia: ACM, 2002. p. 311-318. DOI: https://doi.org/10.3115/1073083.1073135.
QUADROS, R. M. Efeitos de modalidade de língua: as línguas de sinais. ETD – Educação Temática Digital, v. 7, n. 2, p. 168-178, 2006. DOI: https://doi.org/10.20396/etd.v7i2.801.
RANATHUNGA, S.; LEE, E.-S. A.; SKENDULI, M. P.; SHEKHAR, R.; ALAM, M.; KAUR, R. Neural machine translation for low-resource languages: a survey. ACM Computing Surveys, v. 55, n. 11, 229, 2023. DOI: https://doi.org/10.1145/3567592.
RIVERA-TRIGUEROS, I.; OLVERA-LOBO, M.-D.; GUTIÉRREZ-ARTACHO, J. Overview of machine translation development. In: KHOSROW-POUR, M. (ed.). Encyclopedia of Information Science and Technology. 5. ed. Hershey: IGI Global, 2021. p. 874-886. DOI: https://dx.doi.org/10.4018/978-1-7998-3479-3.ch060.
SAUNDERS, B.; CAMGOZ, N. C.; BOWDEN, R. Progressive transformers for end-to-end sign language production. In: VEDALDI, A.; BISCHOF, H.; BROX, T.; FRAHM, J.-M. (ed.). Computer Vision – ECCV 2020. Cham: Springer, 2020. p. 687-705. (Lecture Notes in Computer Science, v. 12356). DOI: https://doi.org/10.1007/978-3-030-58621-8_40.
SHAZEER, N.; MIRHOSEINI, A.; MAZIARZ, K.; DAVIS, A.; LE, Q.; HINTON, G.; DEAN, J. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2017), 2017, Toulon. Proceedings […]. Toulon: OpenReview, 2017. Disponível em: https://openreview.net/pdf?id=B1ckMDqlg. Acesso em: 2 jan. 2024.
SOUZA, M. F. N. S.; ARAÚJO, A. M. B.; SANDES, L. F. F.; FREITAS, D. A.; SOARES, W. D.; VIANNA, R. S. M.; SOUSA, A. A. D. Principais dificuldades e obstáculos enfrentados pela comunidade surda no acesso à saúde: uma revisão integrativa de literatura. Revista CEFAC, v. 19, n. 3, p. 395-405, 2017. DOI: https://doi.org/10.1590/1982-0216201719317116.
WAGNER FILHO, J. A.; WILKENS, R.; IDIART, M.; VILLAVICENCIO A. The brWaC corpus: a new open resource for Brazilian Portuguese. In: INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2018), 11., 2018, Miyazaki. Proceedings […]. Miyazaki: ELRA, 2018. Disponível em: https://aclanthology.org/L18-1686. Acesso em: 22 dez. 2023.
WILCOX, S.; WILCOX, P. P. Aprender a ver. Rio de Janeiro: Arara Azul, 1997.
WU, F.; FAN, A.; BAEVSKI, A.; DAUPHIN, Y.; AULI, M. Pay less attention with lightweight and dynamic convolutions. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2019), 2019, New Orleans. Proceedings […]. New Orleans: OpenReview, 2019. Disponível em: https://openreview.net/forum?id=SkVhlh09tX. Acesso em: 2 jan. 2024.
YIN, K.; READ, J. Attention is all you sign: sign language translation with transformers. In: SIGN LANGUAGE RECOGNITION, TRANSLATION AND PRODUCTION (SLRTP), 2020, on-line. Proceedings […]. [S.l.]: [s.n.], 2020. Disponível em: https://www.slrtp.com/papers/extended_abstracts/SLRTP.EA.12.009.paper.pdf. Acesso em: 22 dez. 2023.
YONGLAN, L.; WENJIA, H. English-Chinese machine translation model based on bidirectional neural network with attention mechanism. Journal of Sensors, v. 2022, 5199248, 2022. DOI: https://doi.org/10.1155/2022/5199248.
ZHANG, X.; DUH, K. Approaching sign language gloss translation as a low-resource machine translation task. In: BIENNIAL MACHINE TRANSLATION SUMMIT, 18.; INTERNATIONAL WORKSHOP ON AUTOMATIC TRANSLATION FOR SIGNED AND SPOKEN LANGUAGES (AT4SSL), 1., 2021, on-line. Proceedings […]. [S.l.]: Association for Machine Translation in the Americas, 2021. p. 60-70. Disponível em: https://aclanthology.org/2021.mtsummit-at4ssl.7/. Acesso em: 22 dez. 2023.
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2024 Renan Paiva Oliveira Costa, Diego Ramon Bezerra da Silva, Samuel de Moura Moreira, Daniel Faustino Lacerda de Souza, Rostand Edson Oliveira Costa, Tiago Maritan Ugulino de Araújo
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Esta revista, seguindo as recomendações do movimento de Acesso Aberto, proporciona seu conteúdo em Full Open Access. Assim os autores conservam todos seus direitos permitindo que a Revista Principia possa publicar seus artigos e disponibilizar pra toda a comunidade.
A Revista Principia adota a licença Creative Commons 4.0 do tipo atribuição (CC-BY). Esta licença permite que outros distribuam, remixem, adaptem e criem a partir do seu trabalho, inclusive para fins comerciais, desde que lhe atribuam o devido crédito pela criação original.
Os autores estão autorizados a enviar a versão do artigo publicado nesta revista em repositório institucionais, com reconhecimento de autoria e publicação inicial na Revista Principia.
Demais informações sobre a Política de Direitos Autorais da Revista Principia encontram-se neste link.
(precisa estar logado)
