Avaliação do uso de modelos de aprendizagem profunda na tradução automática de línguas de sinais
DOI:
https://doi.org/10.18265/2447-9187a2022id8053Palavras-chave:
acessibilidade, línguas de poucos recursos, tradução automática neural, língua de sinais, transformersResumo
Os modelos recentes de Neural Machine Translation (NMT) podem ser aplicados a idiomas e domínios de poucos recursos sem limitações. Alguns trabalhos investigam se novas técnicas de NMT também podem ser generalizadas para diferentes recursos no que diz respeito à disponibilidade de dados e recursos computacionais. Nesse contexto, o objetivo geral deste estudo foi explorar métodos modernos de NMT e analisar a sua potencial aplicabilidade em contextos de poucos recursos, como é o caso das línguas de sinais. Para uma melhor avaliação, foram adaptados e utilizados alguns modelos promissores identificados no componente de tradução automática da Suíte VLibras e os resultados obtidos foram comparados com aqueles atualmente fornecidos pela atual arquitetura LightConv, sendo utilizado o mesmo corpus bilíngue Português-LIBRAS de treinamento e validação com mais de 70.000 sentenças geradas por linguístas, um dos maiores desse tipo disponíveis no mundo. Os resultados indicam que a adoção de uma das duas arquiteturas de melhor desempenho (Basic Transformer ou ByT5) ajudaria a melhorar a precisão e a qualidade da tradução da Suite VLibras, com um aumento percentual de até 12,73% considerando a métrica BLEU.
Downloads
Referências
ABUJAR, S.; MASSUM, A. K. M.; BHATTACHARYA, B.; DUTTA, S.; HOSSAIN, S. A. English to Bengali neural machine translation using global attention mechanism. In: TAVARES, J. M. R. S.; CHAKRABARTI, S.; BHATTACHARYA, A.; GHATAK, S. (eds). Emerging technologies in data mining and information security. Lectures Notes in Networks and Systems, v. 164. Singapore: Springer, 2021. p. 359-369. DOI: https://doi.org/10.1007/978-981-15-9774-9_35.
AMIN, M.; HEFNY, H.; MOHAMMED, A. Sign language gloss translation using deep learning models. International Journal of Advanced Computer Science and Applications (IJACSA), v. 12, n. 11, p. 686-692, 2021. DOI: https://dx.doi.org/10.14569/IJACSA.2021.0121178.
ANGELOVA, G.; AVRAMIDIS, E.; MÖLLER, S. Using neural machine translation methods for sign language translation. In: MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: STUDENT RESEARCH WORKSHOP, 60., 2022, Dublin. Proceedings […]. Dublin: ACL, 2022. p. 273-284. DOI: https://doi.org/10.18653/v1/2022.acl-srw.21.
ARAÚJO, T. M. U. Uma solução para geração automática de trilhas em língua brasileira de sinais em conteúdos multimídia. 2012. Tese. (Doutorado em Automação e Sistemas) – Universidade Federal do Rio Grande do Norte, Natal, 2012. Disponível em: https://repositorio.ufrn.br/handle/123456789/15190. Acesso em: 22 dez.2023.
ARVANITIS, N.; CONSTANTINOPOULOS, C.; KOSMOPOULOS, D. Translation of sign language glosses to text using sequence-to-sequence attention models. In: 2019 INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY & INTERNET-BASED SYSTEMS (SITIS), 15., 2019, Sorrento. Proceedings […]. Sorrento: IEEE, 2019. p. 296-302. DOI: https://doi.org/10.1109/SITIS.2019.00056.
CAMGOZ, N. C.; HADFIELD, S.; KOLLER, O.; NEY, H.; BOWDEN, R. Neural sign language translation. In: 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. 2018, Salt Lake City. Proceedings […]. Salt Lake City: IEEE, p. 7784-7793, 2018. DOI: https://doi.org/10.1109/CVPR.2018.00812.
CAMGOZ, N. C.; KOLLER, O.; HADFIELD, S.; BOWDEN, R. Sign language transformers: joint end-to-end sign language recognition and translation. In: 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2020, Seattle. Proceedings […]. Seattle: IEEE, 2020, p. 10023-10033. DOI: https://doi.org/10.1109/CVPR42600.2020.01004.
CORRÊA, Y.; CRUZ, C. R. (org.). Língua brasileira de sinais e tecnologias digitais. Porto Alegre: Penso, 2019.
DOSOVITSKIY, A.; KOLESNIKOV, A.; WEISSENBORN, D.; ZHAI, X.; UNTERTHEIR, T.; DEHGANI, M.; MINDERER, M.; HEIGOLD, G.; GELLY, S.; USZKOREIT, J.; HOULSBY, N. An image is worth 16x16 words: Transformers for image recognition at scale. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2021), 2021, Virtual. Proceedings […]. 2021. Disponível em: https://iclr.cc/virtual/2021/poster/3013. Acesso em 02 jan. 2024.
DRYER, M. S.; HASPELMATH, M. The world atlas of language structures (WALS). 2013. Disponível em: https://wals.info/. Acesso em: 22 dez. 2023.
FAROOQ, U.; RAHIM, M. S. M.; SABIR, N.; HUSSAIN, A.; ABID, A. Advances in machine translation for sign language: approaches, limitations, and challenges. Neural Computing and Applications, v. 33, n. 21, p. 14357-14399, 2021. DOI: https://doi.org/10.1007/s00521-021-06079-3.
GAGE, P. A new algorithm for data compression. C Users Journal, v. 12, n. 2, p. 23-38, 1994. Disponível em: https://dl.acm.org/doi/10.5555/177910.177914. Acesso em: 28 dez. 2023.
GÓMEZ, S. E.; MCGILL, E.; SAGGION, H. Syntax-aware transformers for neural machine translation: The case of text to sign gloss translation. In: WORKSHOP ON BUILDING AND USING COMPARABLE CORPORA (BUCC 2021), 14., 2021, Online. Proceedings [...]. 2021, p. 18-27. Disponível em: https://aclanthology.org/2021.bucc-1.4. Acesso em: 22 dez. 2023.
HAMED, H.; HELMY, A. M.; MOHAMMED, A. Holy quran-italian seq2seq machine translation with attention mechanism. In: 2022 INTERNATIONAL MOBILE, INTELLIGENT, AND UBIQUITOUS COMPUTING CONFERENCE (MIUCC), 2., 2022, Cairo. Proceedings […]. Cairo: IEEE, 2022. p. 11-20. DOI: https://doi.org/10.1109/MIUCC55081.2022.9781781.
HAQUE, R.; LIU, C.-H.; WAY, A. Recent advances of low-resource neural machine translation. Machine Translation, v. 35, p. 451-474, 2021. DOI: https://doi.org/10.1007/s10590-021-09281-1.
KHAN, M. ULLAH, K.; ALHARBI, Y.; ALFERAIDI, A.; ALHARBI, T. S.; YADAV, K.; ALSHARABI, N.; AHMAD, A. Understanding the research challenges in low-resource language and linking bilingual news articles in multilingual news archive. Applied Sciences, v. 13, n. 15, 8566, 2023. DOI: https://doi.org/10.3390/app13158566.
KOEHN, P.; KNOWLES, R. Six challenges for neural machine translation. In: WORKSHOP ON NEURAL MACHINE TRANSLATION, 1., 2017. Vancouver. Proceedings […]. Vancouver: ACL, 2017. p. 28-39. DOI: https://doi.org/10.18653/v1/W17-3204.
KUDO, T.; RICHARDSON, J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing. In: 2018 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, 2018, Brussels. Proceedings […]. Brussels: ACL, 2018. p. 66-71. DOI: https://doi.org/10.18653/v1/D18-2012.
LEVENSHTEIN, V. I. Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics-Doklady, v. 10, n. 8, p. 707-710, 1966. Disponível em: https://nymity.ch/sybilhunting/pdf/Levenshtein1966a.pdf. Acesso em: 22 dez. 2023.
LEWIS, M. P. Ethnologue: languages of the world. 17. ed. Dallas: Sil International, 2014.
LIU, Z.; WINATA, G. I.; FUNG, P. Continual mixed-language pre-training for extremely low-resource neural machine translation. In: FINDINGS OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL-IJCNLP 2021), 2021, Online. Proceedings […]. Online: ACL, 2021. DOI: https://doi.org/10.18653/v1/2021.findings-acl.239.
MOHAMED, A.; HEFNY, H.; AMIN, M. A deep learning approach for gloss sign language translation using transformer. Journal of Computing and Communication, v. 1, n. 2, p. 1-8, 2022. DOI: https://dx.doi.org/10.21608/jocc.2022.254979.
OLIVEIRA, C. C. M.; RÊGO, T. G.; LIMA, M. A. C. B.; ARAÚJO, T. M. U. Analysis of rule-based machine translation and neural machine translation approaches for translating Portuguese to LIBRAS. In: BRAZILLIAN SYMPOSIUM ON MULTIMEDIA AND THE WEB, 25., 2019, Rio de Janeiro. Proceedings […]. Rio de Janeiro: ACM, p. 117-124, 2019. DOI: https://doi.org/10.1145/3323503.3360305.
ORTEGA, J. E.; MAMANI, R. C.; CHO, K. Neural machine translation with a polysynthetic low resource language. Machine Translation, v. 34, n. 4, p. 325-346, 2020. DOI: https://dx.doi.org/10.1007/s10590-020-09255-9.
PAPINENI, K.; ROUKOS, S.; WARD, T.; ZHU, W.-J. Bleu: a method for automatic evaluation of machine translation. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 40., 2002, Philadelphia. Proceedings […]. Philadelphia: ACM, 2002. p. 311-318. DOI: https://doi.org/10.3115/1073083.1073135.
QUADROS, R. M. Efeitos de modalidade de língua: as línguas de sinais. ETD – Educação Temática Digital, v. 7, n. 2, p. 168-178. 2006. DOI: https://doi.org/10.20396/etd.v7i2.801.
RANATHUNGA, S.; LEE, E.-S. A.; SKENDULI, M. P.; SHEKTAR, R.; ALAM, M.; KAUR, R. Neural machine translation for low-resource languages: a survey. ACM Computing Surveys, v. 55, n. 11, p. 1-37, 2023. DOI: https://doi.org/10.1145/3567592.
RIVERA-TRIGUEROS, I.; OLVERA-LOBO, M.-D.; GUTIÉRREZ-ARTACHO, J. Overview of machine translation development. In: KHOSROW-POUR, M. (ed.). Encyclopedia of Information Science and Technology. 5. ed.. IGI Global, 2021. p. 874-886. DOI: https://dx.doi.org/10.4018/978-1-7998-3479-3.ch060.
SAUNDERS, B.; CAMGOZ, N. C.; BOWDEN, R. Progressive transformers for end-to-end sign language production. In: VEDALDI, A.; BISCHOF, H.; BROX, T.; FRAHM, J. M. (eds). Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science(), v. 12356. Cham: Springer, 2020. DOI: https://doi.org/10.1007/978-3-030-58621-8_40.
SHAZEER, N.; MIRHOSEINI, A.; MAZIARZ, K.; DAVIS, A.; LE, Q.; HINTON, G.; DEAN, J. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2017), 2017, Toulon. Proceedings […]. Toulon, 2017. Disponível em https://openreview.net/pdf?id=B1ckMDqlg. Acesso em: 02 jan. 2024.
SOUZA, M. F. N. S.; ARAUJO, A. M. B.; SANDES, L. F. F.; FREITAS, D. A.; SOARES, W. D.; VIANNA, R. S. M.; SOUSA, A. A. D. Principais dificuldades e obstáculos enfrentados pela comunidade surda no acesso à saúde: uma revisão integrativa de literatura. Revista CEFAC, v. 19, n. 3, p. 395-405, 2017. DOI: https://doi.org/10.1590/1982-0216201719317116.
WAGNER FILHO, J. A.; WILKENS, R.; IDIART, M.; VILLAVICENCIO A. The brWaC corpus: a new open resource for Brazilian Portuguese. In: INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC 2018), 11., 2018, Miyazaki. Proceedings […].Miyazaki: ELRA. 2018. Disponível em: https://aclanthology.org/L18-1686. Acesso em: 22 dez. 2023.
WILCOX, S.; WILCOX, P. P. Aprender a ver. Rio de Janeiro: Arara Azul, 2005.
WU, F.; FAN, A.; BAEVSKI, A.; DAUPHIN, Y.; AULI, M. Pay less attention with lightweight and dynamic convolutions. In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS (ICLR 2019), 2019, New Orleans. Proceedings […]. New Orleans, 2019. Disponível em: https://openreview.net/forum?id=SkVhlh09tX. Acesso em: 02 jan. 2024.
YIN, K.; READ, J. Attention is all you sign: sign language translation with transformers. In: SIGN LANGUAGE RECOGNITION, TRANSLATION AND PRODUCTION (SLRTP). 2020, Virtual Event. Proceedings […]. 2020. Disponível em: https://www.slrtp.com/papers/extended_ abstracts/SLRTP.EA.12.009.paper.pdf. Acesso em: 22 dez. 2023.
YONGLAN, L.; WENJIA, H. English-Chinese machine translation model based on bidirectional neural network with attention mechanism. Journal of Sensors, v. 2022, 5199248, 2022. DOI: https://doi.org/10.1155/2022/5199248.
ZHANG, X.; DUH, K. Approaching sign language gloss translation as a low-resource machine translation task. In: BIENNIAL MACHINE TRANSLATION SUMMIT; INTERNATIONAL WORKSHOP ON AUTOMATIC TRANSLATION FOR SIGNED AND SPOKEN LANGUAGES (AT4SSL), 18., 1., 2021, Virtual USA. Proceedings […]. p. 60-70. Disponível em: https://aclanthology.org/2021.mtsummit-at4ssl.7/. Acesso em: 22 dez. 2023.
Downloads
Edição
Seção
Licença
• O(s) autor(es) autoriza(m) a publicação do artigo na revista;
• O(s) autor(es) garante(m) que a contribuição é original e inédita e que não está em processo de avaliação em outra(s) revista(s), nem esteja publicado em anais de congressos e/ou portais institucionais;
• A revista não se responsabiliza pelas opiniões, ideias e conceitos emitidos nos textos, por serem de inteira responsabilidade de seu(s) autor(es). Opiniões e perspectivas expressas no texto, assim como a precisão e a procedência das citações, são de responsabilidade exclusiva do(s) autor(es), e contribuem para a promoção dos:
- Princípios FAIR (Findable, Accessible, Interoperable, and Reusable – localizável, acessível, interoperável e reutilizável);
- Princípios DEIA (diversidade, equidade, inclusão e acessibilidade).
• É reservado aos editores o direito de proceder ajustes textuais e de adequação do artigos às normas da publicação.
Responsabilidades dos autores e transferência de direitos autorais
Os autores devem declarar a originalidade do estudo, bem como o fato de que este não foi publicado anteriormente ou está sendo considerado para publicação em outro meio, como periódicos, anais de eventos ou livros. Ao autorizarem a publicação do artigo na Revista Principia, os autores devem também responsabilizar-se pelo conteúdo do manuscrito, cujos direitos autorais, em caso de aprovação, passarão a ser propriedade exclusiva da revista. A Declaração de Responsabilidades dos Autores e Transferência de Direitos Autorais deverá ser assinada por todos os autores e anexada ao sistema como documento suplementar durante o processo de submissão. Clique no link abaixo para fazer o download do modelo.
Esta revista, seguindo as recomendações do movimento de Acesso Aberto, proporciona seu conteúdo em Full Open Access. Assim os autores conservam todos seus direitos permitindo que a Revista Principia possa publicar seus artigos e disponibilizar pra toda a comunidade.
A Revista Principia adota a licença Creative Commons 4.0 do tipo atribuição (CC-BY). Esta licença permite que outros distribuam, remixem, adaptem e criem a partir do seu trabalho, inclusive para fins comerciais, desde que lhe atribuam o devido crédito pela criação original.
Os autores estão autorizados a enviar a versão do artigo publicado nesta revista em repositório institucionais, com reconhecimento de autoria e publicação inicial na Revista Principia.
