EnglishPortugueseSpanish

Utilizando Visão Computacional e Sistemas de Aprendizado de Máquina para Desenvolver um Software para Transformar Língua de Sinais em Palavras

3º lugar

Resumo do projeto

A Língua Brasileira de Sinais (Libras) é o principal meio de comunicação para surdos, mudos e deficientes auditivos, mas ela ficou majoritariamente restrita a poucas pessoas, englobando mais de 5 milhões de usuários em um país com 10 milhões de surdos, correspondendo respectivamente 3% e 5% da população brasileira. Observando tal problemática, é possível ampliar a comunicação e acessibilidade à comunidade surda na sociedade, possibilitando criar uma ferramenta capaz de traduzir sinais de Libras em texto. Foi pesquisado ferramentas que automatizassem o processo de tradução, como Inteligências Artificiais (ou conhecidas como IA, podendo criar Redes Neurais computacionais, aplicando discernimento e autonomia para máquinas), Machine Learning (ou Aprendizado de Máquina, proporcionando a obtenção de maior precisão ao treinar inteligências artificiais) e o MediaPipe (uma ferramenta de código aberto capaz de gerar uma matriz gráfica baseada em 543 pontos cartesianos demarcados na face, mãos e corpo a vídeos gravados ou em tempo real). Para aplicá-las, iniciou-se um treinamento de 200 vídeos por sinal, utilizando o MediaPipe para identificar variações de movimentação em cada sinal de Libras, treinando em torno de 100 sinais e totalizando 20 mil vídeos treinados. Ao realizar tal procedimento, a IA pode ser capaz de, com o sinal de Libras presente no vídeo, associá-lo a sua palavra correspondente e emitir o resultado obtido ao usuário em um arquivo de texto. Atualmente, a palavra resultante é gerada separadamente do vídeo, mas obteve-se êxito em aplicar legendas de acordo com o sinal em alguns vídeos, mas nos dois casos, o processo é feito apenas em vídeos já gravados. Várias pessoas não possuem conhecimento de Libras, faltando acessibilidade para surdos em, por exemplo, hospitais, metrôs e empresas. Com o software, será possível facilitar a comunicação em tais lugares, auxiliando na comunicação dessa comunidade até então excluída.

Alunos

Fabrício Holanda de Almeida
Vinicius Luciano Navarrete da Silva
Luciano Dos Anjos Oliveira

Orientadores

Cleiton Fabiano Patricio
Rosa Mitiko Shimizu

Instituição

Etec Lauro Gomes
  SP –
  Brazil

Deixe seu comentário

O que você achou deste projeto? Participe deixando seu comentário a seguir:

Subscribe
Notify of
guest
0 Comentários
Inline Feedbacks
View all comments

Alunos

Fabrício Holanda de Almeida
Vinicius Luciano Navarrete da Silva
Luciano Dos Anjos Oliveira

Orientadores

Cleiton Fabiano Patricio
Rosa Mitiko Shimizu

Instituição

Etec Lauro Gomes
  SP –
  Brazil

Prêmios e Incentivos Educacionais Oferecidos

Áreas de pesquisa

Conheça os projetos que estão concorrendo em todas as áreas de pesquisa da Mostratec Virtual:

Biologia Celular e Molecular e Microbiologia
Bioquímica e Química
Ciências Ambientais
Ciências Animais e de Plantas
Ciências da Computação
Ciências Planetárias e Terrestres e Matemática e Física
Ciências da Saúde
Educação e Humanidades
Engenharia Ambiental e Sanitária
Engenharia e Materiais
Engenharia Elétrica
Engenharia Eletrônica
Engenharia Mecânica
História e Ciências Sociais

REALIZAÇÃO

PATROCÍNIO

APOIO

MOSTRATEC Virtual

Mostra Internacional de Ciência e Tecnologia
Mostra Brasileira de Ciência e Tecnologia

Desenvolvido por SiriusPrime
0
Clique para deixar seu comentário e participar!x
()
x

Premiação Júri Popular

Para a premiação do Júri Popular, só serão considerados válidos os votos únicos (um por usuário) e que forem realizados entre 0:00 de 22/10 às 23:59 de 24/10.

Teste do Perfil Empreendedor

Preencha os seus dados a seguir para realizar o seu teste: