Gerador DataSet

Esse código tem o objetivo de gerar dataset inicial com as poses de vídeos com sinais em libras, criando um dataset onde cada linha representa a pose de um único frame de um vídeo.

Contribuidores

Giovanna Lima Marques

Ricardo Augusto Coelho

Tiago Goes Teles

Wellington de Jesus Albuquerque

Processo

Esse código segue os seguinte processo:

1. Procura todas as pastas dentro da pasta "videos", onde o nome da pasta, será a palavra que cada vídeo representa.
2. Para cada pasta encontrado, buscará todos os vídeos para ser processado.
3. Para cada vídeo encontrado, será lido todos os frames do vídeo.
4. Para cada frame, é processado a identificação de poses via mediapipe e gerado uma linha do dataset e uma imagem de validação.
5. Finalizado o processo de todas as pastas, o dataset é salvo.

Geração do dataset

1. Instale as dependências.
2. Clone o repositório.

   git clone https://github.com/ia-equipe-6/libras-data-generation.git

3. Cria uma pasta chamado "videos" na pasta do código.

   mkdir videos

4. Cria uma pasta chamado "output" na pasta do código.

   mkdir output

5. Para cada palavra, crie uma pasta dentro da pasta "videos" criado anteriormante.

   cd videos
   mkdir palavra1
   mkdir palavra2
   cd ..

6. Adicione os vídeos de cada palavra dentro das pastas criada no passo anterior, uma palavra por vídeo.
7. Execute o gerador de dataset:

   python .\generate_data.py

Todas as saídas estarão na pasta "output", incluíndo o CSV gerado.

Próximos Passos

Utilize o código de transformação do dataset para treinamento: https://github.com/ia-equipe-6/libras-dataset-transform

Dependências

Esse código foi testado na versão 3.9 do Python e utiliza as seguintes bibliotecas para geração do dataset:

• Pandas

  pip install pandas

• OpenCV

  pip install opencv-python

• MediaPipe

  pip install mediapipe