Skip to content

Easy_sign is an open source russian sign language recognition project that uses small CPU model for predictions and is designed for easy deployment via Streamlit.

License

Notifications You must be signed in to change notification settings

ai-forever/easy_sign

Repository files navigation

English version

Easy_sign

Easy_sign - опенсорс проект по распознаванию Русского жестового языка, спроектированный для развёртывания через Streamlit. В проекте используется "лёгкая" ML-модель, способная работать на CPU.

О проекте

Easy_sign использует ML-модель для распознавания отдельных жестов Русского жестового языка. Модель была обучена на ~180 000 примеров жестов. Приблизительно 20 000 из которых были взяты из датасета Slovo. Модель распознаёт 1598 жестов Русского жестового языка и может обеспечить распознавание 3-3.5 жестов в секунду на процессоре Intel(R) Core(TM) i5-6600 CPU @3.30GHz. Список распознаваемых жестов содержится в файле RSL_class_list.txt.

Больше информации о проекте - в статье на habr.

Порядок установки

conda create --name fleury-env python=3.10
conda activate fleury-env
pip install -r requirements.txt

Использование

streamlit run app.py

Good day

Ссылки

Команда ПИН-КОД выпустила на базе easy_sign тренажёр для изучения РЖЯ. Статья на хабр, репозиторий

S3D модели, обученные на датасете Slovo для различного количества кадров, подаваемых на вход.

Кол-во кадров Ссылка Mean accuracy, %
32 https://sc.link/l8VTi 44.22
48 https://sc.link/GSojW 52.28
64 https://sc.link/fhLfd 55.86

Лицензия

Creative Commons License
This work is licensed under the Creative Commons Attribution-ShareAlike 4.0 International License.

Releases

No releases published

Packages

No packages published

Languages