Skip to content

SMIL-SPCRAS/BiMoDiCA

Folders and files

NameName
Last commit message
Last commit date

Latest commit

Β 

History

6 Commits
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 

Repository files navigation

BiMoDiCA

Abstract

ΠŸΡ€Π΅Π΄ΠΌΠ΅Ρ‚ исслСдования. Научная Ρ€Π°Π±ΠΎΡ‚Π° посвящСна Π·Π°Π΄Π°Ρ‡Π΅ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π°Π½ΠΈΠΌΠ°Ρ†ΠΈΠΈ Ρ†ΠΈΡ„Ρ€ΠΎΠ²ΠΎΠ³ΠΎ Π°Π²Π°Ρ‚Π°Ρ€Π° с синхронным воспроизвСдСниСм Ρ€Π΅Ρ‡ΠΈ, ΠΌΠΈΠΌΠΈΠΊΠΈ ΠΈ ТСстикуляции Π½Π° основС бимодального Π²Ρ…ΠΎΠ΄Π° – статичСского изобраТСния ΠΈ тСкста с ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠΉ окраской. Π˜ΡΡΠ»Π΅Π΄ΡƒΠ΅Ρ‚ΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΠΈ акустичСских, Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹Ρ… ΠΈ Π°Ρ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΎΠ² Π² Π΅Π΄ΠΈΠ½ΡƒΡŽ модСль, ΠΎΠ±Π΅ΡΠΏΠ΅Ρ‡ΠΈΠ²Π°ΡŽΡ‰ΡƒΡŽ рСалистичноС ΠΈ Π²Ρ‹Ρ€Π°Π·ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π°Π²Π°Ρ‚Π°Ρ€Π° Π² соотвСтствии с содСрТаниСм ΠΈ ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹ΠΌ Ρ‚ΠΎΠ½ΠΎΠΌ высказывания. ΠœΠ΅Ρ‚ΠΎΠ΄. ΠŸΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½ ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΏΠΎΠ΄ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ BiMoDiCA, Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‰ΠΈΠΉ шаги извлСчСния Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹Ρ… ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ² Π»ΠΈΡ†Π°, Ρ€ΡƒΠΊ ΠΈ ΠΏΠΎΠ·Ρ‹, опрСдСлСния ΠΏΠΎΠ»Π° для Π²Ρ‹Π±ΠΎΡ€Π° подходящСго голосового профиля, Π°Π½Π°Π»ΠΈΠ·Π° тСкста Π½Π° ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚ ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ содСрТания ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ синтСтичСской Π°ΡƒΠ΄ΠΈΠΎΡ€Π΅Ρ‡ΠΈ. ВсС ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ½Ρ‚Π΅Π³Ρ€ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ Π½Π° основС Π΄ΠΈΡ„Ρ„ΡƒΠ·ΠΈΠΎΠ½Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ с ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠ°ΠΌΠΈ Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ³ΠΎ внимания ΠΈ мСТмодального согласования. Π­Ρ‚ΠΎ обСспСчиваСт Π²Ρ‹ΡΠΎΠΊΡƒΡŽ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ синхронизации ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π΅Ρ‡ΡŒΡŽ ΠΈ Π½Π΅Π²Π΅Ρ€Π±Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ повСдСния Π°Π²Π°Ρ‚Π°Ρ€Π°. ΠœΠ΅Ρ‚ΠΎΠ΄ΠΈΠΊΠ° экспСримСнта. Для обучСния использовались Π΄Π²Π° спСциализированных корпуса: ΠΎΠ΄ΠΈΠ½ для модСлирования ТСстикуляции, Π΄Ρ€ΡƒΠ³ΠΎΠΉ для ΠΌΠΈΠΌΠΈΠΊΠΈ. АннотированиС ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΠ»ΠΎΡΡŒ срСдствами автоматичСского извлСчСния пространствСнных ΠΎΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€ΠΎΠ². ЭкспСримСнты Π²Ρ‹ΠΏΠΎΠ»Π½ΡΠ»ΠΈΡΡŒ Π½Π° многопроцСссорной Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ΅ с графичСскими ускоритСлями. ΠšΠ°Ρ‡Π΅ΡΡ‚Π²ΠΎ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ†Π΅Π½ΠΈΠ²Π°Π»ΠΎΡΡŒ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΈΠ²Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ. ΠžΡΠ½ΠΎΠ²Π½Ρ‹Π΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹. ΠœΠ΅Ρ‚ΠΎΠ΄ ΠΏΠΎΠΊΠ°Π·Π°Π» Π²Ρ‹ΡΠΎΠΊΡƒΡŽ ΡΡ‚Π΅ΠΏΠ΅Π½ΡŒ Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΈ сСмантичСского соотвСтствия: FID – 50,13, FVD – 601,70, SSIM – 0,752, PSNR – 21,997, E-FID – 2,226, Sync-D – 7,003, Sync-C – 6,398. МодСль ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ синхронизируСт Ρ€Π΅Ρ‡ΡŒ с ΠΌΠΈΠΌΠΈΠΊΠΎΠΉ ΠΈ ТСстами, ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°Π΅Ρ‚ ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ контСкст тСкста, Π° Ρ‚Π°ΠΊΠΆΠ΅ особСнности русского ТСстового языка. ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠ°Ρ Π·Π½Π°Ρ‡ΠΈΠΌΠΎΡΡ‚ΡŒ. Π Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒΡΡ Π² систСмах ΡΠΌΠΎΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎ-Ρ‡ΡƒΠ²ΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠΎ-машинного взаимодСйствия, Ρ†ΠΈΡ„Ρ€ΠΎΠ²Ρ‹Ρ… ассистСнтах, ΠΎΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΈ психологичСских интСрфСйсах. ΠœΠ΅Ρ‚ΠΎΠ΄ прСдставляСт интСрСс для спСциалистов Π² области искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°, ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹Ρ… интСрфСйсов, ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½ΠΎΠΉ Π³Ρ€Π°Ρ„ΠΈΠΊΠΈ ΠΈ Ρ†ΠΈΡ„Ρ€ΠΎΠ²ΠΎΠΉ психологии.

Acknowledgments

Parts of this project page were adopted from the Nerfies page.

Website License

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

Releases

No releases published

Packages

No packages published