Разработка параметров эффективности использования аудиовизуальных материалов для обучения автоматизированному анализу лицевых экспрессий

Исследование выполняется на базе русскоязычных трейлеров к отечественным фильмам (2000-е гг.) и видеозаписей фрагментов театральных постановок российских театров (2000-е гг.). 

Объектом исследования выступаю лицевые экспрессии, в мимических проявлениях которых задействованы мышцы артикуляционного аппарата, отвечающие в том числе за извлечение звуков.

В основе проекта лежат гипотезы, которые составляют ожидаемые научные результаты исследования.

1. Во фрагментах театральных постановок микромимические проявления выражаются более чётко, чем в трейлерах к художественным фильмам.
2. Видеозаписи театральных постановок в большей степени пригодны для обучения технологий распознавания лицевых экспрессий.
3. Параметры эффективности использования аудиовизуальных материалов для обучения автоматизированной идентификации мимических проявлений эмоций отличаются для художественных фильмов и для театральных постановок.

Поддержка проекта

Грант РНФ – Конкурс 2025 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными, приоритетного направления деятельности Российского научного фонда «Поддержка молодых ученых»:

https://www.rscf.ru/project/vwJA0GgPViZ5hFX3ZWWPVQBexDIXHbOmqFVGVZDoZMq44EsycHElcbr7l5Bthh4DjmcFpghz.... 

Сроки реализации проекта:

2025 - 2027 г.

Область применения результатов, примеры применения:

1. В сфере развития методов и приёмов обучения технологий, которые распознают эмоциональное состояние человека по лицевым экспрессиям и имитируют его средствами нейросетевой генерации посредством создания видеороликов с помощью ИИ. 
2. В разработке алгоритмов машинного перевода и автоматического озвучивания аудиовизуального контента (браузерный Яндекс переводчик, Speek и др.). Современные машинные переводчики не способны учесть принцип артикуляционной синхронности в сочетании с эмоциональным состоянием актёров, которое выражается через микромимику. В этой связи анализ потенциала аудиовизуальных материалов сформировать базу для тренировки автоматизированной идентификации лицевых экспрессий может сделать вклад в усовершенствование технологий алгоритмического перевода видео.

Оборудование, применяемое при проведении исследований по проекту

• ПО «ЭмоРадар» WR 5.0 (Россия)

Выступления на конференциях

1. Алюнина Ю.М. Модель эксперимента для аппаратного анализа лицевых экспрессий на материале аудиовизуального контента – VII Фирсовские чтения «Язык. Культура. Коммуникация» (РУДН, Москва) – 23-25 октября 2025 г.: https://firsova-conf.rudn.ru/ 
2. Алюнина Ю.М., Блинов А.Н. Проведение дискуссии на тему «Как фантасты задают вектор науке?» – V Конгресс молодых учёных – 26-28 ноября 2025 г.: https://xn--c1aenmeoia.xn--80aa3ak5a.xn--p1ai/  

Исполнитель проекта — Фомин Артём Иванович, лаборант-исследователь кафедры иностранных языков филологического факультета РУДН