Разработка параметров эффективности использования аудиовизуальных материалов для обучения автоматизированному анализу лицевых экспрессий

Исследование выполняется на базе русскоязычных трейлеров к отечественным фильмам (2000-е гг.) и видеозаписей фрагментов театральных постановок российских театров (2000-е гг.). 

Объектом исследования выступаю лицевые экспрессии, в мимических проявлениях которых задействованы мышцы артикуляционного аппарата, отвечающие в том числе за извлечение звуков.

В основе проекта лежат гипотезы, которые составляют ожидаемые научные результаты исследования.

1. Во фрагментах театральных постановок микромимические проявления выражаются более чётко, чем в трейлерах к художественным фильмам.
2. Видеозаписи театральных постановок в большей степени пригодны для обучения технологий распознавания лицевых экспрессий.
3. Параметры эффективности использования аудиовизуальных материалов для обучения автоматизированной идентификации мимических проявлений эмоций отличаются для художественных фильмов и для театральных постановок.

Поддержка проекта

Грант РНФ – Конкурс 2025 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными, приоритетного направления деятельности Российского научного фонда «Поддержка молодых ученых»:

https://www.rscf.ru/project/vwJA0GgPViZ5hFX3ZWWPVQBexDIXHbOmqFVGVZDoZMq44EsycHElcbr7l5Bthh4DjmcFpghz.... 

Сроки реализации проекта:

2025 - 2027 г.

Область применения результатов, примеры применения:

1. В сфере развития методов и приёмов обучения технологий, которые распознают эмоциональное состояние человека по лицевым экспрессиям и имитируют его средствами нейросетевой генерации посредством создания видеороликов с помощью ИИ. 
2. В разработке алгоритмов машинного перевода и автоматического озвучивания аудиовизуального контента (браузерный Яндекс переводчик, Speek и др.). Современные машинные переводчики не способны учесть принцип артикуляционной синхронности в сочетании с эмоциональным состоянием актёров, которое выражается через микромимику. В этой связи анализ потенциала аудиовизуальных материалов сформировать базу для тренировки автоматизированной идентификации лицевых экспрессий может сделать вклад в усовершенствование технологий алгоритмического перевода видео.

Оборудование, применяемое при проведении исследований по проекту

• ПО «ЭмоРадар» WR 5.0 (Россия)

Выступления на конференциях

1. Алюнина Ю.М. Модель эксперимента для аппаратного анализа лицевых экспрессий на материале аудиовизуального контента – VII Фирсовские чтения «Язык. Культура. Коммуникация» (РУДН, Москва) – 23-25 октября 2025 г.: https://firsova-conf.rudn.ru/ 
2. Алюнина Ю.М., Блинов А.Н. Проведение дискуссии на тему «Как фантасты задают вектор науке?» – V Конгресс молодых учёных – 26-28 ноября 2025 г.: https://xn--c1aenmeoia.xn--80aa3ak5a.xn--p1ai/ 
3. Алюнина, Ю. М. Эмоция или артикуляция: методика выявления конфликтов в аппаратном распознавании лицевых экспрессий – Конференция молодых учёных «Актуальные вопросы этнологии и антропологии» (Москва, Институт этнологии и антропологии им. Н. Н. Миклухо-Маклая РАН) – 3-5 декабря 2025 г. Устный доклад (очно).
4. Алюнина, Ю. М. Дизайн исследования для аппаратного выявления неточностей в распознавании эмоций на фоне артикуляции – Восточный лингвистический форум (Москва, Дальневосточный федеральный университет) – 8-10 декабря 2025 г. Устный доклад (очно).
5. Алюнина, Ю. М. Аппаратный анализ лицевых экспрессий на материале аудиовизуального контента – VIIIМеждународный форум по когнитивным нейронаукам «Cognitive Neuroscience» (Екатеринбург, Уральский федеральный университет) – 12-13 декабря 2025 г. Устный доклад (онлайн).  
6. Алюнина, Ю. М. Между эмоцией и артикуляцией: модель эксперимента для аппаратного и человеческого распознавания лицевых экспрессий – VI Международная научно-практическая конференция «Лингвистика дистанцирования. Язык в контексте мультимодальной коммуникации XXI века» (Москва, Финансовый университет при Правительстве Российской Федерации) – 26-28 января 2026 г. Устный доклад (очно).
7. Алюнина, Ю. М. Критерии эффективности аудиовизуальных материалов в обучении машинному распознаванию эмоций в процессе артикуляции – 64 конференция славистов Сербии (Белград, Белградский университет) – 19-20 февраля 2026 г. Устный доклад (очно).
8. Алюнина, Ю. М. Потенциал технологий распознавания лицевых экспрессий в обучении машинному переводу под дубляж – XIII Международный конгресс по когнитивной лингвистике (Пятигорск, Пятигорский государственный университет) – 22-25 апреля 2026 г. Устный доклад (очно).
9. Кузнецова, А. С. «Артикуляционный шум» или эмоция? Проблема разграничения эмоциональной и артикуляционной микромимики при анализе видеоконтента – Актуальные проблемы межкультурной коммуникации (РУДН) – 22 апреля 2026 г. Устный доклад (онлайн).
10. Фомин, А. И. Перспективы работы ПО ЭмоРадар и отечественных ИИ разработок в контексте изучения аспектов межкультурной коммуникации – Актуальные проблемы межкультурной коммуникации (Москва, РУДН) – 22 апреля 2026 г. Устный доклад (онлайн).
11. Фомин, А. И. Возможности и ограничения технологий распознавания эмоций в аспекте перспективы их внедрения в программы перевода фильмов – Международная научно-практическая конференция VI Новиковские чтения «Слово, текст, дискурс в функциональном и когнитивном аспектах» (Москва, РУДН) – 25-27 июня 2026 г. Устный доклад (очно).

Научные публикации

1. Алюнина, Ю. М. Параметры эффективности обучения автоматизированному распознаванию лицевых экспрессий в контексте машинного перевода и озвучивания кино // Научный диалог. 2026. Т. 15. № 7. Базы данных: Scopus 1, WoS, ВАК 1, Белый список, РИНЦ. (в печати)

2. Алюнина, Ю. М. Потенциал технологий распознавания лицевых экспрессий в обучении машинному переводу под дубляж // Когнитивные исследования языка. 2026. № 2 (67). С. 175–179. URL: https://elibrary.ru/item.asp?id=91727207 Базы данных: ВАК, Белый список, РИНЦ.

3. Алюнина, Ю. М. Дизайн исследования для аппаратного выявления неточностей в распознавании эмоций на фоне артикуляции // Восточный лингвистический форум : сборник материалов. 2026. С. 74–79. URL: https://elibrary.ru/item.asp?id=91559974 Базы данных: РИНЦ.

4. Фомин, А. И. Возможности и ограничения технологий распознавания эмоций в аспекте перспективы их внедрения в программы перевода фильмов // Когнитивные исследования языка. 2026. № 3. Т. 2 (68). С. 253–257.URL: https://elibrary.ru/item.asp?id=91902836 Базы данных: ВАК, Белый список, РИНЦ.