Кейс · мультимодальный анализ эмоций
Собственная архитектура нейронной сети для оценки эмоций и вовлечённости по тексту и эмодзи
Для оценки эмоций и вовлечённости учащихся по тексту сообщения вместе с эмодзи разработана архитектура нейронной сети EmojiContextNet. Текст обрабатывает кодировщик на основе RuBERT, а эмодзи — отдельный собственный кодировщик; результаты обеих частей объединяются. За счёт выделенной обработки эмодзи архитектура определяет эмоции точнее дообученного RuBERT — на 5,3 процентного пункта по F1-macro — и распознаёт иронию, когда эмодзи меняет смысл текста.
Главный результат
Разработанная архитектура определяет эмоции точнее дообученного RuBERT — на 5,3 процентного пункта по F1-macro (0,920 против 0,867)
С чего всё начиналось
Модели, анализирующие только текст, включая дообученный RuBERT, не учитывают эмодзи как отдельный источник смысла и не различают иронию, когда эмодзи меняет смысл сообщения. Требовалось разработать архитектуру нейронной сети под текстово-графические данные, проверить её преимущество над существующими аналогами на размеченных данных и показать работу на демонстрационной программе.
Что мешало
Эмоциональное состояние и вовлечённость учеников оценивались визуально — субъективно и без возможности обработки большого объёма сообщений.
Готовой архитектуры под задачу не существовало — дообученный RuBERT и аналогичные модели не выделяют эмодзи в отдельный источник смысла.
Анализ только текста не учитывает смысл эмодзи, хотя в сообщениях учеников эмодзи часто меняет смысл на противоположный — например, при иронии.
Требовалось не просто обучить модель, а измерить её преимущество над существующими аналогами на размеченных данных.
Что я сделал
Собрал и разметил мультимодальный набор данных из сообщений с эмодзи и разработал архитектуру нейронной сети EmojiContextNet: текст обрабатывает кодировщик на основе RuBERT, эмодзи — отдельный собственный кодировщик, а результаты объединяются механизмом перекрёстного внимания. На размеченных данных архитектура определила эмоции точнее дообученного RuBERT — F1-macro 0,920 против 0,867 у ближайшего аналога; разница подтверждена статистически.
Реализовал демонстрационную программу с несколькими способами ввода: текст можно ввести вручную, загрузить файлом или передать изображением — в этом случае текст и эмодзи распознаются из изображения автоматически. Программа показывает оценку эмоции, вовлечённости и готовности к восприятию материала.
Как это работает
Анализирует текст
Отдельная часть модели анализирует смысл текста сообщения.
Анализирует эмодзи
Вторая часть модели отдельно оценивает смысл, который несут эмодзи.
Объединяет результаты
Соединяет оба результата анализа для более точной оценки эмоционального состояния.
Формирует оценки
Определяет эмоцию и рассчитывает вовлечённость и готовность к восприятию материала.
Что умеет продукт
Точнее дообученного RuBERT
На размеченных данных архитектура определила эмоции точнее дообученного RuBERT — F1-macro 0,920 против 0,867, разница подтверждена статистически.
Распознавание иронии
Отдельно учитывает иронию — случай, когда эмодзи меняет буквальный смысл текста на противоположный. Модели, анализирующие только текст, такие сообщения пропускают.
Локальная обработка данных
Компактная архитектура на основе RuBERT — не большая языковая модель (LLM). Данные обрабатываются локально, без передачи во внешние сервисы.
Быстрая работа без специального оборудования
Модель запускается на обычном компьютере и не требует специализированного оборудования — на обработку одного сообщения уходит около 14 миллисекунд.
Шесть базовых эмоций
Радость, грусть, гнев, страх, удивление и отвращение — с оценкой по каждой.
Вовлечённость и готовность
Отдельные оценки того, насколько ученик включён и готов воспринимать материал.
Текст и эмодзи вместе
Текст и эмодзи анализируются раздельными частями сети, а их взаимное влияние учитывается через перекрёстное внимание.
Распознавание из изображения
Из загруженного изображения автоматически извлекаются текст и эмодзи.
Несколько форматов ввода
Текст, текстовый файл или изображение — модель принимает любой из этих форматов.
Эмоциональное состояние группы на одном экране
Отдельный режим демонстрационной программы собирает статистику по каждому учащемуся: преобладающую эмоцию, среднюю вовлечённость и готовность, а также распределение эмоций по всем его сообщениям.
Так на одном экране видно эмоциональное состояние и вовлечённость группы — без необходимости разбирать сообщения по одному. Это показывает применимость модели к дистанционному и смешанному обучению.
Как это выглядит
Что изменилось
Было
- —Эмоциональное состояние и вовлечённость оценивались визуально — субъективно и без обработки большого объёма сообщений
- —Дообученный RuBERT и аналогичные модели не выделяют эмодзи в отдельный источник смысла и не различают иронию
- —Не было измеренного преимущества над существующими аналогами на размеченных данных
Стало
- ✓Собственная архитектура определяет эмоции точнее дообученного RuBERT — F1-macro 0,920 против 0,867, разница подтверждена статистически
- ✓Учёт эмодзи отдельным кодировщиком позволяет распознавать иронию, когда эмодзи меняет смысл текста
- ✓Вовлечённость и готовность к восприятию материала рассчитываются автоматически
Разработана собственная архитектура нейронной сети EmojiContextNet для оценки эмоций и вовлечённости по тексту и эмодзи. Текст обрабатывает кодировщик на основе RuBERT, эмодзи — отдельный собственный кодировщик; за счёт этого архитектура определяет эмоции точнее дообученного RuBERT — F1-macro 0,920 против 0,867, разница подтверждена статистически. Отдельная обработка эмодзи позволяет распознавать иронию, которую модели, анализирующие только текст, пропускают. Архитектура компактна: это не большая языковая модель, данные обрабатываются локально, а запуск не требует специализированного оборудования. Работа модели показана на демонстрационной программе — по отдельному сообщению и в агрегированном виде по учащемуся.