ИИ-модель распознает эмоции, оценивает воспринимаемые черты личности и замечает противоречивость в поведении человека.
Разработку создали специалисты лаборатории естественного языка НИУ ВШЭ в Петербурге совместно с экспертами Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбербанка. Об этом рассказали в РИА Новости.
Нейросеть анализирует поведение сразу по нескольким каналам: видео, голос и содержание речи. Дополнительно модель получает описание мимики, взгляда, позы и жестов. Это позволяет ей не только определить эмоциональное состояние человека, но и оценить то, как воспринимаются его личностные черты, а также выявить амбивалентность — сочетание противоречивых эмоциональных или поведенческих сигналов.
Нейросеть обучали на суперкомпьютере НИУ ВШЭ «Харизма». Для каждой из трех задач ученые использовали отдельные наборы данных с собственной разметкой.
«Основная сложность разработки ИИ-инструмента заключалась не только в разной разметке корпусов, но и в том, что информативность модальностей зависела от задачи. Например, для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности — содержание речи. Поэтому мы объединили в модели общие компоненты. Это позволило совместно использовать знания из разных корпусов и улучшить распознавание эмоций на незнакомых данных», — пояснила руководитель проекта отдела прикладных технических решений НИУ ВШЭ Елена Рюмина.
По словам разработчиков, технология может найти применение в цифровом образовании, интеллектуальных интерфейсах и системах поддержки пользователей, где важно учитывать эмоциональные и поведенческие особенности человека.
Следующим этапом ученые планируют создать нейросетевых экспертов, которые будут самостоятельно определять, на какие сигналы — голос, речь, мимику, жесты или другие особенности поведения — стоит обратить больше внимания в зависимости от задачи.
Параллельно специалисты работают над персонализированными цифровыми аватарами. Такие системы смогут адаптировать мимику, речь и поведение под эмоциональное состояние пользователя.
Напомним, что в Калининграде нейросеть диагностирует нарушения мозга по обычной речи.
