Алгоритм искусственного интеллекта научился “читать” по губам

Исследователи Имперского колледжа Лондона разработали новую модель искусственного интеллекта, которая может решать задачи VSR – визуально распознавать речь, “читая” по губам на нескольких языках. 

Согласно информации, опубликованной в статье Nature Machine Intelligence, улучшенный алгоритм ИИ превзошел некоторые предложенные модели.
 
По словам ученых, несмотря на активное развитие сферы VSR возможности визуального распознавания достаточно ограничены – большинство существующих наборов данных анализирует только английское вещание. Это существенно сужает их потенциальную базу пользователей, поэтому исследователи Имперского колледжа научили ИИ “читать” по губам и другим языкам. 

“Мы выяснили, что можем использовать те же методы для обучения моделей VSR не только на английском”, – объяснил один из ученых Пинчуань Ма. “Наша модель принимает необработанные изображения как входные данные, а затем из движений губами автоматически узнает, какую информацию необходимо извлечь из этих изображений для выполнения задач VSR”.