Главная :: Новости :: Новости в мире :: Российские ученые создали мобильное приложение для распознавания речи по губам

Новостные рубрики

Российские ученые создали мобильное приложение для распознавания речи по губам (11.04.2023 18:40)

В Санкт-Петербургском Федеральном исследовательском центре РАН (СПб ФИЦ РАН) разработали алгоритм и приложение для смартфона, позволяющее считывать речь пользователя в шумных местах по губам, сообщили в пресс-службе СПб ФИЦ РАН.

Как уточнили в пресс-службе, разработка поможет повысить точность работы голосовых помощников в шумных условиях или при управлении тяжелой техникой, передает ТАСС.

Специалисты СПб ФИЦ РАН в своей разработке предложили нейросеть, которая собирала бы два вида информации по аналогии с человеческим восприятием – звуковую форму речи и движения губ, которые ее непременно сопровождают.

В СПб ФИЦ РАН пояснили, что в основе приложения лежит нейросетевая модель, которую научили распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимся звуком) несколько сотен наиболее распространенных команд. По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные при распознавании дадут максимальную точность.

Программа тестировалась с помощью водителей шумных большегрузных автомобилей одной из логистических компаний в России. Результаты подтвердили предположение о том, что совмещение двух видов считывания информации повышает эффективность работы алгоритмов – только по чтению губ точность распознавания команд составила 60-80%, а в комбинации со звуковым сигналом – более 90%.

Ранее российские ученые создалитехнологию для «воссоздания» снов при помощи нейрогарнитуры.

Постоянная ссылка на новость: