Программа выполнена в виде веб-приложения, написанного на TensorFlow.js. Оно снимает пользователя и сначала составляет схематическую модель его тела при помощи алгоритма PoseNet. На каждом кадре модель нормализуется по размеру, чтобы работа алгоритма не зависела от того, как далеко от камеры или под каким углом сидит человек. Затем по соседним кадрам (состояниям модели) алгоритм рассчитывает оптический поток и тем самым определяет, что человек активно двигает руками. Теперь, когда алгоритм определяет, что человек использует жестовый язык, программа показывает видео человека с жестовой речью другим участникам видеоконференции. Разработку протестировали на немецком жестовом языке. Точность определения движений человека составляет 91,5%,приложение будет дорабатываться.
Источник: https://vk.com/dostupnayasreda?w=wall-52595267_6694
