Во многих фантастических фильмах главные герои с помощью жестов рук управляют голограммами и проекциями. И в Google решили создать и развивать систему мгновенно распознающую жесты.
Использование данной технологии возможно в сферах дополненной и виртуальной реальности, управлении умным домом и смартфоном и т.д.
Пока удалось научить машину распознавать 21 точку (комбинаций) на руке человека и динамически отслеживать изменения.
Инженеры Google AI выложили в общий доступ запись видео и то, как через камеру мобильного телефона обученная программа захватывает кисть человека и считывает движения (команды).

Новая технология была представлена на конференции компьютерного зрения и считывания образов, прошедшая в 2019 году в Калифорнии. Google интегрировала в MediaPipe кроссплатформенный framework для обучения искусственного интеллекта распознания лиц, волос, рук и других объектов окружающего мира. Технологию загрузили в общий доступ на GitHub.