УСПЕХ , КОГДА ЗНАЕШЬ КАК (winner_88) wrote,
УСПЕХ , КОГДА ЗНАЕШЬ КАК
winner_88

Categories:

Google обучает смартфоны отслеживать жесты





Алгоритм работает в двух режимах: в одном он создает двумерную модель руки, а в другом — трехмерную.

Программисты из Google создали открытую реализацию алгоритма отслеживания положения руки, адаптированную для работы на мобильных устройствах.

Разработчики считают, что это позволит реализовать на смартфонах новые функции, например, распознавание жестового языка или жестовых команд.

Алгоритм доступен как в виде исходного кода на GitHub, так и в виде приложения для Android, а подробности о нем компания рассказала в своем блоге.


Распознавания позы — одна из классических задач алгоритмов компьютерного зрения, имеющая множество применений, причем как полезных, так и развлекательных. К примеру, распознавание позы тела используют для определения насильственных действий в толпе, а в прошлом году Google применила его для создания «отражения» пользователя из большого архива снимков.

На сегодняшний существует множество реализаций алгоритма отслеживания позы, причем как для всего тела, так и для отельных частей, например, лица или рук.
Про диоксины и Химпром https://www.facebook.com/kabzon642642/posts/2817066638354163
Многие из них, такие как OpenPose, имеют открытый исходный код и доступны для использования. Однако почти все эти алгоритмы используют в своей работе нейросетевые модели, требующие большой вычислительной мощности и из-за этого неприменимые на мобильных устройствах.

В компания Google разработали алгоритм, позволяющий отслеживать движения руки на смартфонах с большой точностью.

В начале алгоритм анализирует кадры с камеры и обнаруживает на них руку, после чего работает только с нужной областью, что значительно снижает требуемую вычислительную мощность.

Во время работы алгоритм создает модель руки, состоящую из 21 точки, которых достаточно для относительно точного описания положения руки в конкретный момент. Алгоритм работает в двух режимах: в одном он создает двумерную модель руки, а в другом — трехмерную.
На основе такого алгоритма разработчики также создали и систему распознавания жестов: получая модель руки, алгоритм анализирует углы между частями пальцев и сопоставляет их с базой известных ему жестов.

Для обучения алгоритма разработчикам пришлось создать собственный датасет из примерно 30 тысяч кадров, на каждом из которых была вручную размечена модель кисти. Для сторонних разработчиков алгоритм доступен на GihHub, причем адаптирован он для работы на обеих основных мобильных операционных системах: Android и iOS.

Пользователи Android также могут установить себе два демо-приложения, одно из которых создает двумерную модель руки, а второе рисует трехмерную модель, отражающую относительное расстояние до каждой точки кисти.

Для iOS доступны инструкции по сборке проекта в Xcode.

Недавно Google рассказала подробности о будущем смартфоне Pixel 4, который будет представлен в октябре 2019 года. Одной из особенностей устройства станет радар Soli: он умеет распознавать жесты. Это позволит пользователям управлять некоторыми функциями смартфона, не прикасаясь к нему.
Subscribe
promo winner_88 march 18, 2018 23:00 283
Buy for 10 tokens
Заходите ко мне на огонек. У меня сегодня праздник! Пройден рубеж первых 65 лет. Я зажигаю Костер Дружбы ( помните как в пионерском лагере в детстве). Хотелось чтобы Вам было около него тепло и светло, чтобы, сидя у потрескивающих веток, мы пели с Вами под гитару любимые песни и любоваться…
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments