Новая система захвата движения с роботизированным маркером, которая могла бы улучшить взаимодействие человека и робота

Системы захвата движения (mocap), технологии, которые могут обнаруживать и записывать движения людей, животных и объектов, широко используются в различных условиях. Например, они использовались для съемки фильмов, создания анимации с реалистичными движениями губ и тела, в интерактивных игровых приставках или даже для управления роботами.

Исследователи из Сколковского института науки и технологий (Сколтех) в России недавно разработали новую систему захвата движения, которая могла бы обеспечить более безопасное и эффективное взаимодействие человека и робота. Эта система, представленная в статье, предварительно опубликованной на arXiv, основана на носимой роботизированной системе и камере для отслеживания движений руки пользователя.

“Эта работа стала результатом многолетних исследований в области взаимодействия человека и робота в лаборатории интеллектуальной космической робототехники (ISR)”, – сказал Tech Xplore Али Алаббас, ключевой исследователь проекта. “Взаимодействие человека и робота связано с совместными задачами, в которых принимают участие как люди, так и роботы, поэтому безопасность человека-оператора является главным приоритетом в таких приложениях. Работа была основана на предыдущем опыте и технологиях, разработанных в нашей лаборатории”.

Система mocap, представленная этой командой исследователей, черпает вдохновение из двух предыдущих разработанных ими технологий. Первая – это система под названием CobotGear, которая использует носимую камеру с разрешением 6 мегапикселей для отслеживания движения человеческой руки. Второй, CoHaptics, использует тактильную обратную связь (связанную с прикосновением), чтобы предоставлять пользователям информацию об их расстоянии до робота и предупреждать их, когда робот находится критически близко к ним.

“Одной из целей нашей работы является разработка недорогой и простой в установке системы mocap, которая обнаруживает и локализует руку пользователя в рабочей среде, используя алгоритм, лежащий в основе функционирования CobotGear, чтобы избежать столкновений между роботом и пользователем при выполнении ими совместных задач”. Алаббас объяснил. “Предлагаемая система mocap основана на видении. Он использует камеры и компьютерное зрение для определения местоположения уникального визуального роботизированного маркера, прикрепленного к руке пользователя (мишень для нашей системы mocap).”
Применение робота для выработки концентрированной солнечной энергии или бионических закрылков для аэродинамической регулировки в концепт-каре Mercedes AVTR.

Общим ограничением систем mocap является то, что на них могут отрицательно влиять окклюзии. Другими словами, если визуальный маркер, за которым следит система, частично или полностью скрыт за объектом, система больше не в состоянии отслеживать его. Алаббас и его коллеги решили устранить это ограничение, снизив риск окклюзии.

“Наша идея состояла в том, чтобы разработать механизм, который мог бы перемещать маркер, гарантируя, что он всегда остается видимым для системы mocap”, – сказал Алаббас. “Наше решение состояло в том, чтобы создать небольшого носимого робота, который удерживал бы маркер и имел возможность вращаться”.

Система, созданная этой командой исследователей, основана на роботе, который пользователи должны носить на предплечье. Этот робот перемещает маркер различными способами, следя за тем, чтобы он всегда оставался в поле зрения встроенной камеры.

“Как правило, световозвращающие маркеры mocap имеют сферическую форму, потому что размер будет одинаковым, если их снимать камерами с разных ракурсов”, – сказал профессор Дмитрий Цецеруков. “С другой стороны, вам нужно разместить множество маркеров на теле человека и установить дорогие ИК-камеры, чтобы скрыть все видимые объекты, кроме сфер, таким образом, системы mocap могут стоить сотни тысяч долларов. Мы предложили ArUcoGlide, доступное и надежное решение для отслеживания движений человеческого тела с помощью недорогой одиночной камеры и даже для взаимодействия с движением пользователя с помощью тактильных сигналов “.

Робот ArUcoGlide чрезвычайно легкий, он весит не больше простых наручных часов. Это означает, что пользователи могут легко носить его, не причиняя им дискомфорта. Роботизированная система содержит уникальный маркер, который определяется камерой, обеспечивая ценную обратную связь, направленную на предотвращение столкновений во время взаимодействия человека и робота.

Носимый робот mocap ArUcoGlide.

“Система состоит из трех частей: носимого роботизированного маркера, системы слежения и контроллера предотвращения столкновений”, – сказал Алаббас. “Носимый робот, который мы назвали ArUcoGlide, содержит уникальный визуальный маркер и регулирует ориентацию этого маркера, чтобы обеспечить его видимость для камеры и устранить загораживание объектами окружающей среды. Робот также может обеспечивать тактильную обратную связь в виде вибрации в случае возникновения опасной ситуации. Мы предположили, что поддержание фиксированной ориентации между камерой и маркером уменьшит количество моментов, когда маркер не отображается из-за движения пользователя”.

Вторым компонентом решения команды mocap является система слежения, состоящая из камеры и базового компьютера. Камера фиксирует прямую трансляцию окружающей среды, в которой люди сотрудничают с роботами. Затем этот поток обрабатывается базовым компьютером для извлечения координат маркера в окружающей среде.

“Третий компонент, контроллер предотвращения столкновений, был впервые представлен как часть нашей ранее разработанной системы CobotGear”, – сказал Алаббас. “Этот контроллер управляет движением робота, чтобы избежать потенциальных столкновений с рукой пользователя в рабочем пространстве”.

По сути, система команды работает следующим образом. Камера фиксирует среду, в которой взаимодействуют люди и роботы. Робот AucoGlide регулирует ориентацию маркера, используемого для отслеживания движений, гарантируя, что он всегда остается в поле зрения камеры. Наконец, контроллер столкновений перемещает робота, чтобы предотвратить его контакт с пользователями.

“В двух словах, marker скользит в пространстве с помощью робота 2-DoF, чтобы непрерывно фиксировать движение тела”, – объяснил Цецеруков. “Если маркер статичен, то есть он не корректирует положение в пространстве, система слежения потеряет его под очень крутым или небольшим углом по отношению к камере. Это неприменимо, когда безопасность людей является главным приоритетом”.
Реальный эксперимент с использованием системы ArUcoGlide. Робот берет пустую пипетку, наполняет ее жидкостью из контейнера и возвращает обратно. Пользователь подсчитывает капли жидкости в пробирке.

Исследователи оценили ArUcoGlide в серии экспериментов, проверяя точность его системы слежения, то, как система влияет на поведение людей и роботов непосредственно перед неминуемым столкновением, ее производительность во время выполнения совместной задачи в реальном мире. Они обнаружили, что это значительно повысило безопасность взаимодействия робота с человеком, увеличив расстояние между рукой пользователя и роботом в среднем до 5 см.

Система могла бы оказаться эффективной для улучшения взаимодействия человека и робота в различных реальных условиях. Например, это могло бы помочь медицинскому персоналу, который берет пробы крови из пипетки.

“Когда человеческая рука приближается к роботу, наша система может обнаружить это и активировать алгоритм предотвращения столкновений, чтобы робот не травмировал пользователя”, – сказал Цецеруков. “Эксперименты доказали субсантиметровую точность отслеживания человеческой руки в широком диапазоне движений. Важно отметить, что система с движущимися маркерами ArUco и тактильной обратной связью ускоряет общий процесс медицинского тестирования до 16%”.

Примечательно, что разработанная командой система mocap также может быть адаптирована для удовлетворения потребностей конкретных приложений. Например, если пользователи хотят изменить среду, за которой они следят, им просто нужно переместить камеру слежения за движением в нужное место и перезапустить систему.

“Система предназначена для использования в общей рабочей среде, напоминающей типичные виды деятельности на складах или в лабораториях”, – сказал Алаббас. “Например, его можно установить в лаборатории, где роботизированная рука может присоединиться к химику в приготовлении некоторых растворов, ускоряя процесс и защищая пользователя от воздействия токсичных веществ”, – сказал Алаббас.

“Внимание химика наверняка сосредоточено на материалах, поэтому наша система, отслеживая рабочую среду, всегда может определить местонахождение руки химика и попытаться избежать столкновения робота с ней. ArUcoGlide очень подходит из-за своей экономичности и простоты установки; пользователю просто нужно закрепить камеру в подходящем месте, чтобы определить рабочую среду, надеть ArUcoGlide и затем приступить к работе.”
Автор: Алаббас и др.

ArUcoGlide вскоре может быть внедрен и протестирован в более широком спектре сценариев, чтобы подтвердить его потенциал для улучшения взаимодействия человека и робота. В своих следующих работах Алаббас, Церсеруков и их коллеги хотели бы развить его дальше, чтобы обеспечить отслеживание всего тела пользователя.

“Мы планируем разработать GlideSuit, систему, в которой роботизированные маркеры размещаются на всем теле: руках, кистях, ногах и туловище”, – сказал Цецеруков. “Маркеры ArUco будут синхронно перемещаться по телу человека, чтобы поддерживать нормальное положение относительно оптической оси камеры”.

Эту обновленную версию ArUcoGlide можно было бы использовать для отслеживания скелета пользователя в режиме реального времени с помощью одной камеры. Кроме того, он мог бы поддерживать приложения дополненной реальности (AR), например, позволяя пользователям визуализировать органы или мышцы внутри человеческого тела или видеть, как различные предметы одежды будут смотреться на их теле.

“Представьте, что вы снимаете видео о движущемся человеке, держащем виртуальных 3D-птиц в режиме реального времени”, – сказал Цецеруков. “Арукоглид можно использовать не только для людей, но и для роботов. Размещенная на верхней части дронов, всего с одной камерой на потолке, мы можем отслеживать рой роботов и управлять их формированием для световых шоу. Еще одним увлекательным приложением является обучение танцам и реабилитация, когда мы направляем человека с помощью тактильной обратной связи, чтобы получить желаемую траекторию движения конечностей в 3D-среде “.