Исследователи ищут дополненную реальность для улучшения доступности

Гонка крупных технологических компаний за дополненную реальность (AR) с каждым днем ​​становится все более конкурентной. В этом месяце мертв Вышла последняя итерация собственной гарнитуры Quest 3. В начале следующего года Apple Планируем отказаться Это первая гарнитура Vision Pro. Подтверждает рекламу для конкретной платформы игры И развлечение Он сочетает в себе виртуальный и физический миры: цифровую настольную игру, расположенную на журнальном столике, и киноэкран, проецируемый над сиденьями самолета.

Однако некоторых исследователей больше интересуют другие варианты использования дополненной реальности. Вашингтонский университет Лаборатория технологичности Эти новые технологии применяются для помощи людям с ограниченными возможностями. В этом месяце исследователи из лаборатории представят несколько проектов, которые используют дополненную реальность — через гарнитуры и телефонные приложения — чтобы сделать мир более доступным.

Исследователи из лаборатории будут Первый подарок RASSAR, приложение, которое может сканировать дома, чтобы выявить проблемы доступности и безопасности, 23 октября на Конференция по активам 23 в Нью-Йорке.

Вскоре после этого, 30 октября, другие команды лаборатории представят на конференции ранние исследования. Восток ’23 Конференция в Сан-Франциско. Одно приложение Позволяет наушникам лучше понимать естественный язык Другой стремится Сделать теннис и другие виды спорта с мячом доступными для всех Для слабовидящих пользователей.

UW News поговорил с ведущими авторами трех исследований: Ся Су И Джей (Джаюк Лиоба аспиранта Школы компьютерных наук и инженерии Пола Г. Аллена Университета Вашингтона, о своей работе и будущем дополненной реальности для обеспечения доступности.

Что такое дополненная реальность и как она обычно используется сейчас?

Джей Ли: Я думаю, что один из общепринятых ответов заключается в том, что вы используете носимую гарнитуру или телефон для наложения виртуальных объектов на физическую среду. Многим наверняка знакома дополненная реальность по игре «Pokémon Go», где вы накладываете настоящих покемонов в физический мир. Apple и Meta теперь предлагают «смешанную реальность», или временную дополненную реальность, которая смешивает физический и виртуальный миры посредством камер.

Чиа Су: В последнее время я заметил одну вещь: люди пытаются расширить это определение за пределы очков и экранов телефонов. Это может быть AR-звук, который манипулирует вашим слухом, или устройства, которые пытаются манипулировать вашим запахом или осязанием.

Многие люди связывают дополненную реальность с виртуальной реальностью, и она завершается обсуждением трансформации и игр. Как это реализовано для доступности?

ДЛ: Дополненная реальность как концепция существует уже несколько десятилетий. Но в Джон ФрелихВ нашей лаборатории мы совмещаем дополненную реальность и исследования доступности. Например, гарнитура или телефон могут определить, сколько людей находится перед нами. Для слепых или слабовидящих людей эта информация может иметь решающее значение для их восприятия мира.

XS: На самом деле существует два разных пути исследования доступности AR. Самая распространенная — попытка сделать устройства дополненной реальности более доступными для людей. Другой, менее распространенный подход — спросить: как мы можем использовать дополненную реальность или виртуальную реальность в качестве инструментов для улучшения доступности реального мира? Это то, на чем мы концентрируемся.

ДЛ: Поскольку очки дополненной реальности становятся меньше и дешевле, а также по мере развития искусственного интеллекта и компьютерного зрения, эти исследования будут становиться все более важными. Но распространение дополненной реальности, даже с точки зрения доступности, вызывает массу вопросов. Как вы относитесь к конфиденциальности прохожих? Мы, как общество, признаем, что технологии машинного зрения могут быть полезны для слепых и слабовидящих людей. Но мы также можем не захотеть включать технологию распознавания лиц в приложения по соображениям конфиденциальности, даже если она помогает кому-то идентифицировать своих друзей.

Давайте поговорим о вышедших документах. Во-первых, можете ли вы уточнить Приложение Рассар?

XS: Это приложение, которое люди могут использовать для сканирования внутренних помещений и помощи в обнаружении потенциальных проблем с безопасностью доступа в домах. Это возможно, потому что теперь это есть в некоторых iPhone. лидар Сканеры (обнаружение света и определение дальности), которые сообщают нам глубину пространства, поэтому мы можем реконструировать пространство в 3D. Мы объединили это с Компьютерное зрение Модели, показывающие способы повышения безопасности и доступности. Чтобы использовать его, кто-то — возможно, родитель или опекун, обеспечивающий безопасность дома — сканирует комнату с помощью своего смартфона, и RASSAR обнаруживает проблемы с доступом. Например, если стол слишком высок, на нем появится красная кнопка. Если пользователь нажмет кнопку, появится дополнительная информация о том, почему высота этого стола является проблемой доступности и возможных решениях.

ДЛ: Десять лет назад вам нужно было просмотреть 60 страниц PDF-файлов, чтобы полностью убедиться в доступности дома. Мы собрали эту информацию в приложении.

И это то, что каждый сможет скачать на свой телефон и использовать?

XS: Это конечная цель. У нас уже есть демо. Эта версия основана на технологии лидара, которая в настоящее время доступна только на некоторых моделях iPhone. Но если у вас есть такое устройство, это очень просто.

ДЛ: Это пример достижений в области аппаратного и программного обеспечения, которые позволяют нам быстро создавать приложения. Apple объявила План помещения, создание 3D-карты помещения при добавлении лидарного датчика. Мы используем это в RASSAR, чтобы понять общее планирование. Возможность использовать это позволяет нам очень быстро создать прототип.

Итак, RASSAR уже почти готов к развертыванию. Другие области исследований, которые он предлагает, находятся на ранней стадии развития. Можете ли вы рассказать мне о Джаз Пойнт, Арканзас?

ДЛ: Это приложение, развернутое на гарнитуре AR, позволяющее людям более естественно общаться с голосовыми помощниками, такими как Siri или Alexa. Есть все эти местоимения, которые мы используем, когда говорим, и которые компьютерам трудно понять без визуального контекста. Я могу спросить: «Где ты это купил?» Но что это такое? Голосовой помощник понятия не имеет, о чем я говорю. С помощью GazePointAR очки смотрят на окружающую среду вокруг пользователя, а приложение отслеживает взгляд пользователя и движения рук. Затем модель пытается все это понять. входные данные — слово, движения рук и взгляд пользователя. Затем с помощью Отличная языковая модельGPT, он пытается ответить на вопрос.

Как он чувствует, что такое движения?

ДЛ: Мы используем гарнитуру HoloLens 2, разработанную Microsoft. У него есть трекер взгляда, который следит за вашими глазами и пытается угадать, на что вы смотрите. Он также имеет возможность отслеживания рук. И в документе, который мы представили на основе этого, мы заметили, что у нас с этим много проблем. Например, люди используют не одно местоимение за раз, они используют несколько местоимений. Мы скажем: «Что дороже, то или это?» Чтобы ответить на этот вопрос, нам нужна информация с течением времени. Но, опять же, вы можете столкнуться с проблемами конфиденциальности, если хотите отслеживать чей-то взгляд или поле зрения с течением времени: какую информацию вы храните и где она хранится? По мере совершенствования технологий нам, безусловно, необходимо уделять внимание этим проблемам конфиденциальности, особенно в области компьютерного зрения.

Это тяжело даже для человека, не так ли? Я могу спросить: «Вы можете это объяснить?» Указывая на несколько уравнений на доске, вы не поймете, о чем я говорю. Какие приложения вы видите для этого?

ДЛ: Очень важно иметь возможность использовать естественный язык. Но если вы распространите это на доступность, слепой или слабовидящий человек, скорее всего, будет использовать это для описания того, что их окружает. Вопрос «Есть ли впереди меня что-то опасное?» Также неоднозначно для голосового помощника. Но с GazePointAR в идеале система могла бы сказать: «Есть потенциально опасные предметы, например ножи и ножницы». Или люди с нарушениями зрения могут нарисовать фигуру, указать на нее, а затем спросить систему, что конкретно означает «это».

Наконец, вы работаете над системой под названием Артистичность. Что это такое и что послужило толчком к этому исследованию?

ДЛ: Это более ориентировано на будущее, чем GazePointAR. ARTennis — это прототип, который использует гарнитуру дополненной реальности, чтобы сделать теннисные мячи более заметными для игроков с нарушениями зрения. Мяч в игре отмечен красной точкой и окружен перекрестием зеленых стрелок. У профессора Джона Фрелиха есть член семьи, который хочет заниматься спортом со своими детьми, но у него нет для этого остаточного видения. Мы подумали, что если это сработает в теннисе, то это сработает и во многих других видах спорта, поскольку в теннисе есть маленький мяч, который сжимается по мере удаления. Если мы можем отслеживать теннисный мяч в реальном времени, мы можем сделать то же самое с более крупным и медленным баскетбольным мячом.

Один из соавторов статьи сам страдает нарушением зрения, много играет в сквош и хотел опробовать это приложение и поделиться с нами своим мнением. Мы провели с ним множество мозговых штурмов, и он протестировал систему. Красная точка и зеленые метки — это дизайн, который он придумал, чтобы улучшить ощущение глубины.

Что мешает людям использовать это сразу же?

ДЛ: Как и GazePointAR, он основан на гарнитуре HoloLens 2 за 3500 долларов. Это другая проблема доступности. Он также работает со скоростью около 25 кадров в секунду, а для того, чтобы люди могли воспринимать его в реальном времени, он должен составлять около 30 кадров в секунду. Иногда мы не можем уловить скорость теннисного мяча. Мы расширим статью и включим баскетбол, чтобы увидеть, существуют ли разные дизайны, которые люди предпочитают для разных видов спорта. Технологии обязательно станут быстрее. Итак, наш вопрос: какой дизайн лучше всего подходит людям, использующим его?