Magic Leap: как работают новые очки дополненной реальности

4166
1

20 декабря стартап Magic Leap впервые показал изображения очков дополненной реальности Lightwear, которые находились в разработке более 5 лет и помогли компании собрать $1,9 млрд инвестиций. Несмотря на то, что публика все еще не видела реальных прототипов, журналист Rolling Stone Брайан Кресенте пообщался с основателем Magic Leap Рони Абовитцем и проверил, как работает устройство, призванное изменить представление о дополненной реальности. Редакция AIN.UA приводит сокращенный перевод материала.

О компании и основателе

Magic Leap, основанная в 2011 году, долгое время вводила в недоумение технологических журналистов и аналитиков способностью привлекать неограниченные инвестиции. На сегодняшний день вложения достигли $1,9 млрд, а оценка компании — $6 млрд. Однако из-за длительного отсутствия демонстрационных образцов пресса даже начала предполагать, что это хитро устроенная «обманка».

Главным двигателем Magic Leap выступает ее основатель — биоинжинер Рони Абовиц, который занимался разработкой робота-ассистента для хирургических операций в Mako Surgical Corp. Продажа этой компании за $1,65 млрд стала финансовой основой первых четырех лет работы Magic Leap.

Посещение Кресенте офиса компании во Флориде, состоялось на условиях неразглашения технических подробностей, это первый шаг на пути к релизу коммерчески готового продукта в 2018 году.

Как устроены первые демоверсии

Кресенте продемонстрировали работу Lightwear в двух демонстрационных помещениях. Сначала он увидел своего рода «парк развлечений», который появился внутри большой комнаты — с разнообразными персонажами, виртуальными колонками и ярким освещением. Его впечатлило, что объекты не выглядят красиво нарисованными «наклейками» — они смотрелись объемно.

Это был впечатляющий опыт, показывающий, как можно гулять по тематическому парку, не простаивая в очередях. Главное, все происходило в стенах комнаты — и настоящего реквизита, загромождавшего пространство вокруг. Говорить о том, что такой опыт не отличить от реальности, пока рано, но это было очень похоже.

Следующим наблюдением журналиста стало взаимодействие с летающим роботом Gimble внутри помещения, заполненного столами, пуфиками, коврами и каким-то безделушками. Робот левитировал между Кресенте и дальней стеной — его можно было осмотреть с разных сторон, а также подойти ближе и разглядеть детали корпуса.

Казалось, что у него есть объем, реальное присутствие — и это не плоская картинка. Я удивился тому, что если подступиться ближе — увеличивалась и детализация. Приближение к летающему объекту не добавляет пикселей: просто выделяет детали, которых не видно издалека.

При этом фигура «заслоняет» собой реальный мир, смотреть сквозь нее не получится. Однако подойдя вплотную к Gimble, журналист поймал баг — робот просто испарился. Создатели говорят, что это проблема неотшлифованной демоверсии. Кресенте отдельно отметил, что жужжание робота тоже подстраивалось под его местоположение.

Старший системный инженер Magic Leap Сэм Миллер и менеджер по маркетингу Шанна де Льюис показали Брайану, как развернуть рядом три компьютерных монитора и расположить их в любой раскладке.

Следом Кресенте показали демонстрацию четырех телевизионных экранов — на каждом можно было включить свой канал и они продолжали работать, пока он ходил вокруг. Потом перед журналистом возникла дверь, откуда исходил яркий свет — через нее прошла женщина и остановилась в нескольких шагах.

Уровень детализации впечатлял. Но я бы не спутал ее с реальным человеком — обман развеивало свечение и дизайн. Хотя она не реагировала на меня и не разговаривала, такая возможность есть. Миллер управлял ею вручную, запуская на лице прототипа разные эмоции: улыбку, злость, отвращение. Я заметил, что когда двигаюсь вокруг, она не спускает с меня глаз. Камеры внутри Lightwear передавали данные, которые помогают не разрывать визуальный контакт.

Кресенте уверен, что за такими виртуальными аватарами — будущее голосовых помощников вроде Siri, Alexa или OK Google. Они уже не будут безликими голосами, а смогут смотреть на вас, ходить рядом.

Следом демонстрация, которая и без того была необычным набором идей, переключилась на огромный комикс — к нему можно было подойти и заглянуть внутрь, словно в окно. Страница, казалось, лежала на столике, а сцены различались по уровню погружения. Когда Кресенте присмотрелся к рисунку, где изображался шторм, воздух вокруг как-будто забурлил и наполнился шумом дождя.

Еще одной демонстрацией стал показ музыкального выступления. Кресенте отметил незначительные оплошности в рендеринге, однако сравнил это с реальным присутствием у сцены. К тому же проекцию можно легко масштабировать — так, чтобы она помещалась на ладони.

Стереоскоп и световые поля

Основатель Magic Leap Рони Абовиц показал журналисту, что на его столе размещен стереоскоп — устройство, придуманное в 1830. Это своеобразные очки, которые ограничивают поле зрения и показывают две фотографии объекта, снятые с разных углов. Благодаря совмещению можно увидеть подобие 3D-эффекта. Однако Абовиц называет такой подход главным тормозом виртуальной реальности — все полагается на визуальных обман. По его словам, современные технологии недалеко ушли от изобретения из XIX века, просто картинки сменились двумя экранами.

Абовицу было неинтересно улучшать виртуальную реальность — он задумался, как лучше поместить объект внутри реального мира. Чтобы продвинуться в области, понадобилось изучить две вещи: световые поля и то, как информация о них преобразуется в коре головного мозга. Световое поле — это, условно говоря, весь отражаемый от объектов свет. Когда вы снимаете фотографию, удается запечатлеть лишь малую его часть.

Глаза же воспринимают поле гораздо тоньше и объемнее, различая глубину изображения, движения и другие моменты. Абовиц говорит, что зрительная кора и часть головного мозга — своего рода движок для рендеринга, который в реальном времени (с помощью 100 триллионов нейронных соединений) воспроизводит окружающий мир.

Люди тратят на визуализацию около 40% нейрологических «мощностей», однако иногда затраты могут подскакивать до 70-80% — например, во время занятий спортом.

Проще говоря, вы визуализируете мир. Вы действительно участвуете в его создании благодаря визуальному сигналу, который мы называем динамическим световым полем. Это такой термин для обозначения совокупности фотонного волнового поля и светового поля, окружающего нас везде во Вселенной. Что-то вроде гигантского океана: он вокруг. Бесконечный сигнал, который содержит немало информации.

Со временем Абовиц пришел к выводу, что мозг действует как графический ускоритель — он использует и рендерит лишь ограниченное количество данных. Так инженер подступился к решению проблемы: возможно, для технологии не нужно будет все световое поле, а лишь избранные биты информации, которые станут правильно интерпретироваться зрительной корой.

Определившись с проблемой, Абовицу оставалось только решить ее. Нужен был материал, который сможет передавать данные о нужных частях светового поля в мозг — чтобы человеку казалось, будто он видит реальные объекты. Такая реализация означала, что придется избавиться от дисплеев и полагаться на то, что и так есть у людей — глаза.

Первые инвестиции и прототипы

Итогом первых четырех лет работы Magic Leap стало огромное устройство, которое Кресенте описывает как стимпанковую гильотину — человеку необходимо было зафиксировать голову в специальных пазах, после чего команда приступала к созданию фантомного объекта, используя характеристики светового поля. Дебютом послужил обычный пиксель, который перемещали внутри комнаты. Успех с одной крошечной точкой подтвердил, что разработчики на правильном пути.

Вскоре они смогли спроецировать двух персонажей из комиксов, а также задумали игру Monster Battle, согласно которой детишки смогут наблюдать за сражением реалистических монстров над головой. Но Абовиц понимал, что для ускорения прогресса необходимы инвестиции — к счастью, точки и двух героев оказалось достаточно для получения $450 млн от Google.

Тем не менее первый носимый прототип выглядел просто чудовищно и громоздко — фактически, последние два года компания занималась его всесторонней оптимизацией, теснее интегрируя софтверную и хардверную составляющие.

Абовиц поясняет, что специальная полупроводниковая пластина особым образом располагает фотоны внутри трехмерной структуры линз, добиваясь создания дисплея светового поля. Кресенте просто отмечает, что итоговая конструкция выглядит впечатляюще и не громоздко:

Вся гарнитура выглядит почти как пара защитных очков, закрепленных на голове толстым ремнем. Они легкие, выглядят современно и едва ли не стильно, а также, очевидно, намного легче всего, что сейчас может предложить виртуальная индустрия.

Система также состоит из беспроводного контроллера и переносного компьютера Lightpack, к которому ведет провод из очков. Его можно пристегнуть прямо на одежду или поместить в карман: разработчики при этом уверяют, что мощность такого компьютера сравнима с MacBook Pro, а также игровыми ПК от Alienware. Тем не менее, точные названия использованных видеокарт и процессоров по-прежнему не раскрываются, как и время автономной работы.

Шлем Lightwear — тоже своего рода компьютер, напичканный шестью камерами и четырьмя микрофонами. Он способен использовать технологию машинного обучения для оптимизации работы.

Недостатки и трюки от Magic Leap

Кресенте высоко оценил общую работу системы, обеспечивающей погружение в дополненную реальность, но нашел и серьезный минус:

Очки так удобны, что их прекращаешь замечать. Компьютерный блок отлично расположился в моем кармане, а его проводное соединение со шлемом не мешало. Контроллер почти сразу показался интуитивно прост. Звук одновременно был аккуратным и мощным. Но есть одно опасение: поле зрения.

Как и Microsoft HoloLens, которые используют другую технологию для создания дополненной реальности, Lightwear не охватывает естественного поля зрения человека. С помощью кустарных измерений журналист прикинул, что «рабочая область» размером примерно со старую VHS-кассету, расположенную на расстоянии наполовину вытянутой руки. Гораздо лучше, чем у конкурентов, но все еще далеко от идеала.

Миллер говорит, что расширить поле зрения удастся лишь во втором поколении устройства — первый продукт для масс-маркета получит те же характеристики, что и нынешняя демоверсия. Кроме того, разработчики присматриваются к размытию границ обозрения, чтобы объекты не страдали от резкого перехода в реальность.

Следом журналисту показали последние припасенные демонстрации. Первой стала запись экспериментального клипа от рок-группы Sigur Ros. Следующим трюком оказалась уловка с роботом Gimble — Кресенте вызвал виртуального помощника, после чего Миллер буквально зашел в голограмму, заметны были лишь торчащие из проекции ноги. Команда проекта говорит об этом с гордостью: им удалось обмануть зрительную кору мозга, который предпочел фантома реальному объекту.

Выводы и перспективы

Журналист Rolling Stone говорит, что технологии Magic Leap легко недооценивать — и зря. Абовиц и компания намерены избавиться от долгосрочных негативных эффектов при использовании систем виртуальной и дополненной реальности. Они хотят, чтобы их очки можно было носить днями напролет.

Кроме того, осведомлены топ-менеджеры и о других проблемах: скромном поле зрения, отсутствии возможности ФОКУСироваться на разных точках. Абовиц не раскрывает точной даты старта продаж или цены устройства, однако гарантирует, что выход на потребительский рынок состоится в 2018 году.

Первое поколение назовут Magic Leap One: Creator Editio. Его выпустят в угоде самым первым пользователям, включая разработчиков, компании и отдельных гиков. Напоследок Абовиц ободряет таких смельчаков:

Это как покупатели первых Mac или PC. Или будто оказаться в числе первых владельцев дебютного iPod. Это что-то вроде сплоченной группы. Но получится, в итоге, не просто набор для разработчиков. Если вы потребитель и создатель контента — будете счастливы.

Оставить комментарий

Комментарии | 1

Поиск