#дополненная реальность — Unity и Vuforia


Содержание

Обучение разработке AR-приложений на Unity+Vuforia

Чернов Евгений, студент направления подготовки 09.03.03 «Прикладная информатика», ФГБОУ ВО «Магнитогорский государственный технический университет им. », *****@***com

Технология дополненной реальности сегодня активно развивается, проникая в различные сферы человеческой деятельности: медицине, науки, образовании и т. д.

В рамках дополнительного образования ФГБОУ ВО «МГТУ им. » реализуется курс по созданию приложений дополненной реальности.

Задачами курса являются: ознакомление обучающих с технологиями дополненной реальности; развитие у обучающих интерес и мотивацию к данному направлению; обучение применению данной технологии на практике; обучение созданию приложения дополненной реальности.

Рассмотрим технологию создания простейшего AR-приложения на одном из уроков данного курса «Первые шаги в дополненную реальность».

Описать работу AR-приложений упрощенно можно следующим образом: создается метка, на неё наводится камера выбранного устройства, а на экране воспроизводится дополнительная информация в виду графики, текста, мультимедиа и пр.

Рассмотрим технологию создания простейшего такого приложения с использованием Vuforia SDK. Данная библиотека распознает и отслеживает плоские изображений и простые 3D-объекты в режиме реального времени на основе технологии компьютерного зрения.

После импортирования в Unity библиотеки Vuforia SDK создадим ключ для работы с приложением. Для этого на вкладке Develop нажмем кнопку ADD License Key.

Рисунок 1. Созданный лицензионный ключ

Далее выберем маркер (в Vuforia — target) – это некий реальный объект, распознавая который AR-приложение будет дополнять необходимой информацией. Для этого перейдем на вкладку Target Manager.

Vuforia предоставляет широкий выбор маркеров. В нашем приложении будет использоваться Image targets. Это базовый вид маркеров, представляющий собой обычную картинку – любую графику. Хорошее качество маркера определяет «звездность» поля Rating (рис.2).

Рисунок 2. Создание базы маркеров

После этого необходимо скачать базу маркеров. Импорт в Unity, проще всего, осуществить двойным щелчком по скаченному файлу, а затем в открывшемся окне нажать кнопку Import.

В Unity в окне Hierarchy удалим Camera, установленную по умолчанию, а на ее место добавим ARCamera из папки Assets → Vuforia → Prefabs путем перетаскивания. В инспекторе ARCamera необходимо открыть VuforiaConfiguration, в поле App License Key вставить ключ, сгенерированный Vuforia (рис.1) и активировать загруженную базу в Datasets.

Рисунок 3. Установка конфигураций Vuforia

Далее необходимо добавить компонент ImageTarget из папки Assets → Vuforia → Prefabs. Произведем настройки в Inspector. Для этого выберем в поле Database нашу базу и в поле Image Target необходимый маркер.

В папке Assets → Editor → QCAR → ImageTargetTextures →Test1 выбираем нужный рисунок и изменяем настройки Texture Shape на 2D.

Выберем изображение, которое будет воспроизводиться при захвате маркера камерой, на Asset Store. Оно будет расположено в одной из папок каталога Aseets (например, как на рис.4).

Рисунок 4. Объекты воспроизведения

Перетащим объекты воспроизведения в окно Hierarchy и расположим их на сцене, так как нам нравится.

Сгенерируем приложение для Windows. Выберем опцию File → Build Settings. В открывшемся окне добавляем нашу сцену (с помощью кнопки Add Open Scenes) и выбираем платформу PC, Mac&Linus Standalone, после чего нажимает Build and Run. Работу приложения можно протестировать, используя веб-камеру.

#mopsicus

Как начать использовать Vuforia в Unity

Vuforia — это платформа дополненной реальности. С её помощью можно делать такие приколюхи, например:

We recreated an old-school retro arcade game, Arkanoid, in Augmented Reality using Vuforia & Unity. #gamedev #unity3d #AugmentedReality ?️ pic.twitter.com/AuTFRZbUr3

— The Knights of Unity (@KnightsOfUnity) 27 мая 2020 г.

Собственно, в этой статье как раз и написали, как скачать, установить, настроить и сделать свою первую игру с дополненной реальностью (AR). На английском да, но куда ж без него в наше время.

Про ARKit от Apple в следущий раз :) Плюс Vuforia — работает и на Android тоже.

#дополненная реальность — Unity и Vuforia

Один из способов создания дополненной реальности (augmented reality, AR) с помощью Unity 3D, Playmaker и Qualcomm Vuforia Developer portal.


Создаем интерактивную модель дивана для AR (с анимацией и сменой текстур), с помощью Playmaker.

Vuforia Developer portal, предлагает решения для дополненной и виртуальной реальностей. Здесь вы можете скачать asset для Unity 3D, подготовить target (цель) для моделей, скачать приложение для сканирования реальных объектов, чтобы из них сделать свои цели. Читаем информацию на сайте, особенно лицензионное соглашение, так как есть ряд ограничений в использовании данного сервиса,более подробно не разбирался. Но и бесплатного функционала может быть достаточно.

Все ссылки в описании к видео на youtube.

Надеюсь рассказал все подробно и ясно как кристально чистое озеро, как лазурное небо в середине лета. дыр-пыр-дыр-дыр-пыр ))

Комментарии (11)

я в шоке второй раз за неделю.
сначала воду нашли на Марсе — теперь можно сканировать монитором.

Если будет что выложить я выложу обязательно, я не обиделся же, а разочаровался только, но просто никогда не знаешь что окажется интересным, а что нет и на основании чего пользователи решают хороший урок или нет (если я, и он, и они этим не занимаются и не знают про это, значит плохой, так?!).
Я понимаю, когда Tmin делает урок про то, как с помощью Cloth избавиться от пересечений геометрии, это полезный урок (сам по нему избавлялся от пересечений травинок в одной из недавних своих моделей), а ведь урок не большой, простой и понятный, то первое призовое место — заслуженное. Но когда сами пользователи недовольны уроком в комментариях, а он все-равно оценен лучше или когда оценивается за одно только имя и заслуги автора, это просто не честно. А когда урок игнорируется только из-за того, что «очень продолжительный» или «этим не пользуемся и не интересуемся, только в короне одну кнопку жмем и рендерим, а если две, то лучше не надо», это не правильно.

8 лучших SDK дополненной реальности для iOS и Andro >

Вы мечтали заняться разработкой дополненной реальности, но не знали, с чего начать? Начните с этой статьи. Кстати, это перевод материала из блога украинской компании ThinkMobiles. В блоге есть ещё масса интересного — он почти образцовый для разработчиков дополненной и виртуальной реальности в сфере b2b.

Список выбранных SDK:

В конце будет таблица-сравнение всех инструментариев.

Vuforia

Vuforia — одна из самых популярных в мире платформ, которая поможет вам разрабатывать дополненную реальность.

Поддерживаемые платформы: Android, iOS, UWP и Unity.

Программное обеспечение реализует следующие функции: распознавание различных типов визуальных объектов (куб, цилиндр, плоскость), распознавание текста и окружающей среды, VuMark (комбинация изображения и QR-кода). Кроме того, используя Vuforia Object Scanner, вы можете сканировать и создавать объектные метки. Процесс распознавания может быть реализован с использованием локальной или облачной базы данных. Плагин Unity очень мощный и прост в интеграции.

Все плагины и функциональные возможности платформы бесплатны, но включают водяные знаки Vuforia. Ограничения относятся только к числу VuMark и количеству взаимодействий с облачной базой данных. Платный план без водяных знаков и с определённым количеством распознаваний через облако стоит $99 в месяц.

Цены:

Камеры 17 камер: датчики изображения с апертурой f/2.8, 2 мегапикселя, F1.8
Аудио — 6 внутренних микрофонов для записи пространственного звука;
— 2 порта для внешних микрофонов.
Видео Разрешения:
— Трансляция в 3D: 4096×2048 на скорости 30 кадров в секунду на один глаз;
— Трансляция в 3D: 4096×2048 на скорости 30 кадров в секунду;
— Запись в 3D: 4096×2048 на скорости 30 кадров в секунду на один глаз;
— Запись в 3D: 4096×2048 на скорости 30 кадров в секунду.

MP4 (H.265/ H.264)
3D: 4K×2K на глаз / 2D: 4K×2K

Память Внутренняя: LPDDR3 — 10 ГБ, eMMC — 40 ГБ;
Внешняя: SD-карты стандарта UHS-II (до 256 ГБ), SSD (до 2 ТБ)
Возможности подключения LAN, USB Type-C
Датчики Гироскоп и акселерометр
Питание Адаптер переменного тока (19 вольт, 2,1 ампер)
Требования к компьютеру Необходимо две машины.
Для постобработки:
— Windows 10 64 бит для редактирования 4K-контента;
— две планки оперативной памяти по 16 ГБ DDR4 или более;
— блок питания мощностью 850 ватт;
— Intel Core i7-6700K или лучше;
— видеокарта NVIDIA GTX 1080.
Для предпросмотра и прямых трансляций:
— Intel Core i7-6950X или лучше;
— две планки оперативной памяти по 32 ГБ DDR4 или более;
— две видеокарты NVIDIA GTX 1080 Ti.
Размеры 205×205×76,8 миллиметра, 1,93 килограмма
Особенности Защита от пыли и влаги по стандарту IP65

EasyAR

EasyAR — бесплатная и простая в использовании альтернатива Vuforia.

Поддерживаемые платформы: Android, iOS, UWP, Windows, OS X и Unity.

Последняя версия EasyAR (1.3.1) поддерживает только распознавание изображений. Версия 2.0 будет включать следующие функции:

  • распознавание 3D-объектов
  • восприятие окружающей среды
  • облачное распознавание
  • работа на смарт-очках
  • облачное развёртывание приложений

Библиотека полностью бесплатна. Чтобы начать работу с EasyAR, вам нужно только зарегистрировать учётную запись и сгенерировать ключ плагина вашего Bundle ID. EasyAR легко интегрируется. Документация и примеры интуитивно понятны.

Цена: бесплатно.

Wikitude

Поддерживаемые платформы: Android, iOS, смарт-очки.

Недавно Wikitude выпустила полностью новое мощное SLAM-решение для приложений дополненной реальности Wikitude SDK 6. Последняя версия — 6.1.


Wikitude SDK 6 имеет в арсенале следующие функции: отличное распознавание и отслеживание изображений, технологию трёхмерного слежения на базе SLAM, GEO Data (улучшенная работа с данными с географической привязкой), облачное распознавание (позволяет сохранять базы данных изображений в облаке).

  • улучшенная функция Extended Tracking для сохранения положения метки, даже если она за пределами обзора камеры
  • расширенные настройки камеры
  • повышенная стабильность отслеживания изображений (снижения дрожания)

Wikitude предлагает попробовать бесплатную пробную версию с водяным знаком и полной функциональностью платформы. Стоимость SDK 6 Wikitude начинается с €1990.

Плагин Unity предоставляет инструменты для создания базы данных изображений и 3D-объектов. Он не работает с редактором Unity, что усложняет процесс разработки.

Цены:

Технология Форм-фактор 2020 год 2022 год
Дополненная реальность Бездисплейные очки 6,7% 1,1%
Автономные очки 2,4% 19,1%
Спутниковые очки 1% 17,9%
Виртуальная реальность Бездисплейные очки 34,9% 8,8%
Автономные очки 11,7% 29,8%
Спутниковые очки 43,3% 23,3%
Всего 100% 100%

ARToolKit

ARtoolKIt — это библиотека трекинга для дополненной реальности с открытым исходным кодом.

Поддерживаемые платформы: Android, iOS, Linux, Windows, OS X и смарт-очки.

ARtoolKit реализует следующие возможности:

  • трекинг позиции/ориентации для устройств с обычными и стереоскопическими камерами
  • отслеживание простых чёрных квадратов
  • отслеживание плоских изображений
  • калибровка камеры и стереоскопической оптики
  • плагины для Unity и OpenSceneGraph
  • поддержка оптических шлемов и очков
  • бесплатное программное обеспечение с открытым исходным кодом
  • достаточная скорость для приложений дополненной реальности реального времени

Разнообразие функций затрудняет интеграцию библиотеки и занимает больше времени для изучения всех параметров и настроек.

Цена: бесплатно в любой конфигурации.

Kudan

Согласно различным обзорам и сравнениям эффективности, Kudan является главным конкурентом Vuforia и очень упрощает разработку дополненной реальности.

Поддерживаемые платформы: Android, iOS.

Используя технологию SLAM, Kudan позволяет распознавать простые изображения и 3D-объекты и обеспечивает лёгкую генерацию базы данных в редакторе Unity.

У Kudan также есть некоторые недостатки: редактор сбоит (иногда это основная причина сбоев приложений на устройствах), есть трудности с установкой лицензионного ключа (он не всегда подходит). Тем не менее, Kudan — это продвинутый коммерческий продукт, поэтому в вашем распоряжении служба поддержки.

Бесплатная версия предназначена только для тестирования приложений. Стоимость платной лицензии составляет $1230. Kudan легко интегрировать, но, с другой стороны, проблемы с редактором Unity усложняют процесс разработки.

Цены:

Параметр Зрение Дисплей Google/LG
Число пикселей (горизонтально×вертикально) 9600×9000 4800×3840
Чёткость (пикселей на градус) 60 40
Пикселей на дюйм 2183 1443
Шаг пикселя (микрометров) 11,6 17,6
Поле обзора (градусы, горизонтально×вертикально) 160×150 120×96

Maxst

Поддерживаемые платформы: Android, iOS, Windows, OS X.

Maxst предлагает два разных инструмента для распознавания образов и сред. Создание базы данных осуществляется онлайн через Tracking Manager. Для сканирования 3D-объектов используются приложения на Android и iOS. Обратите внимание: Maxst работает только с 32-разрядной версией редактора Unity.

Бесплатная версия отличается от платной только водяным знаком. Стоимость PRO-версии $999. Библиотека очень проста в использовании и в интеграции. На официальном сайте есть полная и лёгкая в понимании документация.

Цены Maxst 2D:

Размер (диагональ) 4,3 дюйма
Число пикселей 3840×4800
Шаг пикселя 17,6 мкм (1443 точки на дюйм)
Яркость 150 нит при мощности 20%
Контраст >15 000:1
Глубина цвета 10 бит
Угол обзора 30°(гор.), 15° (верт.)
Частота обновления 120 Гц

Цены Maxst 3D:


[table “11” not found /]

Xzimg

Xzimg представляет три продукта для работы с приложениями на основе дополненной реальности: Augmented Face, Augmented Vision и Magic Face.

Xzimg Augmented Face распознает и отслеживает лица с помощью Unity. Xzimg Augmented Vision распознает и отслеживает плоские изображения с Unity. Xzimg Magic Face предназначен для замены черт лица и нанесения макияжа.

Поддерживаемые платформы: ПК, Android, iOS, Windows, WebGL.

Xzimg позволяет распознавать простые изображения и чёрно-белые маркеры. База данных создаётся локально в редакторе Unity. Бесплатная пробная версия доступна только для демонстрации (инвертирует цвет и меняет изображение). Платная версия включает все возможности платформы и стоит €1600.

Цены:

[table “12” not found /]

NyARToolkit

NyARToolkit — японская библиотека дополненной реальности, основанная на ARToolKit.

Поддерживаемые платформы: Android, iOS.

В настоящее время используется только для идентификации и отслеживания изображений. Это упрощённая версия ARToolKit, которая работает с тем же веб-инструментарием для создания базы данных. Библиотека легко интегрируется, но английская версия недоступна.

Цена: бесплатно

[table “13” not found /]

Не пропускайте важнейшие новости о дополненной, смешанной и виртуальной реальности — подписывайтесь на Голографику в ВК, Twitter и Facebook!

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Использование подсистемы Вуфориа с Unity Using Vuforia Engine with Unity

Вуфориа Engine предоставляет важную возможность для HoloLens — мощность для подключения AR к конкретным изображениям и объектам в среде. Vuforia Engine brings an important capability to HoloLens – the power to connect AR experiences to specific images and objects in the environment. Эту возможность можно использовать для перекрытия пошаговых инструкций по работе с машинным предприятием для промышленного предприятия или для добавления цифровых функций и возможностей к физическому продукту или игре. You can use this capability to overlay guided step-by-step instructions on top of machinery for the industrial enterprise or add digital features and experiences to a physical product or game.

Для большей гибкости при разработке AR Вуфориа Engine предлагает широкий спектр функций и целей. For greater flexibility when developing AR experiences, Vuforia Engine offers a broad range of features and targets. Одной из наших новейших функций, Вуфориа моделей, является ключевая возможность для коммерческих и промышленных целей. One of our newest features, Vuforia Model Targets, is a key capability for both commercial and industrial uses. Цели модели позволяют приложениям распознать физические объекты, такие как компьютеры, средства для автомобильной связи или Toys, и контролировать их на основе САПР или цифровой трехмерной модели. Model Targets allow applications to recognize physical objects like machines, automobiles or toys and track them based on a CAD or digital 3D model. Для промышленных целей эта функция может предоставить работникам и специалистам по сборке рабочие процессы AR и процедурные рекомендации на фабрике или в поле. For industrial uses, this feature can provide assembly workers and service technicians with AR work instructions and procedural guidance while in the factory or out in the field.

Существующие приложения Вуфориа Engine, созданные для телефонов и планшетов, можно легко настроить в Unity для запуска в HoloLens. Existing Vuforia Engine apps that were built for phones and tablets can easily be configured in Unity to run on HoloLens. Вы даже можете использовать Вуфориа Engine, чтобы перевести новое приложение HoloLens на планшеты Windows 10, например Surface Pro 4 и Surface Book. You can even use Vuforia Engine to take your new HoloLens app to Windows 10 tablets such as the Surface Pro 4 and Surface Book.

Получить инструменты Get the tools

Установите Рекомендуемые версии Visual Studio и Unity, а затем настройте Unity для использования Visual Studio и предпочтительной интегрированной среды разработки и компилятора. Install the recommended versions of Visual Studio and Unity and then configure Unity to use Visual Studio and the preferred IDE and compiler.

При установке Unity обязательно установите либо «Серверная часть скриптов .NET для Магазина Windows», либо «Серверная часть скриптов IL2CPP для Магазина Windows». When installing Unity, be sure to install either the “Windows Store .NET Scripting Backend” or the “Windows Store IL2CPP Scripting Backend”. Кроме того, не забудьте выбрать Вуфориа «поддержка расширенной реальности», чтобы включить подсистему Вуфориа в Unity. Also, be sure to select “Vuforia Augmented Reality Support” to enable Vuforia Engine within Unity.

Приступая к работе с Вуфориа Engine Getting started with Vuforia Engine

Так как подсистема Вуфориа интегрирована в Unity, разработчикам не нужно загружать или устанавливать дополнительные средства. Since Vuforia Engine is integrated into Unity, developers don’t need to download or install any extra tools. Рекомендуемая версия Unity — это поток LTS, который в настоящее время находится на 2020,3 и включает Вуфориа Engine 7.0.57. The recommended version of Unity is the LTS stream which is currently at 2020.3 and includes Vuforia Engine 7.0.57. Лучшая отправной точкой для изучения использования Вуфориа Engine с HoloLens является Пример Вуфориа Engine HoloLens (доступен в магазине активов Unity). The best starting point for learning about using Vuforia Engine with HoloLens is with the Vuforia Engine HoloLens sample (available in the Unity Asset Store). Пример содержит полный проект HoloLens, включая предварительно настроенный монтажный кадр, который можно развернуть на HoloLens. The sample provides a complete HoloLens project including pre-configured scenes that can be deployed to a HoloLens.

В этом монтажном кадре показано, как использовать целевые объекты изображений Вуфориа для распознавания изображения и расширения его с помощью цифрового содержимого в интерфейсе HoloLens. The scenes show how to use Vuforia Image Targets to recognize an image and augment it with digital content in a HoloLens experience. Разработчики, использующие более свежие версии Unity и Вуфориа, имеют доступ к обновленным примерам, содержащим сцены использования целевых объектов модели в HoloLens. Developers using more recent versions of Unity and Vuforia have access to updated samples which include a scene showing the usage of Model Targets on HoloLens. Вы можете легко подставить свое содержимое в фоновом режиме, чтобы поэкспериментировать с созданием приложений HoloLens, использующих Вуфориа Engine. You can easily substitute your own content in the scenes to experiment with the creation of HoloLens apps that use Vuforia Engine.

Настройка приложения Вуфориа для HoloLens Configuring a Vuforia App for HoloLens

Разработка приложения Вуфориа Engine для HoloLens — это принципиально то же самое, что разработка приложений Вуфориа Engine для других устройств. Developing a Vuforia Engine app for HoloLens is fundamentally the same as developing Vuforia Engine apps for other devices. Затем можно применить параметры сборки и конфигурации, описанные в разделе ниже. You can then apply the build settings and configurations described in the section below. Это все, что необходимо, чтобы позволить Вуфориа Engine работать с пространственными сопоставлениями HoloLens и системами позиционированного отслеживания. That’s all that’s needed to enable Vuforia Engine to work with the HoloLens spatial mapping and positional tracking systems.

Сборка и запуск примера Вуфориа Engine для HoloLens Build and Run the Vuforia Engine Sample for HoloLens


  1. Скачайте Пример модуля вуфориа для HoloLens из магазина активов Unity. Download the Vuforia Engine Sample for HoloLens from the Unity Asset Store
  2. Применение рекомендуемых параметров подсистемы Unity к питанию и производительности Apply the recommended Unity engine options for power and performance
  3. Добавьте образцы сцен в сцены в сборке. Add the sample scenes to Scenes in Build.
  4. Настройте целевой объект сборки платформы для «универсальная платформа Windows» в параметрах сборки > файлов. Set your platform build target for “Universal Windows Platform” in File > Build Settings.
  5. Выберите следующие параметры конфигурации сборки платформы: Select the following platform build configuration settings:
  • Целевое устройство = HoloLens Target Device = HoloLens
  • Тип сборки = D3D Build Type = D3D
  • Пакет SDK = последняя установленная SDK = Latest Installed
  • Версия Visual Studio = последняя установленная Visual Studio Version = Latest Installed
  • Сборка и запуск на = локальный компьютер Build and Run on = Local Machine
  1. Определите уникальное Название продуктав параметрах проигрывателя, которое будет использоваться в качестве имени приложения при установке на HoloLens. Define a unique Product Name, in Player Settings, to serve as the name of the app when installed on the HoloLens.
  2. Проверьте, поддерживаются ли расширенные Вуфориа и виртуальные реальность в ПАРАМЕТРах проигрывателя > Параметры XR Check Vuforia Augmented Reality and Virtual Reality Supported in Player Settings > XR Settings
  3. Кроме того, в разделе Параметры XRубедитесь, что Windows Mixed Reality добавлена в список пакетов SDK для Virtual Reality . Also under XR Settings, make sure that “Windows Mixed Reality” is added to the Virtual Reality SDKs List
  4. Проверьте следующие возможности в параметрах проигрывателя > Параметры публикации. Check the following Capabilities in Player Settings > Publish Settings
  • InternetClient InternetClient
  • Бесед WebCam
  • Спатиалперцептион — если вы планируете использовать API наблюдателя Surface SpatialPerception — if you intend to use the Surface Observer API
  1. Выберите «сборка», чтобы создать проект Visual Studio Select Build to generate a Visual Studio project
  2. Создайте исполняемый файл из Visual Studio и установите его в HoloLens. Build the executable from Visual Studio and install it on your HoloLens

Примечание. Начиная с версии 7,2, пример Вуфориа Engine для HoloLens содержит образец сцены, включая пример использования целевых объектов модели. Note: Starting with version 7.2, the Vuforia Engine Sample for HoloLens includes a sample scene including example usage of Model Targets

Портал разработчика Вуфориа The Vuforia Developer Portal


Разработчикам, стремящимся создать свои собственные возможности AR с Вуфориа Engine и HoloLens, следует зарегистрироваться на нашем портале разработчиков Вуфориа по адресу Developer.Vuforia.com. Developers looking to create their own AR experiences with Vuforia Engine and HoloLens should sign up on our Vuforia Developer Portal at developer.vuforia.com. На портале у разработчиков есть доступ к форумам Вуфориа Engine , где они могут присоединиться к обсуждениям сообщества, библиотеке с подробной документацией по всем функциям подсистемы Вуфориа, а также вуфориа Target Manager , где пользователи могут Создайте собственные пользовательские целевые объекты. In the portal, developers have access to the Vuforia Engine Forums where they can join community discussions, a library with in-depth documentation on all the Vuforia Engine Features, and the Vuforia Target Manager where users can create their own custom Targets. Разработчики также могут зарегистрироваться для использования бесплатной лицензии разработчика с помощью диспетчера лицензий вуфориа. Developers can also sign up for a free Developer License using the Vuforia License Manager.

Расширенное отслеживание с помощью Вуфориа Extended tracking with Vuforia

Расширенное отслеживание создает карту среды для поддержания отслеживания, даже если целевой объект больше не находится в представлении. Extended tracking creates a map of the environment to maintain tracking even when a target is no longer in view. Вуфориа Engines аналогично пространственному сопоставлению, выполняемому HoloLens. It is Vuforia Engines’ counterpart to the spatial mapping performed by HoloLens. При включении расширенного отслеживания на целевом объекте вы включаете назначение этой цели для передачи в систему пространственных сопоставлений. When you enable extended tracking on a target, you enable the pose of that target to be passed to the spatial mapping system. Таким образом, целевые объекты могут существовать как в подсистеме Вуфориа Engine, так и в пространственных координатах HoloLens, хотя и не одновременно. In this way, targets can exist in both the Vuforia Engine and HoloLens spatial coordinate systems, though not simultaneously.

окно «Параметры
Окно «Параметры Unity» Unity settings window

Включение расширенного отслеживания на целевом объекте Enabling Extended Tracking on a Target

Подсистема вуфориа автоматически преобразует объект цели, который использует Расширенное отслеживание, в систему пространственных координат HoloLens. Vuforia Engine will automatically transform the pose of a target that uses extended tracking into the HoloLens spatial coordinate system. Это позволяет объекту HoloLens отследить отслеживание и интегрировать любое содержимое, дополненное к пространственному сопоставлению окружающей среды. This allows HoloLens to take over tracking, and to integrate any content augmenting into the spatial mapping of the target’s surroundings. Этот процесс происходит между Вуфориа Engine и интерфейсами API смешанной реальности в Unity и не требует программирования разработчиком — он обрабатывается автоматически. This process occurs between Vuforia Engine and mixed reality APIs in Unity and does not require any programming by the developer — it’s handled automatically.

Вот что происходит. Here is what occurs.

  1. Целевой объект вуфориа Tracker распознает целевой объект Vuforia’s target Tracker recognizes the target
  2. Целевое отслеживание инициализируется Target tracking is then initialized
  3. Расположение и поворот целевого объекта анализируются, чтобы обеспечить надежную оценку типа для использования HoloLens The position and rotation of the target are analyzed to provide a robust pose estimate for HoloLens to use
  4. Вуфориа преобразовывает целевой объект в пространство координат пространственного сопоставления HoloLens Vuforia transforms the target’s pose into the HoloLens spatial mapping coordinate space
  5. HoloLens отслеживает отслеживание и отключается средство отслеживания Вуфориа HoloLens takes over tracking and the Vuforia tracker is deactivated

Разработчик может управлять этим процессом, возвращая управление Вуфориа, отключив Расширенное отслеживание на Таржетбехавиаур. The developer can control this process, to return control to Vuforia, by disabling extended tracking on the TargetBehaviour.

Примечание. Начиная с Вуфориа 7,2, Расширенное отслеживание больше не включается на основе каждого целевого объекта. NOTE: Starting with Vuforia 7.2, Extended Tracking is no longer enabled on a per-target basis. Вместо этого разработчики могут включить функцию отслеживания устройств, чтобы включить аналогичные функции для всех целевых объектов в сцене. Instead, developers can turn on Device Tracking to enable similar functionality on all the targets in the scene.

Платформа для AR PTC Vuforia. Полный комплект Vuforia Engine, Vuforia Chalk и Vuforia Studio Enterprise

PTC Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения (Software Development Kit — SDK) для мобильных устройств, разработанные компании Qualcomm. Проект Vuforia был куплен у Qualcomm в ноябре 2015 года и с того момента полностью принадлежит компании PTC Inc.

Vuforia использует технологии компьютерного зрения, а также отслеживания плоских изображений и простых объёмных реальных объектов (к примеру, кубических) в реальном времени. С версии 2.5 Vuforia распознаёт текст, а с 2.6 — имеет возможность распознавать цилиндрические маркеры.

Возможность регистрации изображений позволяет разработчикам располагать и ориентировать виртуальные объекты, такие, как 3D-модели и медиаконтент, в связке с реальными образами при просмотре через камеры мобильных устройств. Виртуальный объект ориентируется на реальном образе так, чтобы точка зрения наблюдателя относилась к ним одинаковым образом для достижения главного эффекта — ощущения, что виртуальный объект является частью реального мира.

Vuforia поддерживает различные 2D- и 3D-типы мишеней, включая безмаркерные Image Target, трёхмерные мишени Multi-Target, а также реперные маркеры, выделяющие в сцене объекты для их распознавания.

Дополнительные функции включают обнаружение преград с использованием так называемых «Виртуальных кнопок» («Virtual Buttons»), детектирование целей и возможность программно создавать и реконфигурировать цели в рамках самомодифицирующегося кода.

Vuforia предоставляет интерфейсы программирования приложений на языках C++, Java, Objective-C, и .Net через интеграцию с игровым движком Unity. Таким образом SDK поддерживает разработку нативных AR-приложений для iOS и Android, в то же время предполагая разработку в Unity, результаты которой могут быть легко перенесены на обе платформы.

Приложения дополненной реальности, созданные на платформе Vuforia, совместимы с широким спектром устройств, включая iPhone, iPad, смартфоны и планшеты на Android с версии 2.2 и процессором, начиная с архитектур ARMv6 или 7 с возможностью проведения вычислений с плавающей запятой.

Добавьте свой контент на любые объекты

Мишени моделей

Позволяет распознавать объекты по форме, используя уже существующие 3D-модели. Размещайте контент AR на самых разных предметах, таких как промышленное оборудование, транспортные средства, игрушки и бытовая техника.

Многоцелевые мишени

Многоцелевые мишени – предназначены для объектов с плоскими поверхностями и несколькими сторонами или содержащих несколько изображений. Упаковка продукта, плакаты и фрески – все это отличные мульти-цели.

Мишени изображений

Мишень, как изображение – это самый простой способ разместить контент AR на плоских объектах, таких как страницы журналов, карточки товаров и фотографии. Vuforia будет отслеживать изображение, даже если оно частично находится в поле зрения камеры

Цилиндрические мишени

Цилиндрические мишени позволяют размещать содержимое AR на объектах цилиндрической и конической формы. Банки с газировкой, бутылки и тубы с набивным рисунком являются отличными кандидатами для Cylinder Targets.

Объектные мишени

Объектные мишени создаются путем сканирования объекта. Они являются хорошим вариантом для игрушек и других продуктов с богатыми деталями поверхности и постоянной формой.


VuMarks

VuMarks позволяет идентифицировать и добавлять контент в серии объектов. Это отличный способ добавить информацию и контент в линейки продуктов, инвентарь и оборудование.

VuMarks

Хотите, чтобы ваше приложение выглядело как рентгеновский аппарат? Как насчет ночного видения? Создайте свои собственные шейдеры для реализации сложных визуальных эффектов.

VuMarks

Статичные изображения оживают в движении на видео. Воспроизведение видео с Vuforia Engine упрощает взаимодействие с целевыми поверхностями.

Виртуальные кнопки

Представьте себе страницу журнала, которая действует как сенсорный экран. С Vuforia Engine это возможно. Создавайте виртуальные кнопки, которые ваше приложение может видеть и реагировать на них.

Управление окклюзией

Vuforia Engine обнаруживает и отслеживает цели, даже если они частично скрыты за барьерами, такими как ваша рука. Специальная обработка окклюзии позволяет приложениям отображать графику, как будто она появляется внутри физических объектов.

Более полумиллиона разработчиков выбрали передовые технологии компьютерного зрения, невероятную производительность и кроссплатформенность Vuforia Engine. Это сделало проект Vuforia самым популярным AR на планете.

Основные преимущества PTC Vuforia

Непревзойденная точность
Передовые технологии компьютерного зрения в Vuforia Engine обеспечивают невероятную точность AR в различных средах.

Возможности для творчества
Надежная технология, предлагаемая в Vuforia Engine, позволяет разработчикам свободно создавать фирменные AR-приложения для новых или уже существующих приложений.

Максимальный охват – мультиплатформенность
Vuforia поддерживает AR-устройства, такие как смартфоны, планшеты и гарнитуры на ведущих платформах, чтобы охватить наибольшую аудиторию.

Концепция расширенного зрения
Vuforia Engine предлагает динамическое распознавание объектов и может определять изображения, 3D-модели и среды, обеспечивая гибкость разработки.

500 000 + разработчиков выбрали Vuforia

Vuforia Chalk

Vuforia Chalk объединяет ваших технических специалистов и клиентов для более быстрого и эффективного решения проблем. Мощное и интуитивно понятное дистанционное управление позволяет вашим специалистам помогать в разрешении разных проблем без необходимости выезда на объект. Vuforia Chalk позволяет наглядно и точно в режиме AR-изображения показать определенную область на физическом объекте.

Vuforia Chalk предлагает:

  • Неограниченные AR-видеозвонки
  • Централизованное управление пользователями в версии Enterprise
  • Панель инструментов и аналитика
  • Поддержка любых устройств на iOS + Android

Технический специалист в Vuforia Chalk может размещать изображения в режиме реального времени, чтобы выделить детали или подчеркнуть тот или иной момент. Добавленные метки на AR-изображение будут точно соответствовать реальности физического объекта, это снижает вероятность дорогостоящих ошибок.

Для работы с Vuforia Chalk не нужно специального обучения. Принцип взаимодействия заложенный в Chalk позволяет вашим специалистам без лишних сложностей оказывать поддержку клиентам.

Vuforia Studio Enterprise

Vuforia Studio предоставляет промышленным компаниям инструменты для быстрого создания и широкого распространения контента AR, что позволяет трансформировать операции, облегчить передачу знаний и улучшает рентабельность.

Vuforia™ Studio Enterprise новый мощный инструмент для создания и публикации приложений дополненной реальности (AR). Vuforia Studio, о котором первоначально говорили как о проекте ThingX, тесно интегрирован с ПО для визуализации и иллюстрирования из системы трехмерного проектирования Creo®, а также с платформой Интернета вещей (IoT) ThingWorx®. Это позволяет легко и быстро встраивать компоненты дополненной реальности в подключенные к Сети устройства — от производственного и заводского оборудования до солнечных панелей и медицинских приборов. Vuforia Studio в настоящее время доступен заказчикам в рамках пилотной программы Vuforia Studio.

Vuforia Studio Enterprise открывает корпоративным клиентам новую эру дополненной реальности. Предлагаемый набор компонентов позволяет практически каждому влиться в ряды разработчиков дополненной реальности и не требует знания какого-либо языка программирования. Интегрируя данные из 3D САПР, таких как Creo, с данными Интернета вещей из ThingWorx, Vuforia Studio упрощает разработку приложений дополненной реальности, которые помогают корпоративным клиентам создавать, эксплуатировать и обслуживать интеллектуальные сетевые изделия.

Дополненная реальность — это один из наиболее быстро растущих технологических сегментов в корпоративной среде. Однако ее распространению препятствует недостаток инструментов, с помощью которых авторы контента могли бы использовать существующие 3D-ресурсы. Vuforia Studio решает эту проблему, позволяя разрабатывать приложения для создания, эксплуатации и обслуживания интеллектуальных сетевых изделий. Vuforia Studio обеспечивает все компоненты, необходимые для воплощения дополненной реальности. Для работы с ними не требуется ни глубоких познаний в программировании, ни экспертного опыта в технологиях дополненной реальности.

Vuforia Studio делает дополненную реальность более доступной для корпоративных клиентов, позволяя организациям использовать существующие 3D-ресурсы, созданные в ведущем в отрасли программном обеспечении для 3D CAD моделирования PTC Creo и других популярных системах. Vuforia Studio позволяет комбинировать эти данные с легко создаваемыми анимацией и алгоритмами. Кроме того, через ThingWorx к данным можно добавлять информацию с датчиков устройств, подключенных к Интернету вещей, — например, сведения о температуре и скорости работы. Эта информация интегрируется с помощью комплекса технологических решений, облегчающих разработку приложений дополненной реальности.


Vuforia Studio Enterprise. Предоставляет удобный в использовании интерфейс для создания и публикации приложений дополненной реальности, не требующий написания программного кода. В приложения могут включаться данные 3D-САПР и данные IoT из ThingWorx; кроме того, с ними можно связывать изображения ThingMark™, уникальным образом идентифицирующие объект или продукт.

Vuforia Experience Service. Приложения, созданные в Vuforia Studio, при помощи лишь нескольких щелчков мыши могут быть опубликованы в облачном сервисе Vuforia Experience Service. Количество публикуемых приложений не ограничено, что делает этот сервис масштабируемым решением для корпоративного внедрения.

Vuforia View Enterprise. Сканирует изображения ThingMark и предлагает пользователю выбрать соответствующее приложение. После того как выбор сделан, приложение загружается и запускается.

#дополненная реальность — Unity и Vuforia

As of 2020.2, Unity integrates the Vuforia Engine, making it even easier to create cutting edge augmented reality experiences for both handheld and headworn devices. You can learn more about the Vuforia Engine platform at developer.vuforia.com.

About Vuforia Engine

Vuforia Engine is a software platform for creating Augmented Reality apps. Developers can easily add advanced computer vision functionality to any application, allowing it to recognize images and objects, and interact with spaces in the real world.

The Vuforia Engine platform supports AR app development for Android, iOS, and UWP devices. See: Vuforia Engine Supported Versions

This Getting Started guide will show you:

  • How to install Vuforia Engine with Unity
  • How to activate Vuforia Engine in your projects
  • How to access Vuforia Engine’s features in Unity

Installing Vuforia Engine

Download and run the Unity Download Assistant 2020.2 or later from the Unity website: https://unity3d.com/. Accept Unity’s license agreements.

In Unity versions before 2020.2, select Vuforia Augmented Reality Support in addition to your platform support (iOS, Android, UWP) in the Components selection dialogue. Then continue with your installation.

This is not required from Unity 2020.2 onwards since Vuforia can be added to any project using Unity’s package manager.

Create a new Unity project

It’s recommended that you use a 3D project set-up.

Activate Vuforia Engine in your project

You must activate Vuforia Engine in your project before building a Vuforia Engine app, or use Vuforia Engine in Play Mode. Go to Player Settings to activate Vuforia Engine under the «XR Settings» section and check «Vuforia Augmented Reality».

In Unity 2020.2 and later, this will automatically add the latest Vuforia Engine package to your project.
Alternatively, you can add the package from the Package Manager window:

Vuforia Engine Game Objects

Vuforia Engine will be visible in the Unity Game Object menu and also in Build Settings and Player Settings.

If this menu is not shown, this means that you did not install Vuforia with Unity (Unity versions before 2020.2) or did not add the Vuforia Engine package to your project (Unity 2020.2 and later).

Accessing Vuforia Engine features in Unity

After activating Vuforia Engine in Unity, you can add features of Vuforia Engine to your project from the Unity GameObject Menu. Please refer to Features Overview for more information on all of the capabilities offered by the Vuforia Engine.

Start by adding an ARCamera. This is a special camera type that supports augmented reality apps for both handheld devices and digital eyewear.

  1. Add an ARCamera
  2. Open the global Vuforia Configuration Inspector
  3. Activate the target databases
  4. Add targets to your scene

1. Add an ARCamera. Delete Main Camera.


This is a good time to print some targets to work with. You can find these in /Editor/Vuforia/ForPrint . We’ve provided a complete set of high-resolution target prints to get you started.

Printable target PDFs can be found in /Editor/Vuforia/ForPrint

Add Targets to your scene

2. Add targets to your scene

You can add Vuforia Engine targets to your scene by selecting the associated Game Objects in the GameObject> Vuforia menu. A target Game Object will be added in your scene hierarchy, which will be visible in your scene.

Each target object can be configured in the Inspector. Select the database and target name for the target you want to use.

Adding digital assets

You’re now ready to add digital content to augment your target. You can do this by simply adding your assets as children of the target in the scene hierarchy. Parenting content with a target object automatically sets up the necessary rendering and physics behaviors (see: DefaultTrackableEventHandler.cs ).

Add content as a child of the target.

Tip: Delete the default Main Camera after adding an ARCamera. The ARCamera contains its own scene Camera. You won’t need the Main Camera unless you are using it to render a specific camera view.

Playing the scene

Vuforia Engine provides a simulator in the Game view that you can activate by pressing the Play button. You can use this feature to evaluate and rapidly prototype your scene(s) without having to deploy to a device.

Play Mode is configured in the WebCam section of the Vuforia Configuration.

Building and running your app

Vuforia Engine-powered Unity apps are built and run in the same way as other Unity apps for Android, iOS, and UWP.

Configuring a project for Digital Eyewear

Vuforia Engine supports a variety of optical and video see-through stereo rendering displays, including HoloLens and Vuzix M300. Refer to the Digital Eyewear article for more information.

Perform the following steps to configure your project for HoloLens:

  1. In the Edit menu, select Project Settings.
  2. Select the appropriate platform icon and expand the XR Settings section.
  3. Select the Virtual Reality Supported checkbox.
  4. Highlight Virtual Reality SDKs.
  5. Click the + icon.
  6. Select Windows Mixed Reality as the top SDK in the list.

Learn more

Register as a Vuforia Engine developer to access our support forums and advanced features of the Vuforia Engine platform.

#дополненная реальность — Unity и Vuforia

Войти через uID

Войти через uID

Современный мир не перестает радовать нас достижениями технологий. Я до сих пор отношу всякие шлемы виртуальной реальности к чему-то скорее научно-фантастическому, нежели реальному, несмотря на то, что они уже вполне существуют. Помимо, если так можно выразится, “чистой” виртуальной реальности все более интересными кажутся проекты по дополнению реальности нашей (Augmented Reality). Нашумевший на Kickstarter проект castAR тому живое доказательство, да и Google Glass хоть и не совсем то, но вполне умещается в термин augmentation.

Одно только НО, Oculus Rift – на сегодня это версия для разработчиков, castAR – вообще только концепт, ну а Google Glass достался только счастливчикам и возможности его сильно ограничены. В общем об охвате широкой аудитории пока говорить не приходится. Зато смартфоны всех сортов поселились в нашей жизни уже повсеместно. Они все замечательные, имеют камеру и достаточно умны, чтобы стать тем самым окошком в реальность дополненную.
В этой статье я расскажу о Vuforia — фреймворке, который позволяет сделать с вашим телефоном нечто подобное. Пост скорее обзорный, чтобы разобраться в терминологии и понять, как все это делается.

Vuforia – это платформа для создания augmented reality приложений для телефонов и планшетов на операционных системах iOS и Android. Нужно сказать, я был приятно удивлен тем, что компания Qualcomm, помимо производства железной составляющей наших любимых гаджетов, еще и предоставляет такие средства для разработчиков.

Ядром платформы является библиотека QCAR, написанная на C++ и прячущая за свои интерфейсы практически всё от определения мишени (target) и заканчивая рендерингом картинки.

Помимо библиотеки, платформа включается в себя: iOS и Android Vuforia SDK для разработчиков; Target Manager — систему для создания и управления мишенями; а также набор web сервисов (Vuforia Web Services) в которые можно вынести хранение мишеней и еще кое-какой функционал. Платформа развивается очень динамично и новые части добавляются довольно часто.


Я уже несколько раз упомянул мишень или target, так что ничего больше не остается, как рассказать о ней подробнее.

Чтобы что-то добавить в реальный мир, нужно в этом мире “зацепиться” за какой-либо объект. Именно для этой цели и служат мишени. Другими словами, мишень – это некий реальный объект, зная который наше приложение может расставить виртуальные объекты в нужных местах и соответствующих пропорциях.

Vuforia предоставляет богатый выбор мишеней:

Image targets – базовый вид мишеней, представляющий собой обычную картинку, например, обложку журнала, фотографию или афишу нового фильма. Картинка выполняет роль своего рода двумерного штрих-кода, только без черно-белых регионов. По ней мы можем определить, какая именно картинка попала в объектив камеры, а также её расположение в пространстве и масштаб. Стоит сказать, что не любая картинка подойдет для создания мишени. Хорошими мишенями являются те, в которых много контрастных деталей. Именно на этих деталях и строится опорная матрица для последующего распознания мишеней.
Simple 3D targets (Cube and Cuboid) – это мишени в виде прямоугольных параллелепипедов (включая куб). Например, такой мишенью может служить упаковка из-под сухих завтраков, спичечный коробок или только что купленная настольная игра. Как и любая коробка, такая мишень состоит из шести плоскостей, и чтобы создать её, нам понадобится шесть картинок для каждой из них. Если вы когда-нибудь склеивали кубик из бумаги – то быстро справитесь с задачей.
Cylinder targets – этот вид мишеней, несмотря на название, представляет собой усеченный конус с возможностью задавать диаметры оснований. Конечно если выбрать одинаковые диаметры, то получатся как раз цилиндр, но все же это частный случай. Для того, чтобы создать такую мишень нам понадобится не только указать диаметры оснований и высоту, но также добавить три картинки – по одной для каждого из двух оснований, и еще одну для боковой поверхности.
Frame markers – эта мишень в виде специально подготовленной рамки, которая уже куда более походит на штрих-код. В такую рамку можно поместить любую картинку. Данный вид мишеней отлично подходит в случае, если картинка не была достаточно детализирована и создать из нее толковую image target не получилось.
Text (word targets). В библиотеку Vuforia встроено еще и распознание текста, поэтому любое слово или их сочетание может являться мишенью. На данный момент поддерживается только латиница, но и это уже очень интересно. Только представьте насколько интересным может стать изучение иностранных слов.

В зависимость от количества мишеней, необходимых для вашего приложения, вы можете либо хранить их в так называемой Device Database, всегда иметь к ним доступ и распознавать их непосредственно на самом устройстве, либо переложить часть этой нагрузки на Cloud Databases – сервис из набора Vuforia Web Services, предназначенный для хранения мишеней и определения их на основании присланных с устройства данных. Оба подхода имеют свои плюсы и минусы, но определившись с целями вашего приложения выбрать будет не так сложно.

Помимо этого, мишени могут быть созданы непосредственно из самого приложения используя картинку полученную с камеры.

Стоит также отметить, что QCAR не требует попадания всей мишени в кадр. Для того, чтобы её распознать и использовать достаточно будет лишь части. Это очень важно и позволяет рассматривать всю магию вашего приложения под самыми разными углами.

Более избитой крылатой фразы чем “Дайте мне точку опоры, и я переверну Землю!” придумать сложно, но здесь она подходит как нельзя лучше. Теперь, получив возможность “зацепиться”, мы можем начинать добавлять ту самую магию, которую можно будет увидеть на экране смартфона в нашем реальном мире.

Для этого давайте разберемся какую магию мы можем себе позволить. Для этого я постарался собрать основные примеры использования augmented reality и все из них могут быть использованы с Vuforia.

татические и динамические 3D модели. Мы можем добавить любой 3D объект начиная от любимого всеми чайника и заканчивая сложной анимацией. Vuforia активно поддерживает возможность интеграции с Unity, что еще сильнее развязывает нам руки. Ограничены мы только фантазией и мощностью смартфонов/планшетов.
Виртуальный кнопки взаимодействовать с которыми придется вполне себе предметами реальными. Например, это может быть кнопка на вашей мишени, нажатие на которую запускает виртуальную ракету земля-воздух из вашего рабочего стола рассмотреть которую можно только через экран смартфона.
Видео и картинки, которые позволяют заменить нашу мишень или сделать её немножечко более живой.
Изменение фона, помимо всего прочего, вы можете изменять и саму картинку полученную с камеры. Другими словами, мы можем не только дополнять картинку, но и оперировать с ней самой.

Имея такой внушительный набор средств можно сделать практически все, что угодно.

Как я уже говорил, эта статья скорее обзорная и целью её было познакомить вас с Vuforia и дать пищу для фантазии. Если тема найдет отклик в сердцах хабровичан, то в следующей статье я рассмотрю примеры, которые предоставляет Vuforia вместе с Android SDK, опишу код, который там есть, а может и смастерим что-то на скорую руку. Ну и на последок, видео которое лично мне снесло голову и заставило прыгать как маленького мальчишку, впервые увидевшего столицу.

#дополненная реальность — Unity и Vuforia

335 просмотра

4 ответа

129 Репутация автора

У меня есть приложение электронной коммерции со сложным пользовательским интерфейсом и функциями реальности аргументов, такими как рендеринг моделей и распознавание изображений. Требуется приложение для поддержки функции распознавания изображений на младших устройствах, которая еще не поддерживается ARCORE. Так что единственный вариант — это Unity. Из-за отсутствия опыта в объединении, хочу разработать приложение для Android Java (все компоненты пользовательского интерфейса, добавить в корзину и функцию оплаты) и модуль AR в Unity Vuforia. Затем интегрируйте код модуля Unity AR в приложение для Android и вызывайте его из кода Java. Я видел несколько учебных пособий, в которых интегрированы Java-код и код Unity, но это примеры проектов с небольшим количеством обратной связи.

Так это хороший подход для разработки нативного интерфейса пользователя и рендеринга AR в единстве, а затем интегрировать его вместе? Если да, то какие сложности могут быть вызваны этим подходом?

Ответы (4)

2 плюса

48 Репутация автора

Я бы создал мобильное приложение в пользовательском интерфейсе в единстве. В Unity есть много модулей для работы в мобильной AR, которые я настоятельно рекомендую вам посмотреть. Если вы знаете Java, то работать в C # совсем не сложно. Они практически одинаковы. Вы можете сделать все элементы пользовательского интерфейса, используя Vuforia, я не понимаю, почему это проблема. На самом деле, Vuforia позволяет вам использовать Android Studio вместе с ним , так что, возможно, этот маршрут лучше для вас.

плюса

527 Репутация автора

Если вы не знакомы с Unity, вам потребуется больше времени, чтобы создать подобное приложение в Unity. Для Android вы можете использовать OpenCV .

1 плюс

31 Репутация автора

Если у вас есть опыт работы с Android, я бы не стал создавать все в Unity, поскольку средство визуализации пользовательского интерфейса не совсем подходит для сложных пользовательских интерфейсов, таких как пользовательские интерфейсы телефонных приложений. Я сделал проект, немного противоположный вашему, в котором я использовал встроенные функции, такие как просмотр галереи и 360 изображений в Android, вызываемые из Unity. Помните, что когда вы запускаете Unity в Android, на самом деле это приложение для Android, накрывающее Unity. Итак, вы уже используете Android-приложение и Unity.

Если вы мало знаете об Android, вы потратите слишком много времени на настройку вещей, которые сложно поддерживать. Так что взвесьте, если вы все сделаете в Unity, будет легко развернуть ваше приложение и в IOS.

3 плюса

1417 Репутация автора

Связь Android с Unity очень проста. Я использую это с прошлых 3 лет, и это работает как очарование :)

IMP: При разработке приложения Unity для Android можно расширить стандартный класс UnityPlayerActivity (основной класс Java для Unity Player на Android, аналогично AppController.mm на Unity iOS). Приложение может переопределить любое основное взаимодействие между ОС Android и приложением Unity Android.

  • Вы можете написать простой Wrapper в своем коде на C # Unity и экспортировать исходный код Android Studio из Unity.
  • Сценарии Unity C # позволяют получить доступ к таким функциям, как вызовы ОС и сторонние библиотеки кода, которые в противном случае были бы недоступны для Unity.

Сначала создайте код внутри Unity и вызовите функцию Android из Unity

1. Сначала создайте сборку в редакторе Unity:

Вам нужно вызвать собственный метод Android из Unity или наоборот: Например:

Замените его на вашу активность и название пакета

В C # (Звонящий)

В Android (Callee)

2. Затем экспортируйте код как сборку для разработки и импортируйте то же самое в Android studio:

В Android Studio Расширьте / измените UnityPlayerActivity. Файл UnityPlayerActivity.java

В Android (Звонилка)

В C # (Callee)

Затем создайте новый манифест Android, чтобы установить новую активность в качестве точки входа вашего приложения.

ОЧЕНЬ, ОЧЕНЬ ИМП : хотя этот метод поддерживает строку, все же для надежного вывода используйте указатель / IntPtr

Вот полный пример кода:

Дополненная реальность с помощью Unity 3D, Playmaker и Qualcomm Vuforia Developer portal

Один из способов создания дополненной реальности (augmented reality, AR) с помощью
Unity 3D, Playmaker и Qualcomm Vuforia Developer portal.
Создаем интерактивную модель дивана для AR (с анимацией и сменой текстур), с помощью Playmaker.

Vuforia Developer portal, предлагает решения для дополненной и виртуальной реальностей. Здесь вы можете скачать asset для Unity 3D, подготовить target (цель) для моделей, скачать приложение для сканирования реальных объектов, чтобы из них сделать свои цели. Читаем информацию на сайте, особенно лицензионное соглашение, так как есть ряд ограничений в использовании данного сервиса,
более подробно не разбирался. Но и бесплатного функционала может быть достаточно.

все ссылки в описании к видео на youtube.

Надеюсь рассказал все подробно и ясно как кристально чистое озеро, как лазурное небо в середине лета. дыр-пыр-дыр-дыр-пыр ))

Ссылки:
https://developer.vuforia.com/ — хороший сервис для AR и VR
https://www.youtube.com/watch?v=qfxqfdtxyVA — хороший урок
https://developer.android.com/sdk/index.html — скачиваем android SDK
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html — скачиваем Java Development Kit

Видео Дополненная реальность с помощью Unity 3D, Playmaker и Qualcomm Vuforia Developer portal канала Антон lance_lot

Цукерберг рекомендует:  Создаем первое PHP приложение Часть №2
Понравилась статья? Поделиться с друзьями:
Все языки программирования для начинающих