Быстрый старт
Что такое EligoVision Toolbox (EV Toolbox)
EV Toolbox - это новый инструментARий дополненной реальности (Augmented Reality), созданный в России и работающий на базе собственной технологии дополненной реальности от компании EligoVision - "живые 3D метки®".
EV Toolbox - это новый, простой и удобный программный продукт, позволяющий 3D дизайнерам и программистам создавать собственные презентации на основе технологии дополненной реальности и зарабатывать на них.
Дополненная реальность (AR) - это интерактивная технология, которая позволяет накладывать "поверх" изображения с камеры специальные компьютерные 2D и 3D объекты таким образом, что создается впечатление, что они непосредственно находятся в реальном мире.
EV Toolbox - это набор программ для создания и просмотра презентаций с дополненной реальностью. EV Toolbox состоит из двух программ: EV Studio и prEView. С помощью EV Studio создается проект, в котором задается сценарий презентации. Проект из EV Studio экспортируется как eva-пакет. Проигрыватель prEView позволяет просматривать созданный eva-пакет в режиме реального времени.
Примеры AR проектов в EV Toolbox
Специально для вас мы создали в EV Toolbox пять уже готовых примеров презентаций. Они наглядно показывают возможности инструментARия.
В них мы включили следующие сценарии презентаций:
- Размещение модели на метке (Model on Marker)
- Презентация частей модели через событие перекрытия метки на примере снятия этажей с модели здания (Model Components)
- Пример презентации с использованием безмаркерных меток (Markerless Technology)
- Презентация “Изба 2.0.” с включением в презентацию видео и скелетной анимации (IZBA 2.0).
- Презентация “Мертвец и будильник” с программированием взаимосвязей между двумя независимыми моделями (Deadman and Alarm).>
Для просмотра любого готового примера презентации достаточно открыть эту презентацию, а затем во вкладке File выбрать опцию Preview package. Откроется окно с подключенной к вашему ПК камеры. Далее необходимо нажать кнопку Play и поднести к камере одну из двух меток.
Распечатать метки можно в панели основного меню (стартовый экран при запуске EV Toolbox) в нижней части по ссылке Print Markers. Выйти в основное меню можно через File > Back to Main Menu.
Создание AR презентации в EV Toolbox
Давайте посмотрим, как создается презентация дополненной реальности в инструментARии EV Toolbox по шагам.
Начнем с несложной задачи, где в результате на метке будет появляться простая 3D модель (Model on Marker).
- В меню выбираем Файл > Новый проект.
- Открывается экран проекта. Слева расположена панель проекта, где показаны все добавленные в проект объекты взаимодействия. Справа находится панель свойств, где показываются свойства объектов из панели проекта. По центру располагается рабочая область, где можно настраивать сценарий презентации (если выбрать Сценарийв панели проекта) и отображение графических элементов в презентации.
- Для создания презентации нам нужно добавить объекты метки и модели.
- Для добавления объекта метки выбираем в меню Презентация > Создать объект > Объект метки, в открывшемся диалоге справа расположены настройки создаваемого объекта. Выбираем маркерную технологию распознавания (о достоинствах и недостатках различных технологий см. в разделе Метки), и файл с паттерномev_pattern.png(один из двух предложенных нами паттернов; о том, как создавать собственные паттерны меток читайте ниже).
- Добавляем объект модели: Презентация > Создать объект > Объект модели, в качестве ресурса модели выбираем файлev_model.fbx. Также при создании необходимо выбрать объект метки, к которому будет привязана создаваемая модель. Для этого нажимаем на изображение и в открывшемся диалоге выбираем созданный на предыдущем шаге объект модели.
- После добавления открываются свойства объекта модели, где можно настроить как будет располагаться модель относительно метки. Масштаб и расположение могут быть подобраны в автоматическом режиме, для этого достаточно нажать на кнопку Автоматически.
- Теперь можно посмотреть что получилось. Выбираем в меню Файл > Предпросмотр. Запускается окно prEView, нажимаем кнопкуPlayи презентация запускается.
- Созданную презентацию можно сохранить как проект EV Studio (*.evproj), eva-пакет (Файл > Экспорт пакета) и в дальнейшем просматривать в prEView или экспортировать исполняемый файл (Файл > Экспорт приложения) (экспорт eva-пакета и приложения доступны тольно в версиях Standard и выше).
Что дальше:
- как работает система взаимодействия
- что еще можно настраивать в объекте модели
- какие требования к меткам
- какие еще есть объекты взаимодействия
Система взаимодействия
Взаимодействие в презентации дополненной реальности задается с помощью объектов взаимодействия и соединений между ними.
У каждого объекта взаимодействия есть
- параметры,
- события,
- действия.
Параметры объекта настраиваются в панели свойств. Например, у объекта модели есть параметр ресурса модели, какая именно модель будет использоваться.
Событие – это извещение системы о том, что с объектом что-то произошло. Например, система определила, что в зоне видимости камеры появилась или исчезла метка. Или сработал поставленный на определенное время таймер, или закончилось проигрывание видео, или иное событие.
С помощью действий мы, например, можем показать или скрыть модель, запустить анимацию.
Cоединение позволяет настроить необходимый набор действий, который должен отреагировать на произошедшее событие. Например, когда видео заканчивается, то нужно скрыть его и произвести следующее действие, например, появление текста на экране.
У некоторых действий есть параметры. Параметры действий задаются или значением, или символом, который должен быть среди параметров события.
Ресурсы
model
|
image
|
audio
|
video
|
|
Изображениеimage Поддерживаются изображения в форматах PNG и JPEG. |
Аудиоaudio В настоящее время поддерживается только формат vorbis (".ogg" или ".oga"). В дальнейшем планируется автоматическая конвертация из mp3, wav и других распространенных форматов. |
Видеоvideo В настоящее время поддерживается только формат theora (".ogv" или ".ogg"), проигрывается только видео без звука. В дальнейшем планируется поддержка видео со звуком и автоматическая конвертация из mpeg4, h263, h264, flv, quicktime, wmv и других форматов. |
Метки
На данный момент поддерживаются две технологии трекинга:
- Маркерная технология распознаёт только квадратные изображения в специальной рамке (см. подробнее о Маркерной технологии распознавания), однако она более надёжна и менее требовательна к вычислительным ресурсам компьютера.
- Безмаркерная технология позволяет использовать изображения с произвольным соотношением сторон без рамки (в отличие от маркерных меток). Такая технология распознавания имеет некоторые требования к самому изображению (см. в разделе Безмаркерной технологии)
Маркерная технология распознавания
Для работы маркера требуется его печатная версия и файл с изображением его внутренней части (паттерна). На рисунке схематично показаны пропорции печатного маркера и содержимое соответствующего файла с паттерном.
Пропорции маркера (слева) и содержимое соответствующего файла с паттерном (справа). Пунктирная рамка показана только для обозначения границ изображения и в само изображение включаться не должна.
Файл с паттерном должен в точности содержать изображение внутренней части маркера, включая белые поля, но исключая шаблон (линии с точками). Изображение должно быть черным на белом фоне. Промежуточные оттенки серого допускаются при достаточном контрасте изображения по отношению к фону. В картинке не должно быть прозрачных или полупрозрачных пикселей. Для хранения изображений рекомендуются использовать формат PNG, также поддерживаются TIFF, JPG и BMP. Рекомендуется использование только чёрных и белых пикселей, соотношение сторон 1x1. Также необходимо отметить, что размер изображения будет автоматически приведён к 128x128 пикселей, а цвета изображения будут переведены в чёрный и белый цвета (без оттенков серого), что может повлиять на качество и, что гораздо важнее, контрастность изображения. Для того, чтобы избежать упомянутых проблем, рекомендуется использовать изображения, размер которых в точности равен 128x128 пикселей, содержащих только чёрные и белые пиксели.
Маркеры желательно печатать на твердой поверхности, чтобы исключить деформацию, из-за которой могут возникать проблемы с распознаванием. Для корретного определения ориентации паттерн не должен обладать симметрией при повороте на 90 или 180 градусов. На рисунке показаны примеры неправильного и правильного в этом отношении паттернов.
Паттерн, обладающий симметрией при повороте на 90 градусов (слева) и паттерн, не обладающий такой симметрией (справа).
В случае использования в проекте нескольких меток, их паттерны должны значительно различаться между собой. Если различия заключаются в мелких деталях, то при удалении от камеры такие метки могут интерпретироваться как идентичные.
Создание маркера
Для создания собственного маркера скачайте векторное изображение шаблона и откройте его в любом графическом редакторе. Поместите внутрь рамки изображение так чтобы оно не пересекалось с линиями и точками шаблона (поля должны быть достаточными для того чтобы при удалении от камеры изображения не слились). Распечатайте маркер в удобном для вас масштабе, чтобы было комфортно им манипулировать не рискуя случайно перекрыть рукой (пальцем) линии шаблона. При использовании нескольких маркеров в одном проекте рекомендуется сохранять единый масштаб, особенно если предполагается их взаимодействие.
Допускается использование цветного изображения. Цвет при распознавании не учитывается, только оттенок. Не забывайте о контрасте между изображением и фоном.
Создайте паттерн, вырезав в графическом редакторе линии шаблона из маркера. Сохраните файл в описанном выше формате. EV Toolbox может самостоятельно конвертировать изображение в нужный формат при условии что изображение не содержит линий шаблона. Конвертация происходит автоматически при добавлении маркера
Безмаркерная технология распознавания
Безмаркерные метки представляют собой изображения без каких-либо рамок. Рекомендуемый формат изображения - PNG без прозрачности, однако поддерживаются также JPG, TIFF и BMP, изображение может быть как чёрно-белым, так и цветным, а также может иметь произвольное соотношение сторон.
Основным требованием к изображению, как и в маркернгой технологии, является ассиметричность по отношению к повороту на 90 и 180 градусов. Из трёх изображений ниже крайнее левое почти симметрично относительно поворота на 180 градусов. Центральное изображение таким свойством не обладает и может быть использовано в качестве метки.
Стоит отметить, что изображения с большим числом угловатых элементов распознаются лучше. Так, крайнее правое изображение лучше всего подходит для использования в качестве паттерна безмаркерной метки из-за наличия большого числа трещин, которые и будут распознаваться в первую очередь.
Объекты взаимодействия
Модель
|
Маркер
|
Презентация
|
Видео на метке
|
||
Текст
|
Камера
|
Слайдшоу
|
Аудио
|
||
Видео
|
Таймер
|
Состояние
|
Дистанция
|
Объект моделиmodel Этот объект позволяет добавить в презентацию 3D модель. Параметры
События
Действия
|
Объект видео на меткеvideo_marker Этот объект позволяет добавить в презентацию видео, привязанное к метке так же, как объект модели. Параметры
События
Действия
|
Объект меткиmarker Объект для получения событий касательно конкретной метки. Параметры
События
Действиянет |
Объект презентацииpresentation В этом объекте собраны несколько полезных событий, которые используются в презентации. Параметрынет События
Действиянет |
Объект текстаtext Объект текста можно использовать для отображения небольших объемов текстовой информации. Параметры
Событиянет Действия
|
Объект камерыcamera С помощью этого объекта можно выводить изображение с камеры на экран. Параметры
Событиянет Действия
|
Объект слайдшоуslideshow Объект для показа слайдшоу в презентации. Параметры
Событиянет Действия
|
Объект аудиоaudio Объект для проигрывания аудио в презентации. Параметры
События
Действия
|
Объект видеоvideo Объект для проигрывания видео в презентации. Параметры
События
Действия
|
Объект таймераtimer С помощью этого объекта можно отсрочить выполнение некоторых действий на определенное время. Параметрынет События
Действия
|
Объект состоянияstate С помощью этого объекта можно по ходу презентации хранить ее текущее состояние и в зависимости от этого совершать различные действия (используя для этого элемент условия в соединении). Параметры
События
Действия
|
Объект дистанцииdistance С помощью этого объекта можно организовать взаимодействие двух меток. Для корректной работы объекта необходимо, чтобы у обеих взаимодействующих меток было правильно выставлен физический размер. Параметры
События
Действиянет |
Что добавится в EV Toolbox в дальнейшем
- Импорт аудио и видео из распространенных форматов
- Редактирование графа сцены
- Редактор моделей
- Постэффекты
- Скриптовые возможности
- Построение 2d интерфейса для проектов
- Поддержка мобильных платформ