Словник для розвитку розширеної реальності: 24 терміни, які кожен розробник AR повинен знати

Розробка доповненої реальності знаходиться на перетині комп’ютерного зору, 3D-графіки і мобільної або носієвої інженерії, і вона постачається з словником, який легко отримати майже правильно - що гірше, ніж отримати його явно неправильно. Сказавши «модель плаває» замість «якоря втратив відстеження» може відправити товариша по команді, який дивиться на неправильну підсистему повністю. Цей посібник містить 24 найважливіших терміна розробки додаткової реальності з чіткими визначеннями і прикладами використання для оглядів, переглядів дизайну і звітів про помилки.

Основні концепції

Відстеження

Неперервний процес, за допомогою якого система розширення реальності оцінює положення і орієнтацію пристрою у реальному світі, кадр за кадром, так, щоб віртуальний вміст залишався у відповідності з фізичною сценою.

** Використання: ** * “Следження стабільне у добре освітлених кімнатах, але швидко погіршується, якщо користувач направляє камеру на порожню білу стіну.” *

Якоря

Фіксована точка у реальному світі, пов’ язана з певною позицією і орієнтацією, до якої приєднано віртуальний вміст, щоб він залишався на місці під час пересування користувача.

** Використання: ** * “Ми розмістили якоря на поверхні столу, і віртуальна лампа залишається заблокованою до неї навіть коли користувач ходить навколо.” *

3. виявлення літака

Процес виявлення плоских поверхонь — підлог, столів, стін — у потоці відеокамери, щоб віртуальні об’ єкти можна було реалістично розмістити на них.

** Використання: ** * « Визначення площини підбирає журнальний столик, але не скляну поверхню поруч з ним, що очікується, оскільки відбиваючі поверхні важко виявити. » *

4-й. Шість ступенів свободи (6DOF)

Відстеження, яке захоплює як позицію (рух вперед/ назад, ліворуч/ праворуч, вгору/ вниз), так і орієнтацію (нахил, хід, перевертання), на відміну від 3DOF, яке відстежує лише орієнтацію.

** Використання: ** “Ці навушники підтримують тільки 3DOF, тому користувачі можуть дивитися навколо, але не можуть фізично йти до віртуального об’ єкта.”

П’ятий дрейф

Поступове накопичення невеликих помилок відстеження з часом, що призводить до того, що віртуальний вміст повільно виходить з правильного положення у реальному світі.

** Використання: ** * “Після приблизно двох хвилин ходьби, ми бачимо помітний дрейф — закотвлений об’ єкт змістився приблизно на 15 сантиметрів від свого початкового місця.” *

6. Релокалізація

Процес відновлення точних даних відстеження після їх втрати, зазвичай за допомогою порівняння поточного вигляду камери з попередньо записаними візуальними даними.

** Використання: ** * “Коли користувач знову входить до кімнати, релокалізація починається і якорі повертаються в початкове положення.” *

7-й. Вимірювання візуально-інерційної відометрії (VIO)

Метод відстеження, який об’ єднує зображення камери з даними інерційного датчика (акселерометра і гіроскопа) для більш точної оцінки руху, ніж будь- яке з цих джерел.

** Використання: ** * “VIO добре справляється з швидкими поворотами голови, але все ще має проблеми у середовищах з низькою текстурою, таких як порожні коридори.” *

Розвиток і розуміння сцени

Окклюзія

Ефект, за якого об’ єкт реального світу правильно блокує перегляд віртуального вмісту за ним, що робить розширення фізично заземленим.

** Використання: ** * “Без захоплення віртуальний персонаж йде перед справжнім диваном, а не позаду нього, що негайно руйнує ілюзію.” *

9. Глибинна карта

Оцінка відстані від камери до поверхні реального світу на піксель, використовується для реалістичного закриття і фізичних взаємодій.

** Використання: ** * “Карта глибини має шум на краях об’ єктів, тому ми бачимо мігнутий зазор навколо силуету персонажа.” *

10. Реконструкция сетки

Створення 3D- геометричного зображення фізичного середовища з даних датчиків, що дозволяє віртуальним об’ єктам зіштовхуватися з реальними поверхнями або лежати на них.

** Використання: ** * “Відновлення сітки кімнати оновлюється в реальному часі, коли користувач сканує більше простору за допомогою пристрою.” *

11. Оцінка світла

Аналіз реальних умов освітлення з потоку камери для відтворення віртуальних об’ єктів з відповідними тіні, світлими ділянками і температурою кольору.

** Використання: ** * “Оцінка світла дозволяє віртуальному кріслу відкидати тінь у тому ж напрямку, що й справжнє джерело світла в кімнаті.” *

12-й. Світовий простір проти екранного простору

Простір світу стосується координат, фіксованих відносно реального середовища; простір екрана стосується координат, фіксованих відносно дисплея пристрою, незалежно від того, куди спрямовано камеру.

** Використання: ** * “Ця панель інтерфейсу користувача повинна залишатися на екрані, щоб її завжди було видно, а не прикріплено до простору світу, де користувач може відвернутися від неї.” *

13-й. Слежение по маркеровому принципу

Підхід до розширення реальності, який покладається на розпізнавання певного, заздалегідь визначеного візуального шаблону (наприклад, маркер зображення в стилі QR) для закреплення вмісту, на відміну від відстеження довільних поверхонь без маркерів.

** Використання: ** * “Ми повернулися до відстеження за допомогою маркерів для цієї демонстрації кіоску, оскільки умови освітлення там надто неоднорідні для відстеження без маркерів.” *

14-й. Поле зору (FOV)

Кутовий розмір спостережуваного світу, який буде видимим через камеру або дисплей пристрою доповненої реальності у будь- який момент часу.

** Використання: ** * “Поле зору гарнітури вузьке, ніж у камери телефону, тому користувачі частіше помічають віртуальні об’ єкти, що обрізаються на краях.” *

Взаємодія і вхід

Отслеживание движения руки

Оцінка положення і пози рук і пальців користувача в реальному часі, що дозволяє взаємодіяти з віртуальним вмістом за допомогою жестів без фізичних контролерів.

** Використання: ** * « Відстеження рухів руки втрачає точність, коли пальці перетинаються, тому жест щипання іноді не спрацьовує під час швидких рухів. » *

Отслеживание взгляда

Оцінка того, куди спрямовані очі користувача, часто використовується як метод введення для вибору або підсвічування віртуальних об’ єктів.

** Використання: ** * “Ми використовуємо відстеження погляду для підсвічування об’ єкта, на який дивиться користувач, а потім підтверджуємо вибір жестом щипання.” *

17. Промінь

Проекція невидимої лінії з точки (наприклад, з камери або контролера) на тривимірну сцену, щоб визначити, з чим вона перетинається — зазвичай використовується для розташування об’ єктів або вибору цілей.

** Використання: ** * « Ми використовуємо промінь з центру екрана, щоб знайти найближчу виявлену площину, коли користувач натискає « розмістити об’ єкт ». » *

18. тактильна реакція

Фізичне, тактильне зворотне зв’ язок — зазвичай вібрація — надається через контролер або пристрій для підсилення віртуальної взаємодії, наприклад, торкання віртуальної кнопки.

** Використання: ** * “Ми додали короткий тактильний імпульс, коли віртуальна рука користувача зіткнеться з об’ єктом, щоб взаємодія була більш фізичною.” *

Платформа і трубопровідні терміни

19-й. Євген Кір’як / І

Дві домінуючі платформи SDK (Google ARCore для Android, Apple ARKit для iOS), які забезпечують базове відстеження, виявлення площини і світлооцінку примітивів.

Використання: “Ми створюємо цю функцію на вершині ARKit’s scene reconstruction API, тому на даний момент це тільки iOS.”

20-х років. Постійний якор / якор хмари

Якор, позиція якого зберігається на сервері і може бути розв’ язана пізніше або іншим пристроєм, що дозволяє спільне або багатосеансове використання додаткової реальності.

** Використання: ** * “Ми використовуємо хмарні якорі, щоб другий пристрій у тій же кімнаті міг бачити точно таке ж віртуальне розташування меблів.” *

21. Попереднє відтворення

Оптимізація відтворення, яка зменшує кількість деталей у периферійних ділянках дисплея (за межами місця, куди дивиться користувач) для збереження продуктивності графічного процесора, заснована на відстеженні погляду.

** Використання: ** *“Фовеат рендеринг відкупив нам майже 20% нашого бюджету GPU на цей гарнітур.” *

22. Пропуск

Режим, у якому на гарнітурі показується живий відеоканал реального світу (а не повністю непрозоре віртуальне середовище), що є основою для багатьох додаткових можливостей на обладнанні з підтримкою VR.

** Використання: ** * “Якість передачі даних значно відрізняється між пристроями — у цього пристрою помітна затримка, яка спричиняє легкий дискомфорт під час швидкого руху голови.” *

23-й. Латенція (від руху до фотона)

Затримка між фізичним рухом користувача і відповідним оновленням, що з’являється на екрані - критична метрика для комфорту і занурення в AR / VR.

Вживання: “Наша затримка руху до фотона становить близько 18 мілісекунд, що в комфортному діапазоні, але будь-яку регресію тут потрібно негайно захопити.”

24-й. Конвейєр створення цифрового контенту (DCC)

Робочий процес і інструменти (наприклад, Blender або Maya), які використовуються для створення 3D моделей, текстур і анімації перед їх імпортуванням до рушія розширеної реальності, наприклад, Unity або Unreal.

** Використання: ** * “Конвейєр DCC експортує модель з завищеною кількістю полігонів для мобільних — нам потрібно додати крок десяткового віднімання перед імпортом.” *

Ключеві моменти

• ** Слідування ** є фундаментальною концепцією — більшість помилок AR слідують за втратою, дрейфом або перелокалізацією слідування, тому вкажіть конкретну помилку.
• ** Захоплення, карти глибини і реконструкція сетки ** — це те, що робить віртуальний вміст фізично заснованим на реальному просторі.
• Розрізняти ** світовий простір від екранного простору **, коли обговорюється місце розташування інтерфейсу або об’ єктів.
• ** Відстеження рухів рук, відстеження погляду і відтворення променів ** — це основні слова взаємодії для вводу без фізичних контролерів.
• Терміни, специфічні для платформи (ARCore, ARKit, cloud anchors, passthrough) постійно з’являються в крос-платформових обговореннях - дізнайтеся, до якої платформи належить кожен термін.

Завдяки цьому словникові ви зможете описати помилки у розширеній реальності і рішення щодо дизайну з такою ж точністю, якої очікують ваші колеги, незалежно від того, чи ви зневаджуєте дрейф у звичайному режимі, чи обговорюєте якість закриття у перегляді дизайну.