AR/VR как инженерная задача, а не работа в готовом движке: компьютерное зрение, трёхмерная реконструкция, SLAM и платформы в одном цикле.
Задача курса — показать, что AR/VR не сводится к работе в готовом движке. Путь идёт от признаков на изображении и оценки глубины до облаков точек, трекинга, оптимизации моделей и запуска интерактивной сцены на устройстве или в браузере.
Программа: признаки и глубина (SIFT, ORB, MiDaS, Depth from Video); трёхмерная реконструкция (фотограмметрия, Bundle Adjustment, NeRF); облака точек и подготовка моделей (PCL, CloudCompare, сегментация, ретопология, UV-развёртка, текстурирование, оптимизация); трекинг и SLAM (ORB-SLAM3, VINS-Mono, дрейф, устойчивость к динамической сцене); AR/VR-платформы (ARCore, ARKit, WebXR, A-Frame, AR.js, маркерный и безмаркерный WebAR, WebAssembly, WebGPU).
Работа идёт командами: каждая готовит исследовательский доклад, выполняет практическую работу и пишет статью по одной из тем курса. Такой формат тренирует не только реализацию, но и исследование, объяснение и письменную фиксацию инженерного решения.
Примеры практик: 3D-модель архитектурного объекта по 40+ фотографиям, NeRF-сцена из набора изображений, запуск ORB-SLAM3 на собственном видео, интерактивный WebAR-прототип, виртуальная рулетка по маркеру известного размера.
Результат: студенты сравнивают методы компьютерного зрения, собирают и оптимизируют трёхмерные данные, оценивают устойчивость трекинга и выбирают стек под конкретный AR/VR-сценарий.