Förderjahr 2020 / Project Call #15 / ProjektID: 5121 / Projekt: CognitiveAR
In den letzten zwei Monaten war unser mittlerweile 8-Köpfiges Cognitive AR Team intensiv mit dem Design der Plattform, dem Evaluieren von Technologien, und dem Entwickeln erster Prototypen beschäftigt.
Unser Ziel war es, bis März das Design der Plattform zu dokumentieren, die ersten Technologieevaluierungen abgeschlossen zu haben, und erste Prototypen für ausgesuchte Komponenten entwickelt zu haben. Diesen Meilenstein haben wir erreicht, und auch eine Publikation aus unserem Design und ersten Resultaten verfasst, die im März auf der IEEE VR erscheint. Die Entwicklung kann man öffentlich auf GitHub unter github.com/cognitivexr mitverfolgen.
Systemdesign
Die folgende Grafik zeigt eine Übersicht über unsere Plattform. Edge nodes (2) ermöglichen durch entsprechende Sensorik und AI Beschleuniger erstens das digitale tracking physikalischer Objekte, und zweitens das verarbeiten von Videodaten der AR headsets. Die Runtime Plattform (1) verwaltet die Ressourcen und die Applikationen die auf der Infrastruktur ausgeführt werden. Die Client Software (3) ermöglicht AR App (4) Entwicklern den transparenten Zugriff auf das System.
Architektur
Die folgende Grafik zeigt eine Detailansicht der Architektur und der eingesetzten Technologien. Details dazu findet man in unserem Paper.
Prototyp: Cyber-Physical Object Positioning (CPOP)
Im Zuge der Technologieevaluierung für das Objekttracking haben wir bereits einen Indoor Prototypen entwickelt. Mit einer einfachen RGB Webcam, einem GPU beschleunigten Edge Computer (konkret ein NVIDIA Jetson Xavier NX), können wir aus einem 2D Bild eine 3D Position berechnen. Die 3D Position wird dann in einen gemeinsamen Koordinatenraum übersetzt, und über das Netzwerk an das AR Headset geschickt. Dort werden die Koordinaten wieder relativ zur Position vom Headset übersetzt, womit wir dann eine 3D Bounding-Box anzeigen können:
Erste Publikation: "Towards a Platform for Smart City-Scale Cognitive Assistance Applications"
Unser Design und die ersten Ergebnisse unserer Prototypen werden am 27. März 2021 auf dem IEEE VR Workshop "Distributed Interactive Systems for Collaboration Experiences (DISCE)" präsentiert. Details dazu gibt es in unserem Paper "Towards a Platform for Smart City-Scale Cognitive Assistance Applications".
