AR/IoT-Prototyp: IoT in Verbindung mit Augmented Reality
Ich hatte das Glück bei doubleSlash meine Master Thesis im Bereich der Augmented Reality in Verbindung mit dem Internet of Things zu schreiben: „Exploring new worlds using Mixed Reality and the Internet of Things“. Zur Zeit gibt es viel Neues aus dieser Sparte zu berichten, deshalb teile ich hier gerne meine Erkenntnisse, auch wenn die Thesis schon etwas her ist.
Angefangen hat es mit der Auswahl des passenden Frameworks für Augmented Reality. Vuforia in Verbindung mit der Unity Game Engine hat sich damals als beste Basis ergeben. Als IoT-Platform habe ich ThingWorx eingesetzt, da wir damit im Unternehmen bereits Erfahrung hatten[1]. Sowohl Vuforia als auch ThingWorx sind Produkte von unserem Partner PTC. Als IoT Beispielgerät wurde neben einer SmartBulb die M2M-Demo-Box[2] verwendet.
Folgend will ich einen kleinen Einblick in die Ergebnisse der Thesis geben. Zunächst aber ein kleiner Überblick über Endgerät Typen.
Endgerät Typen von Augmented Realtity/Virtual Reality Anwendungen
Es gibt verschiedene Typen von Endgeräten für AR/VR Anwendungen:
- Monitor based: Der Nutzer hält z.B. ein Smartphone in der Hand und erlebt durch das Display die Augmented Reality
- Video see-through: Der Nutzer verwendet z.B. ein Google Cardboard (Halterung mit der man ein Smartphone vor die Augen schnallen kann) und sieht sowohl die reale Welt, als auch die digitale Erweiterung durch das Display
- Optical see-through: Der Nutzer verwendet z.B. die Microsoft HoloLens und sieht die reale Welt durch die Brillengläser, erweitert durch Einblendungen eines Displays
Monitor based
Eine Monitor based Lösung ist die preiswerteste Lösung gewesen. Daher wurden auch die ersten Versuche mit einer Smartphone Lösung gemacht. Ein Image Marker wird als Referenz für das AR-Framework verwendet und dient gleichzeitig auch als Identifizierung des Gerätes, an dem er angebracht ist. Ein solcher Marker ist ein beliebiges Bild, das bestimmt Eigenschaften enthält.
Video see-through
Die Versuche mit der Monitor based Lösung waren sehr erfolgversprechend. Ein Nachteil ist, dass der Nutzer das Smartphone immer mit einer Hand halten und es mit der anderen bedienen muss. Eine zusätzliche reale AR unterstützte Interaktion mit dem IoT-Gerät ist so schwierig. Daher wurde im nächsten Schritt eine Video see-through (Brillen-) Lösung angestrebt. Die Frage die bei einer solchen Lösung aufkommt ist, wie man ohne Controller in der Hand mit dem System interagieren kann. Ich habe mich für eine Gestenbasierte Interaktion entschieden, die durch z.B. Sprachbefehle erweitert werden könnte. Die Lösungen wurden mit einem Leap Motion Controller[4] umgesetzt.
Im Rahmen der Thesis habe ich zwei Möglichkeiten einer Video see-through Lösung evaluiert:
Portable Smartphone Lösung | Kabel gebundene Lösung mit einer Oculus Rift[3] |
GoogleCardboard Style Brille + Smartphone + Leap Motion | Oculus Rift DK2 + Leap Motion + Webcam |
Die Smartphone Lösung war präferiert, um möglichst portabel zu sein. Leider war diese Lösung nicht erfolgreich, da AR + Gesten Erkennung das (HighEnd) Gerät überlastet haben und es nach wenigen Minuten heiß wurde und herunter-getaktet hat. Eine flüssige Darstellung von empfohlenen 60 Bildern pro Sekunde (fps) war nicht ansatzweise möglich. Eine mindest-Anzahl von fps ist nötig, da der Nutzer die Welt mit dieser Lösung nur über diese Bilder wahrnimmt. Ist diese Darstellung nicht flüssig, führt dies zu Desorientierung und Motion Sickness.
Daher wurde die zweite Möglichkeit mit einer Oculus Rift aufgegriffen. Folgend sind die Ergebnisse möglicher UseCases aufgeführt.
Datenwerte auf realer Maschine
Virtueller Klon in der realen Welt
Virtuelle Inspektion der Geräte
Erweiterungen
Zusätzlich zu den UseCases oben, habe ich auch die folgenden Erweiterungen entwickelt.
Menü
Warnungen
Fazit
Ein Video, das leider nicht alle entwickelten Funktionen zeigt, ist in unserem youtube Kanal verfügbar:
Was 2016 bereits mit Mixed Reality und Gesten Erkennung möglich war ist sehr beeindruckend. Auch das es mit handelsüblicher Hardware umsetzbar war. Leider konnte ich keine Optical see-through Lösung testen, da es keine passenden Brillen gab (und die Zeit eh knapp war ;)).
Was wohl nun zwei Jahre später möglich ist? Wir finden es gerne mit Ihnen gemeinsam heraus.
Mehr zu IoT erfahren
Referenzen:
[1] IoT mit PTC ThingWorx
[2] IoT live erleben mit der M2M-Demo-Box
[3] Oculus Rift
[4] Leap Motion Controller
Cool demonstrator!
With great memories to our bootcamp:
I’m looking forward for the next joint steps!