Autor/in: Nico Mutter

AR/IoT-Prototyp: IoT in Verbindung mit Augmented Reality

30.10.2018, 11:52 von Nico Mutter
doubleSlash forscht IoT/M2M Technologie & Tools

Ich hatte das Glück bei doubleSlash meine Master Thesis im Bereich der Augmented Reality in Verbindung mit dem Internet of Things zu schreiben: „Exploring new worlds using Mixed Reality and the Internet of Things“. Zur Zeit gibt es viel Neues aus dieser Sparte zu berichten, deshalb teile ich hier gerne meine Erkenntnisse, auch wenn die Thesis schon etwas her ist.

Angefangen hat es mit der Auswahl des passenden Frameworks für Augmented Reality. Vuforia in Verbindung mit der Unity Game Engine hat sich damals als beste Basis ergeben. Als IoT-Platform habe ich ThingWorx eingesetzt, da wir damit im Unternehmen bereits Erfahrung hatten[1]. Sowohl Vuforia als auch ThingWorx sind Produkte von unserem Partner PTC. Als IoT Beispielgerät wurde neben einer SmartBulb die M2M-Demo-Box[2] verwendet.

Folgend will ich einen kleinen Einblick in die Ergebnisse der Thesis geben. Zunächst aber ein kleiner Überblick über Endgerät Typen.

Endgerät Typen von Augmented Realtity/Virtual Reality Anwendungen

Es gibt verschiedene Typen von Endgeräten für AR/VR Anwendungen:

  • Monitor based: Der Nutzer hält z.B. ein Smartphone in der Hand und erlebt durch das Display die Augmented Reality
  • Video see-through: Der Nutzer verwendet z.B. ein Google Cardboard (Halterung mit der man ein Smartphone vor die Augen schnallen kann) und sieht sowohl die reale Welt, als auch die digitale Erweiterung durch das Display
  • Optical see-through: Der Nutzer verwendet z.B. die Microsoft HoloLens und sieht die reale Welt durch die Brillengläser, erweitert durch Einblendungen eines Displays

 

Monitor based

Eine Monitor based Lösung ist die preiswerteste Lösung gewesen. Daher wurden auch die ersten Versuche mit einer Smartphone Lösung gemacht. Ein Image Marker wird als Referenz für das AR-Framework verwendet und dient gleichzeitig auch als Identifizierung des Gerätes, an dem er angebracht ist. Ein solcher Marker ist ein beliebiges Bild, das bestimmt Eigenschaften enthält.

Der Status einer SmartBulb wird an der Lampe angezeigt. Auch ist eine Steuerung der Lampe durch Touch-Interaktion möglich.

Video see-through

Die Versuche mit der Monitor based Lösung waren sehr erfolgversprechend. Ein Nachteil ist, dass der Nutzer das Smartphone immer mit einer Hand halten und es mit der anderen bedienen muss. Eine zusätzliche reale AR unterstützte Interaktion mit dem IoT-Gerät ist so schwierig. Daher wurde im nächsten Schritt eine Video see-through (Brillen-) Lösung angestrebt. Die Frage die bei einer solchen Lösung aufkommt ist, wie man ohne Controller in der Hand mit dem System interagieren kann. Ich habe mich für eine Gestenbasierte Interaktion entschieden, die durch z.B. Sprachbefehle erweitert werden könnte. Die Lösungen wurden mit einem Leap Motion Controller[4] umgesetzt.
Im Rahmen der Thesis habe ich zwei Möglichkeiten einer Video see-through Lösung evaluiert:

Portable Smartphone Lösung Kabel gebundene Lösung mit einer Oculus Rift[3]
GoogleCardboard Style Brille + Smartphone + Leap Motion Oculus Rift DK2 + Leap Motion + Webcam

Die Smartphone Lösung war präferiert, um möglichst portabel zu sein. Leider war diese Lösung nicht erfolgreich, da AR + Gesten Erkennung das (HighEnd) Gerät überlastet haben und es nach wenigen Minuten heiß wurde und herunter-getaktet hat. Eine flüssige Darstellung von empfohlenen 60 Bildern pro Sekunde (fps) war nicht ansatzweise möglich. Eine mindest-Anzahl von fps ist nötig, da der Nutzer die Welt mit dieser Lösung nur über diese Bilder wahrnimmt. Ist diese Darstellung nicht flüssig, führt dies zu Desorientierung und Motion Sickness.

Daher wurde die zweite Möglichkeit mit einer Oculus Rift aufgegriffen. Folgend sind die Ergebnisse möglicher UseCases aufgeführt.

Datenwerte auf realer Maschine

Die Werte der Maschine werden auf dieser angezeigt. Auch ist eine Interaktion möglich. Dies ist aktuell ein sehr verbreiteter Ansatz von AR. So kann ein Techniker z.B. mögliche Fehlerquellen direkt an der Maschine sehen und evtl. auch darauf reagieren. Dies könnte z.B. bei Predictive Maintenance Projekten interessant sein.

Virtueller Klon in der realen Welt

Ein Klon der realen Maschine wird eingeblendet und eine Interaktion ermöglicht. Dies ist im Prinzip ein ‚realer‘ Digital Twin des Geräts, der z.B. eine Fehlersuche vereinfacht.

Virtuelle Inspektion der Geräte

Das Gerät kann in der Virtual Reality inspiziert und gesteuert werden. Durch eine eigens entwickelten Fortbewegungsmethode ist es möglich, das Gerät aus jedem gewünschten Winkel zu begutachten, sogar in es hineinzuschauen.

Erweiterungen

Zusätzlich zu den UseCases oben, habe ich auch die folgenden Erweiterungen entwickelt.

Menü

Es wurde auch die Möglichkeit geschaffen, Maschinen durch ein an der Hand befindliches Menü zu steuern. So kann man auch mit Maschinen interagieren, ohne einen ImageMarker scannen zu müssen.

Warnungen

Es bietet sich auch die Möglichkeit, Warnungen darzustellen sollte man einem Objekt zu Nahe kommen. In Verbindung mit IoT könnte man sich eine solche Warnung vorstellen, sollte eine Oberfläche heiß sein (z.B. ein Herd).

Fazit

Ein Video, das leider nicht alle entwickelten Funktionen zeigt, ist in unserem youtube Kanal verfügbar:

Was 2016 bereits mit Mixed Reality und Gesten Erkennung möglich war ist sehr beeindruckend. Auch das es mit handelsüblicher Hardware umsetzbar war. Leider konnte ich keine Optical see-through Lösung testen, da es keine passenden Brillen gab (und die Zeit eh knapp war ;)).

Was wohl nun zwei Jahre später möglich ist? Wir finden es gerne mit Ihnen gemeinsam heraus.

 

Mehr zu IoT erfahren

Referenzen:
[1] IoT mit PTC ThingWorx
[2] IoT live erleben mit der M2M-Demo-Box
[3] Oculus Rift
[4] Leap Motion Controller