AR/IoT-Prototyp: IoT in Verbindung mit Augmented Reality

Ich hatte das Glück bei doubleSlash meine Master Thesis im Bereich der Augmented Reality in Verbindung mit dem Internet of Things zu schreiben: „Exploring new worlds using Mixed Reality and the Internet of Things“. Zur Zeit gibt es viel Neues aus dieser Sparte zu berichten, deshalb teile ich hier gerne meine Erkenntnisse, auch wenn die Thesis schon etwas her ist.

Angefangen hat es mit der Auswahl des passenden Frameworks für Augmented Reality. Vuforia in Verbindung mit der Unity Game Engine hat sich damals als beste Basis ergeben. Als IoT-Platform habe ich ThingWorx eingesetzt, da wir damit im Unternehmen bereits Erfahrung hatten[1]. Sowohl Vuforia als auch ThingWorx sind Produkte von unserem Partner PTC. Als IoT Beispielgerät wurde neben einer SmartBulb die M2M-Demo-Box[2] verwendet.

Folgend will ich einen kleinen Einblick in die Ergebnisse der Thesis geben. Zunächst aber ein kleiner Überblick über Endgerät Typen.

Endgerät Typen von Augmented Realtity/Virtual Reality Anwendungen

Es gibt verschiedene Typen von Endgeräten für AR/VR Anwendungen:

  • Monitor based: Der Nutzer hält z.B. ein Smartphone in der Hand und erlebt durch das Display die Augmented Reality
  • Video see-through: Der Nutzer verwendet z.B. ein Google Cardboard (Halterung mit der man ein Smartphone vor die Augen schnallen kann) und sieht sowohl die reale Welt, als auch die digitale Erweiterung durch das Display
  • Optical see-through: Der Nutzer verwendet z.B. die Microsoft HoloLens und sieht die reale Welt durch die Brillengläser, erweitert durch Einblendungen eines Displays

 

Monitor based

Eine Monitor based Lösung ist die preiswerteste Lösung gewesen. Daher wurden auch die ersten Versuche mit einer Smartphone Lösung gemacht. Ein Image Marker wird als Referenz für das AR-Framework verwendet und dient gleichzeitig auch als Identifizierung des Gerätes, an dem er angebracht ist. Ein solcher Marker ist ein beliebiges Bild, das bestimmt Eigenschaften enthält.

Der Status einer SmartBulb wird an der Lampe angezeigt. Auch ist eine Steuerung der Lampe durch Touch-Interaktion möglich.

Video see-through

Die Versuche mit der Monitor based Lösung waren sehr erfolgversprechend. Ein Nachteil ist, dass der Nutzer das Smartphone immer mit einer Hand halten und es mit der anderen bedienen muss. Eine zusätzliche reale AR unterstützte Interaktion mit dem IoT-Gerät ist so schwierig. Daher wurde im nächsten Schritt eine Video see-through (Brillen-) Lösung angestrebt. Die Frage die bei einer solchen Lösung aufkommt ist, wie man ohne Controller in der Hand mit dem System interagieren kann. Ich habe mich für eine Gestenbasierte Interaktion entschieden, die durch z.B. Sprachbefehle erweitert werden könnte. Die Lösungen wurden mit einem Leap Motion Controller[4] umgesetzt.
Im Rahmen der Thesis habe ich zwei Möglichkeiten einer Video see-through Lösung evaluiert:

Portable Smartphone Lösung Kabel gebundene Lösung mit einer Oculus Rift[3]
GoogleCardboard Style Brille + Smartphone + Leap Motion Oculus Rift DK2 + Leap Motion + Webcam

Die Smartphone Lösung war präferiert, um möglichst portabel zu sein. Leider war diese Lösung nicht erfolgreich, da AR + Gesten Erkennung das (HighEnd) Gerät überlastet haben und es nach wenigen Minuten heiß wurde und herunter-getaktet hat. Eine flüssige Darstellung von empfohlenen 60 Bildern pro Sekunde (fps) war nicht ansatzweise möglich. Eine mindest-Anzahl von fps ist nötig, da der Nutzer die Welt mit dieser Lösung nur über diese Bilder wahrnimmt. Ist diese Darstellung nicht flüssig, führt dies zu Desorientierung und Motion Sickness.

Daher wurde die zweite Möglichkeit mit einer Oculus Rift aufgegriffen. Folgend sind die Ergebnisse möglicher UseCases aufgeführt.

Datenwerte auf realer Maschine

Die Werte der Maschine werden auf dieser angezeigt. Auch ist eine Interaktion möglich. Dies ist aktuell ein sehr verbreiteter Ansatz von AR. So kann ein Techniker z.B. mögliche Fehlerquellen direkt an der Maschine sehen und evtl. auch darauf reagieren. Dies könnte z.B. bei Predictive Maintenance Projekten interessant sein.

Virtueller Klon in der realen Welt

Ein Klon der realen Maschine wird eingeblendet und eine Interaktion ermöglicht. Dies ist im Prinzip ein ‚realer‘ Digital Twin des Geräts, der z.B. eine Fehlersuche vereinfacht.

Virtuelle Inspektion der Geräte

Das Gerät kann in der Virtual Reality inspiziert und gesteuert werden. Durch eine eigens entwickelten Fortbewegungsmethode ist es möglich, das Gerät aus jedem gewünschten Winkel zu begutachten, sogar in es hineinzuschauen.

Erweiterungen

Zusätzlich zu den UseCases oben, habe ich auch die folgenden Erweiterungen entwickelt.

Menü

Es wurde auch die Möglichkeit geschaffen, Maschinen durch ein an der Hand befindliches Menü zu steuern. So kann man auch mit Maschinen interagieren, ohne einen ImageMarker scannen zu müssen.

Warnungen

Es bietet sich auch die Möglichkeit, Warnungen darzustellen sollte man einem Objekt zu Nahe kommen. In Verbindung mit IoT könnte man sich eine solche Warnung vorstellen, sollte eine Oberfläche heiß sein (z.B. ein Herd).

Fazit

Ein Video, das leider nicht alle entwickelten Funktionen zeigt, ist in unserem youtube Kanal verfügbar:

Was 2016 bereits mit Mixed Reality und Gesten Erkennung möglich war ist sehr beeindruckend. Auch das es mit handelsüblicher Hardware umsetzbar war. Leider konnte ich keine Optical see-through Lösung testen, da es keine passenden Brillen gab (und die Zeit eh knapp war ;)).

Was wohl nun zwei Jahre später möglich ist? Wir finden es gerne mit Ihnen gemeinsam heraus.

 

Mehr zu IoT erfahren

Referenzen:
[1] IoT mit PTC ThingWorx
[2] IoT live erleben mit der M2M-Demo-Box
[3] Oculus Rift
[4] Leap Motion Controller

IoT Prototyp: Entwicklung einer IoT Tunnellösung für Azure und ThingWorx

Im Rahmen meiner Bachelorarbeit habe ich Netzwerktunnellösungen von IoT Plattformen untersucht und selbst eine Tunnellösung entwickelt. Zu den untersuchten IoT Plattformen gehören Microsoft Azure, PTC ThingWorx und die Eurotech Everyware Cloud. Herausgekommen ist eine Client-Server-Anwendung in Java. Sie kann im Standalone-Modus und im Zusammenspiel mit bestehenden IoT Plattformen genutzt werden.

Mehr

Steganographie als sichere Alternative zu Metadaten

Praktisch alle Daten lassen Rückschluss auf unser Verhalten zu. So auch Bilddaten. Im Rahmen meiner Bachelor-Thesis „Hidden Image Data Encoding“ habe ich eine Alternative zu herkömmlichen Bildmetadaten entworfen. Fast jede Bilddatei trägt diese Metadaten. Darin enthalten sind Informationen und Details zum Bild und Autor. Obwohl Metadaten den meisten ein Begriff sind, kennt sich kaum jemand so richtig damit aus. Kaum einer weiß, welche Daten gespeichert werden, oder ob man diese Daten wirklich veröffentlichen möchte.

Mehr

Dokumentenklassifikation mittels Layout- und Textanalyse

DCF 1.0

Die wachsende Digitalisierung stellt eine stetige Belastung für das Dokumentenmanagement eines Unternehmens dar. Jedes eingehende elektronische Dokument erfordert in der Regel eine initiale Betrachtung durch dessen Mitarbeiter, um die interne Zuständigkeit zu ermitteln. Gleichermaßen muss der für das Dokument zuständige Fachbereich reagieren, bevor er das Anliegen des Schriftstücks erschließen und entsprechend bearbeitet kann.Mehr

IoT-Prototyp: Gießroboter ermöglicht automatisiertes Blumengießen

Staubsauger-Roboter-Roomba - IoT-Prototyp
Staubsauger Roboter Roomba ohne Deckplatte, mit bereits verbundenem Spannungswandler.

Im Rahmen meiner Bachelor-Thesis „Prototypische Entwicklung eines autonomen Gießroboters mit Hilfe von 3D Kollisionsvermeidung auf Basis eines Staubsaugerroboters“ habe ich einen automatisierten Gießroboter entwickelt. Der Gießroboter ist vernetzt und dadurch in der Lage, über eine Parrot FlowerPower – einem kabellosen Pflanzen-Sensor, der in die Blumenerde gesteckt wird und Werte wie die Feuchtigkeit misst – gezielt Pflanzen anzusteuern und zu gießen.
Mehr

Von der Idee zum Geschäftsmodell – wie Ihr IoT Projekt zum Erfolg wird

iot_slashtalk2016Der Begriff „Internet of Things” (IoT) ist in aller Munde. Das Konzept des Internet der Dinge beschreibt die zunehmende Vernetzung von Dingen und Maschinen, die Unternehmen und Kunden völlig neue Möglichkeiten bietet. Diese neuen Chancen sorgen gleichzeitig dafür, dass sich Unternehmen mit einer Vielzahl an neuen, geschäftsrelevanten Fragestellungen beschäftigen müssen.

Mehr

Entwicklung eines Bot-Netzes auf Raspberry Pi-Basis zur Durchführung von Lasttests auf Webanwendungen

Titelbild_Dave_Thesis-Patrick-SchedlerIm Rahmen seiner Thesis hat sich Patrick mit der Entwicklung eines Bot-Netzes auf Raspberry Pi-Basis zur Durchführung von Lasttests auf Webanwendungen beschäftigt. Entstanden ist ein Prototyp namens „Dave“ Mit ihm ist es möglich, automatisierte Lasttests für Webanwendungen durchzuführen und damit realistische Tests zu simulieren. Im Interview erzählt Patrick über das Projekt.

Mehr