Icon--AD-black-48x48Icon--address-consumer-data-black-48x48Icon--appointment-black-48x48Icon--back-left-black-48x48Icon--calendar-black-48x48Icon--Checkbox-checkIcon--clock-black-48x48Icon--close-black-48x48Icon--compare-black-48x48Icon--confirmation-black-48x48Icon--dealer-details-black-48x48Icon--delete-black-48x48Icon--delivery-black-48x48Icon--down-black-48x48Icon--download-black-48x48Ic-OverlayAlertIcon--externallink-black-48x48Icon-Filledforward-right_adjustedIcon--grid-view-black-48x48Icon--info-i-black-48x48Icon--Less-minimize-black-48x48Icon-FilledIcon--List-Check-blackIcon--List-Cross-blackIcon--list-view-mobile-black-48x48Icon--list-view-black-48x48Icon--More-Maximize-black-48x48Icon--my-product-black-48x48Icon--newsletter-black-48x48Icon--payment-black-48x48Icon--print-black-48x48Icon--promotion-black-48x48Icon--registration-black-48x48Icon--Reset-black-48x48share-circle1Icon--share-black-48x48Icon--shopping-cart-black-48x48Icon--start-play-black-48x48Icon--store-locator-black-48x48Ic-OverlayAlertIcon--summary-black-48x48tumblrIcon-FilledvineIc-OverlayAlertwhishlist
Bosch Connected Devices and Solutions
User Experience

Verknüpfung von Augemented Reality und IoT

Erleben Sie das Bosch XDK in Kombination mit der Microsoft HoloLens.

Ein junger Mann verwendet die Microsoft HoloLens

Die Erweiterung der Realitätswahrnehmung durch virtuelle Elemente - Ungefähr so kann man Mixed- bzw. Augmented Reality beschreiben. Was verbirgt sich hinter dieser Technologie? Welches Potenzial bietet sie? In diesem Artikel erfahren Sie es.

Bekannte Augmented Reality Beispiele

Bereits heute wird Augmented Reality in verschiedenen Bereichen eingesetzt. Auf den ersten Blick ist das jedoch nicht immer ersichtlich. Im Gaming-Bereich zählen die Smartphone Apps "Pokémon Go", "The Walking Dead: Our World" oder "Harry Potter: Wizards Unite" ebenfalls zu den AR-Spielen. Darüber hinaus wird die AR-Technologie auch bei der Übertragung von Sportveranstaltungen eingesetzt. Denken wir beispielsweise an die Weltmeisterschaft 2018 in Russland zurück, als Statistiken oder die Abseitslinie zur Analyse der Fußballspiele eingeblendet wurden.

Pokémon Go Augmented Reality
Augmented Reality App: Pokémon Go

Augmented Reality in der Industrie

Gleichzeitig erobert Augmented Reality allmählich auch die Industrie. In einigen Bereichen verwenden Industriearbeiter AR-Brillen als Hilfsmittel oder als Schulungssimulator, um auf bestimmte Situationen vorbereitet zu sein. Dies ist eine gute Gelegenheit, um neue Mitarbeiter für die unterschiedlichsten Fertigungsprozesse auszubilden. Darüber hinaus erweitern AR-Brillen bereits jetzt die Realität für das Wartungspersonal: Geräteinformationen zu Standard- und Sondermodellen sowie Wartungsanweisungen werden im Sichtfeld des Benutzers angezeigt und erleichtern dadurch deren Arbeit.

Das bekannteste Beispiel für eine AR-Brille ist die Microsoft HoloLens, die dreidimensionale Objekte, Kontrollinstrumente, Texte und grafische Darstellungen in die natürliche Umgebung projiziert.

Was ist der HoloLens Hackathon?

Bei einem zweitägigen HoloLens Hackathon in der Knowledge Factory in Balingen-Weilstetten standen die Technologien der Augmented- und Mixed Reality im Mittelpunkt. Im Vordergrund des Events stand der Einsatz der Microsoft HoloLens-Technologie und die sich daraus ergebenden Zukunftsmöglichkeiten für die Industrie. Ziel des Hackathons war es, in einem Zeitraum von 24 Stunden eine innovative Geschäftsidee für die HoloLens zu entwickeln. Unser Team bestand aus den Studenten Marius Binal, Jan Dietrich, Lisa Lämmle und Steffen Hecht und wurde von unseren BCDS-Mitarbeitern Tharani Tharan Muthukumaran und Dr. Frederik Wegelin geleitet.

Unter unseren Mitbewerbern beim Hackathon gab es viele spannende Ideen. So hat beispielsweise ein Team die HoloLens mit Google Earth gekoppelt, während ein anderes Team dafür gesorgt hat, dass eine Objekterkennung mittels QR-Code möglich ist.

HoloLens Hackathon
Studenten bei der Arbeit beim HoloLens Hackathon

Microsoft HoloLens & Bosch XDK Anwendungsfall

Demgegenüber stand bei unserem Konzept für den Hackathon ein "Realtime Use Case" mit Fokus auf unser Sensorgerät Cross Domain Development Kit (XDK), das Daten mithilfe mehrerer Sensoren misst. Dazu gehört die Temperatur, Luftfeuchtigkeit, Druck, Vibration, Lichtintensität, Lautstärke und mehr. Die aufgezeichneten Daten können über Bluetooth oder WLAN an das jeweilige Empfängergerät gesendet werden.

Daher bestand unsere Hauptaufgabe des Hackathons darin, das darzustellende Objekt zu visualisieren und die Verbindung zwischen dem XDK und der HoloLens herzustellen. In diesem Use Case haben wir uns für die Visualisierung eines Kühlschranks als Live-Objekt für die XDK-Datenerfassung entschieden.

In der physischen Welt haben wir zunächst das erste Bosch XDK an die Tür des Kühlschranks angebracht, um die Bewegung, die Temperatur und das Ein- und Ausschalten der Lichter im Inneren zu erfassen. An der Rückseite des Kühlschranks haben wir ein zweites XDK angebracht, um den aktuellen Stromverbrauch sowie die Vibration und die Temperatur des Kompressors zu messen. Im nächsten Schritt erfolgte die Visualisierung der XDK-Sensordaten mit Hilfe der HoloLens. In der cyberphysikalischen Welt konnte man nun einen digitalen Zwilling des Kühlschranks als animiertes 3D-Modell sehen. Dem Betrachter werden die gemessenen Livesensordaten angezeigt und das Öffnen oder Schließen der Türe wird visualisiert. Obwohl es sich hierbei um einen simplen Anwendungsfall handelt, wird deutlich was man innerhalb von gerade einmal 24 Stunden bei einem Hackathon erreichen kann.Darüber hinaus ist dieser Anwendungsfall auf jedes andere Objekt anwendbar.

iot augemented reality anwendungsfall
Veranschaulichung des Augmented Reality & IoT Anwendungsfalls beim Hackathon (Desktopansicht)

Im obigen Video sehen Sie zwei verschiedene Ansichten. In dem größeren Fenster sehen Sie Tharani Tharan Muthukumaran, wie er sich ein Kaltgetränk aus dem Kühlschrank holt. Im synchronisierten, kleineren Video sehen Sie die Ansicht aus der Perspektive der HoloLens. Dort werden die Live-Bewegung der Kühlschranktür und die sich verändernden Sensordaten visualisiert. Durch das Öffnen der Tür durch Tharani stiegen die Innentemperatur und der Stromverbrauch des Kühlschranks an. Darüber hinaus zeigte die HoloLens eine Veränderung des Lichts an und animierte die Tür beim Öffnen. Leider hat die HoloLens den kleinen Nachteil, dass die Qualität der Kamera es nicht erlaubt, hochauflösende Bilder oder Videos aufzunehmen. Aus diesem Grund ist der Text im kleineneren Video ein wenig verschwommen. Dieser Mangel soll jedoch mit der Veröffentlichung der HoloLens2 behoben werden. Trotz des noch vorhandenen Verbesserungspotenzials der AR-Technologie besteht jedoch ein großes Potenzial für die Zukunft.

Das Potenzial von Augmented Reality und IoT

In Kombination mit IoT-Sensorgeräten wie dem XDK von Bosch können Anwender nun einen digitalen Zwilling mit Echtzeitdaten visualisieren. Konzepte wie Condition Monitoring, Machine Monitoring, Process Monitoring und Predictive & Remote Maintenance erhalten dadurch vollkommen neue Anwendungsmöglichkeiten. In diesem Zusammenhang wäre es möglich, eine Maschine aus der Ferne zu warten und in die cyberphysikalische Welt zu projizieren, ohne physisch präsent sein zu müssen. Auch eine virtuelle Inbetriebnahme ganzer Anlagen kann getestet werden, bevor eine Fertigungskette endgültig in Betrieb genommen wird. Diese neuen Anwendungsfelder bieten ein großes Potenzial um Kosten zu senken und Zeit zu sparen.

Durch das Zusammenwirken dieser beiden Technologien ergeben sich viele weitere Einsatzmöglichkeiten. Dazu gehören unter Anderem die Visualisierung einer Fahrzeugdiagnose oder die Verbesserung der User Experience bei einer Projektdemonstration.

Der HoloLens Hackathon im Rückblick

Die Kombination aus HoloLens und XDK beim Hackathon war für uns sehr vielversprechend. Einerseits verfügt das XDK mit seinem leistungsstarken eingebauten Algorithmus über eine enorme Genauigkeit der Sensoren und ist vielseitig einsetzbar. Auf der anderen Seite eröffnet die HoloLens die Möglichkeit, die Welt aus einer neuen Perspektive zu betrachten. Diese Kombination bringt viele neue Anwendungsgebiete mit sich. Wir werden diesen Themenbereich auf jeden Fall im Auge behalten und sind gespannt auf die zukünftige Entwicklung.

Zusammenfassend lässt sich festhalten, dass der Hackathon eine großartige Erfahrung für uns war. Wir hatten ein großartiges Team und konnten Einblicke in ein neues Programmier-Framework (Unity 3D) gewinnen. Wir danken allen Beteiligten für diese großartige Gelegenheit. Besonderen Dank gilt unseren vier talentierten Freunden und Teammitgliedern für ihren Einsatz, ihre Motivation und Entschlossenheit, unsere Konzepte in eine funktionierende Lösung umzusetzen. Ein weiterer besonderer Dank gilt dem Organisationsteam (IHK, Create 3D, M&M-Software, Esskreation und viele mehr).

Um mehr über den HoloLens Hackathon zu erfahren, besuchen Sie diese Website:

Teile diese Seite auf

Möchten Sie mehr erfahren? Kontaktieren Sie uns

email icon
Bosch Connected Devices and Solutions GmbH
E-Mail