AR für Industrie 4.0: Durchblick in einer neuen Dimension
Augmented-Reality-Anwendungen in der Industrie sind bislang begrenzt. Dank neuer Techniken lassen sich Objekte exakt tracken und CAD-Daten skalieren, sodass sich die Produktivität bei der Montage, Produktion und Qualitätssicherung deutlich steigert. Forscher am Fraunhofer IGD haben die Basistechnologien dafür entwickelt.
Rund 30 Millionen Pokémon-Go-Spieler waren vermutlich auch in dieser Woche weltweit unterwegs, um mit ihrem Smartphone virtuelle Monster zu jagen. Sie machen es sich dabei einfach: Ein Blick auf das Display, und sie sehen die reale Umgebung. Darin werden dann vereinzelt die zu jagenden Pokémons eingeblendet. Doch nicht nur das Spielprinzip ist vergleichsweise simpel, auch die dahinterstehende Technologie: Die Ausrichtung und Bewegung der Kamera wird mithilfe einfacher Sensoren erfasst, dann wird ein Monster eingeblendet. Das mag zwar spaßig sein, auf die tatsächlichen und umfangreichen Anwendungen von Augmented Reality liefert das Spiel bestenfalls einen Vorgeschmack.
Wer hingegen industrielle Anwendungen entwickeln will, muss gerade in puncto Tracking hochgenau arbeiten können – das durch die Kamera Gesehene exakt zu bestimmen und auszumessen, ist nämlich die Basis für alle industriellen AR-Entwicklungen. Schließlich ist es ein Unterschied, ob eine virtuelle Spielfi gur »irgendwo dort vorne unter dem Baum« sitzt oder ob ein Maschinenteil exakt lokalisiert und bestimmt werden soll. Wenn Letzteres gelingt – und die Forscher am Fraunhofer IGD arbeiten seit Jahren erfolgreich an einer speziellen und hochgenauen Trackingtechnologie –, dann steckt allein in den Bereichen Schulung, Produktion und Qualitätssicherung ein »gigantisches Potenzial«. Unternehmen wie Daimler, Porsche, BMW oder Airbus haben das erkannt und arbeiten längst mit industriellen AR-Technologien made by Fraunhofer IGD.
Tracking-Technik
Wie funktioniert die industrielle Tracking-Technik genau? Und wie kann die Industrie sie möglichst effizient nutzen? Die Definition an sich ist einfach: »Tracking erlaubt es, die Position von Objekten in einem Kamerabild exakt zu bestimmen.« Nur wenn diese Bestimmung ausreichend zuverlässig und stabil arbeitet, lässt sich ein als Bauplan vorhandenes und in CAD-Daten überführtes Objekt mit der Realität vergleichen. »Dieser Soll-Ist-Vergleich ermöglicht es dann, Unterschiede zwischen beiden Welten zu erkennen – und das ›auf den ersten Blick‹ «, erklärt Dr.-Ing. Ulrich Bockholt, Leiter der Abteilung »Virtuelle und Erweiterte Realität«. Nutzer erkennen also sofort, was im Gegensatz zum CAD-Modell »fehlt« oder falsch
montiert wurde. Zudem lassen sich so zusätzliche virtuelle Hinweise zu einem real vorhandenen Objekt wie beispielsweise einem Motor sehr leicht einblenden – unabhängig davon, um welche Modellreihe es sich handelt. Sie muss nur in Form entsprechender CAD-Daten hinterlegt sein. Dann können auf dem exakten Tracking aufbauende Programme schrittweise durch eine Inspektion oder Wartung führen. Wichtige Informationen würden automatisch über das reale Bild gelegt: schriftliche Beschreibungen etwa, akustische Hinweise oder Illustrationen für den nächsten Schritt. Das Suchen, Blättern und Nachlesen in Handbüchern ist nicht mehr nötig.
Industrielle Use Cases
Es gibt zwar vergleichbare Lösungen auf dem Markt, das Tracking à la Fraunhofer IGD zeichnet sich jedoch durch Besonderheiten aus, welche seine Anwendung in industriellen Use Cases besonders effizient machen. »Wir stellen ›lediglich‹ die Basistechnologie und ein Developer Kit zur Verfügung. Das ist ein wesentlicher Unterschied. Je nach Anforderung können Anwender damit ihre ›passenden‹ Augmented-Reality-Anwendungen selbst entwickeln. Sie sind also deutlich flexibler«, sagt Bockholt. Hinzu kommt, dass das System »mit Kante« arbeitet: Weil Kanten optisch leichter auszumachen sind, werden 3D-Objekte oder Maschinenteile auch bei veränderter Beleuchtung und in unterschiedlichen Umgebungen deutlich genauer erkannt. Anwender können deshalb nicht nur statische Umgebungen tracken, sondern verstärkt auch in dynamischen, also sich verändernden Umgebungen arbeiten – in Werkstätten etwa oder auch außerhalb der fixen Struktur eine Fabrikhalle.
VisionLib
Greifbares Ergebnis der Forschungsarbeiten des Fraunhofer IGD an einem industriellen Trackingsystem ist vor allem die Software VisionLib. Sie ist in der Lage, Position und Orientierung der Kamera in Relation zu einem Objekt exakt zu erkennen und so die Kamerabilder gezielt auszuwerten. Ein Vorwissen über den zu trackenden Ort ist nicht notwendig. Das dazugehörige Software Development Kit (SDK) kann für die Betriebssysteme iOS, Android, Windows und zur Verwendung auf der HoloLens lizenziert werden. Ein Spin-off des Fraunhofer IGD, die Visometry GmbH, bietet die VisionLib-Technologie seit 2016 an – für den Markt weiterentwickelt und mittlerweile vielfach ausgezeichnet.
Doch auch am Institut arbeiten die Forscher weiter an der nächsten Entwicklungsstufe der Trackingtechnologie. »Dazu gehören Szenarien wie Baustellen von Häusern oder Straßen. Wir wollen sie mit unserem System auch exakt erfassen, obwohl dort in der Regel große homogene Flächen und vergleichsweise wenig Kanten vorherrschen«, sagt Bockholt. Zudem sei es noch ein Problem, wenn sich beispielsweise ein Fahrzeug in einzelnen, aber wichtigen Details von der CAD-Vorlage unterscheidet: »Es ist mitunter irritierend für das Tracking, wenn beispielsweise bei dem real vorhandenen Fahrzeug die Türen halb geöffnet sind, sie im Bauplan aber geschlossen oder zumindest komplett geöffnet sind.« Deshalb arbeiten die Forscher nun auch intensiv an Erkennungsleistungen von verschiedensten Bauzuständen.
instant3Dhub
Wenn Augmented-Reality-Anwendungen die Effizienz bei der Montage, Produktion oder Qualitätssicherung deutlich erhöhen sollen, ist nicht nur ein exaktes Tracking unabdingbar. Es muss auch eine andere Herausforderung angegangen werden: die der Fülle an CAD-Daten, die in einer AR-Anwendung zur Verfügung stehen, um Objekte erkennen zu können. »Weil im Zuge der Digitalisierung immer feinere Daten generiert werden, überfordern die so entstehenden Datenberge die Grafikkarten und Prozessoren in den mobilen Endgeräten«, erklärt Dr. Johannes Behr, Leiter der Abteilung »Visual Computing System Technologies« am Fraunhofer IGD. Dabei sind es gerade flexible Endgeräte wie Tablets, Smartphones oder Datenbrillen, über die der Einsatz von AR-Techniken erst sinnvoll wird. Denn nur mit einer mobilen Anwendungsmöglichkeit ist eine »Verschmelzung« von CAD-Modell und realem Objekt auch effizient.
Behr und sein Team haben deshalb eine Plattform entwickelt, über die es erstmals gelingt, nur diejenigen Daten zu übertragen, die für eine Berechnung tatsächlich nötig sind. Die Idee dahinter ist vergleichbar mit einer digitalen Weltkarte wie beispielsweise Google Earth. »Hinter Google Earth verbirgt sich eine umfangreiche Menge an Daten, mit denen sich jeder Ort genau anzeigen und beschreiben lässt. Wer aber beispielsweise ›Darmstadt‹ eingibt, erhält nur diejenigen Daten auf sein Endgerät, die auch wirklich für die Darstellung der Kacheln rund um Darmstadt nötig sind«, sagt Behr. Ähnlich verfährt auch das am Fraunhofer IGD entwickelte »instant3Dhub«: Die Plattform skaliert die Daten. »Auch bei sehr großen Datenmengen wird die Leistungsfähigkeit des Endgeräts damit nicht mehr beeinträchtigt. Die Intelligenz des Systems erlaubt es uns, Daten vollautomatisch analysieren und räumlich zerteilen zu lassen und nur diejenigen Elemente zu übertragen, die für eine bestimmte Darstellung notwendig sind«, betont Behr. Für die Visualisierung kann die Plattform dann klassische Internettechnologien nutzen. Selbst 25-Gigabyte-3D-Modelle, wie sie etwa im Flugzeugbau vorkommen, lassen sich auf diese Weise selbst auf einfachen Endgeräten flüssig visualisieren. Und auch wenn umfassende Anwendungen individuell sind und ein Vergleich deshalb problematisch ist – das Potenzial der Plattform für ganze Abteilungen ist beträchtlich. Wo einst Anwendungen schon am Abend gestartet werden mussten, um alle nötigen Daten zu laden und zu berechnen, damit am nächsten Morgen die Arbeit weitergehen kann, reduziert sich nun der zeitliche Aufwand erheblich.
Fast wie Plug-and-play
Hinzu kommt ein weiterer entscheidender Vorteil für Anwender: Die Plattform wird genau wie in der eigenen Software-Umgebung auch in Cloud-Umgebungen eingesetzt und weiß mit unterschiedlichsten CAD-Formaten »umzugehen«. Unabhängig davon, welche (oftmals verschiedenartigen) Daten- und Repräsentationsformate im jeweiligen Unternehmen genutzt werden – das System »versteht« diese Formate. Informationen müssen also nicht (wie bislang oft üblich) umständlich umgearbeitet werden. Auch der oftmals obligatorische Einsatz teurer Spezialsoftware entfällt. Das System kann Daten verschiedensten Ursprungs fast wie bei einem »Plug-and-play-System« übernehmen, um sie dann in skalierter Form den Endgeräten zur Verfügung zu stellen.
Die ausgereifte Technik von instant3Dhub lässt erahnen, welche Möglichkeiten sich für die Industrie ergeben beziehungsweise noch ergeben können, wenn sich CAD-Daten unterschiedlichster Formate aufnehmen und skalieren lassen. Trotzdem dürfte die Methodik mit dem Grundgedanken, den Fokus auf AR-Endgeräte zu richten, noch kein Ende gefunden haben. Die Forscher am Fraunhofer IGD arbeiten derzeit beispielsweise an Möglichkeiten, um ein »Printing as a Service« zu entwickeln. Sie möchten damit industrielle 3D-Drucker ansteuern, denen ebenso wie Tablets oder Datenbrillen nur diejenigen Informationen zur Verfügung stehen, die diese auch wirklich für den jeweiligen Druck benötigen.
Ähnlich wie VisionLib wird auch instant3Dhub als Basisanwendung an Anwender lizenziert. Über ein Dutzend Kunden beispielsweise aus der Automobilindustrie, der Luftfahrtindustrie, dem Anlagen- oder auch Gebäudebau nutzen die Plattform bereits. »Instant3Dhub« ist Teil der Fraunhofer-IGD-eigenen Plattformstrategie »Visual Computing as a Service«. Ziel ist es, Erfahrungen und Forschungen zu sehr umfangreichen Systemen zu nutzen, um überschaubare Plattformeinheiten zu entwickeln, die als Service zur Verfügung gestellt werden können.