Virtual, Augemented & Extended Reality

Im gesamten Automotive-Sektor entwickeln wir visuell-interaktive Lösungen der nächsten Generation für alle Phasen des automobilen Produktlebenszyklus - vom Entwurfsprozess und Design Reviews über technische Simulation bis hin zur Qualitätskontrolle in der Produktion.
Auf diese Weise verändern wir mit Ihnen die Mobilität der Zukunft.

Die Automobilbranche ist im Umbruch. Elektromobilität, autonomes Fahren, und viele andere Trends verändern die Denkweisen am Markt gerade maßgeblich und weisen in eine neue Zukunft.

Künstliche Intelligenz macht es möglich, menschliche kognitive Fähigkeiten auf Maschinen oder teilautonome Systeme zu übertragen. Durch maschinelles Lernen (ML) kann diese Intelligenz mithilfe von Computersystemen unter Verwendung großer Datenmengen und hoher Rechenleistung generiert werden, indem ihnen beigebracht wird, ein Problem selbstständig zu formulieren und zu lösen. Dieser Vorgang gliedert sich in einen Lern- und einen Vorhersageprozess. Das Computersystem erlernt die selbstständige Aufgabenlösung durch wiederholte Ausführung, und zwar mittels tiefer neuronaler Netze, die für eine abgeleitete Vorhersage mehrere Schichten zwischen Ein- und Ausgabe applizieren. Davon profitierten autonome Roboter, selbstfahrende Autos sowie medizinische als auch Industrie-4.0-Anwendungen.

Zur Objekterkennung müssen die zugrunde liegenden neuronalen Netze trainiert werden – was eine große Herausforderung darstellt, da Trainingsdaten häufig auf zeit- und kostenintensive Weise manuell generiert werden müssen. Hierzu werden die Objekte fotografiert und diese Bilder anschließend annotiert, indem den Objekten pixelweise Cluster zugeordnet werden. Für viele Anwendungsfälle ist dieser Ansatz unwirtschaftlich. Eine andere Möglichkeit bietet die Verwendung von synthetisch erzeugten Daten, bei denen die manuelle Fotografie- und Labeling-Arbeit entfällt, da Trainingsbilder automatisiert aus beliebigen Perspektiven erstellt werden können (Fotografie-Schritt) und die exakten Objektposen bekannt sind (Labeling-Schritt).

Das Fraunhofer IGD bietet 3D-Modell-basierte Pipelines und Workflows für das Training von tiefen neuronalen Netzen an, um Objekte zu detektieren oder deren 6D-Pose aus einem 2D-Bild zu rekon-struieren, wobei synthetisch generierte Daten auf der Grundlage von CAD-Modellen verwendet und die Probleme der Domänenanpassung mittels Kombination von fotorealistischen / nicht-fotorealistischen Rendering-Techniken gelöst werden – ohne großen Kostenaufwand. Dabei kommen Style Transfer Networks (CGANs) oder neuronale Rendering-Techniken zum Einsatz, um beliebige randomisierte Bilddaten für die spätere Aufgabe der Objekterkennung und 6D-Posenschätzung zu erzeugen.
So kann das System auf ein beliebiges Produktdetail trainiert werden und erkennt es innerhalb einer komplexen Produktkonfiguration oder -variante, ohne diese zuvor real erfasst zu haben. Mögliche Anwendungsbereiche sind automatisierte, auf Bildverarbeitung basierende Qualitätskontrollsysteme, autonome Roboter für »Bin Picking«-Anwendungen in Produktionsumgebungen oder automatische Katalogabfragen im Kundendienst.

Digitale Unterstützung für Produktionsprozesse: Die Software ARRANGE optimiert effektiv Absortiervorgänge. In Kombination mit einer Augmented-Reality-Brille zeigt sie zusammengehörige Bauteile direkt im Sichtfeld der Mitarbeitenden farblich an. Das minimiert die Fehleranfälligkeit beim Sortieren, ermöglicht schnellere Prozesse und reduziert so die Kosten.

Absortiervorgänge finden in vielen Industriezweigen noch immer manuell statt, beispielsweise bei der Produktion von Blechteilen im Automotive-Bereich. ARRANGE erkennt die realen Objekte und ordnet diese automatisiert den verschiedenen Kunden zu. Die farblichen Überlagerungen unterstützen die Mitarbeitenden. Blau zu Kunde A, gelb zu Kunde B – die Werkerinnen und Werker haben mittels AR-Brille die Lösung direkt vor Augen.

Bei Blechen mit bis zu einhundert Elementen zeigt sich das Potenzial der Software: Der Blick zum externen Monitor, um die aus-gestanzten Elemente mit den dortigen Darstellungen abzugleichen, entfällt. Das erhöht nicht nur die Absortiergeschwindigkeit, sondern minimiert auch die Fehleranfälligkeit. Beides hilft dabei, Kosten zu senken. Passiert doch einmal ein Zuordnungsfehler, gibt ARRANGE eine Rückmeldung im Sichtfeld der Mitarbeitenden. Dieser kann schnell korrigiert werden – und hält weder den Absortiervorgang noch die weitere Produktion auf.

Die auf Künstlicher Intelligenz basierende Software wurde ausschließlich mit synthetischen Daten trainiert. Sie erkennt also die realen Objekte allein auf Grundlage ihrer dreidimensionalen CAD-Modelle. Diese Lösung verkürzt den Anlernprozess der Künstlichen Intelligenz enorm: Bislang waren zahlreiche reale Fotografien aus unterschiedlichen Perspektiven notwendig – nun kann das Objekt theoretisch schon vor der Produktion in Kamerabildern detektiert werden. Entstanden ist die Technologie in Zusammenarbeit mit einem namhaften Werkzeughersteller – nah an den Bedürfnissen der Industrie.

3D-Informationen über den Ist-Zustand, die jederzeit und überall verfügbar sind: Das ist die Zukunft im Bauwesen und im Gebäudemanagement. Möglich macht es die schnelle Verbreitung von 3D-Modellen und Bildgebungssystemen. Getragen wird dieser Trend vor allem durch den Erfolg des Building Information Modeling (BIM). Es umfasst den Prozess der Erzeugung und Verwaltung von Gebäudedaten während der Planungs-, Bau- und späteren Instandhaltungsphase.

Das BIM schließt die Gebäudegeometrie, räumliche Beziehungen, geografische Informationen sowie Aufmessungen und Eigenschaften von Gebäudekomponenten mit ein. So unterstützt es Anwender dabei, die für den Lebenszyklus relevanten Informationen und Daten konsistent zu erfassen, zu verwalten und zwischen den Beteiligten auszutauschen. Und auch für die Dokumentation des Gebäudezustands und der Bauprozesse bietet es großes Potenzial:

Zu jeder Zeit und an jedem Ort ist die Smartphone-Plattform einsatzbereit. Das BIM ermöglicht nicht nur eine Abweichungsanalyse auf der Baustelle. Es bietet auch ein zentral gespeichertes digitales Referenzmodell des Gebäudes mit dem Ist-Zustand geplanter und durchgeführter Arbeiten. Das IT-basierte Assistenzsystem kann von allen an der Baustelle Beteiligten genutzt werden.

Das Fraunhofer IGD stellt schwerpunktmäßig cloudbasierte Visualisierungsdienste für BIM bereit und unterstützt »as-planned« / »as-built« Abweichungsanalysen durch Augmented-Reality-Technologien.

Die Forschenden zielen darauf ab, eine Brücke zwischen 3D-Visualisierung und AR-Tracking SaaS-basierten Technologien zu schlagen. Damit realisieren sie sowohl hochleistungs fähige 3D-Immersion als auch modellbasierte 3D-Tracking- und Registrierungstechnologien für mobile Geräte.

Ihre Stärken zeigt die Software vor allem im Gebäudemanagement und bei komplexen Montage- und Demontageaufgaben im Sanierungsfall – beispielsweise bei der Renovierung von Altbauten und der Restaurierung von Hausfassaden.

Um Montagearbeitsplätze effizienter zu gestalten, hat das Fraunhofer IGD Augmented Reality (AR) und Maschinelles Lernen eng verknüpft. Das Ergebnis ist ein AR-gestütztes System für einen nutzergeführten Zusammenbau komplexer Produktkonfigurationen. Der zuständige Werker wird entlang der CAD-Spezifikation einer digitalen Produktkonfiguration durch den realen Prozess des Zusammenbaus geführt. Neben einer Überlagerung der Konturen eines CAD-Modells erkennt das System auch die richtige Reihenfolge des Zusammenbaus und gibt dem Werker eine direkte visuelle Rückmeldung über die Korrektheit des Zusammenbauschrittes sowie der richtigen Position und Orientierung eines Bauteils im Produktaufbau. Somit wird nicht nur der Assemblierungsprozess unterstützt, sondern auch zugleich eine Verifikation gegenüber der CAD-Spezifikation ermöglicht.

Zusätzlich kann der Werker durch einen aus der Ferne zugeschalteten Experten direkt in einer virtuellen 1-zu-1 Präsenz vor Ort unterstützt werden. Über neuartige volumetrische Rekonstruktionsverfahren wird die Vor-Ort Situation aufgenommen und dem Remote-Experten überspielt. Umgekehrt kann ein Experte seine Handlungsunterstützungen in direkter virtueller Präsenz dem Werker erklären und ihm entweder über direkte Handlungsanweisungen oder virtuelle Annotationen am Objekt Hilfestellungen geben. Das System ist skalierbar und unterstützt den Werker sowohl über mobile als auch kopfgebundene xR-Ausgabeeinheiten.

Mit dem AR-basierten Montagearbeitsplatz werden komplexe Produktaufbauten effizient unterstützt und gleichzeitig gegenüber der CAD-Spezifikation verifiziert. Somit ersetzt das System die zurzeit meist noch in physikalischer Form vorliegenden Zusammenbauanweisungen, welche eine hohe Transferleistung der Werker von 2D-Bauanweisungen in die 3D-Welt erfordern. Durch eine neuartige Form der Fernunterstützung können auch hochkomplexe Zusammenbauten schnell und kostengünstig erfolgen. Eine zusätzliche Abnahme eines Zusammenbaus erfolgt dann vollautomatisch und wird entsprechend der vorliegenden CAD-Spezifikation sofort verifiziert.