Wir arbeiten an Deep-Learning-Ansätzen zur Schätzung von Reflexionsparametern und Umgebungsbeleuchtung aus Bildsammlungen, die den Zeit- und Kostenaufwand für die Materialbeschaffung reduzieren und Designern die Bearbeitung verschiedener Reflexionsmodelle erleichtern können.
Fotorealistisches Rendering ist wichtig für die realistische Wahrnehmung realer Objekte, die von der Umgebungsbeleuchtung und den Oberflächeneigenschaften des Objekts abhängt. In der Industrie, zum Beispiel im Automobildesign, ist fotorealistisches Rendering besonders wichtig und aktuelle Pipelines für die Materialbeschaffung sind mit viel Kosten und Zeit verbunden.
Das Schätzen von Geometrie, Materialien und Beleuchtung aus einer Reihe von Bildern wird häufig als inverses Rendering bezeichnet. Neuronale Strahlungsfelder (NERF), die auf neuronalen Strahlungsfeldern (NERF) basieren, geben die Farb- und Volumendichte direkt aus, so dass die Strahlung in diesen Netzwerken gebacken wird und daher nicht für die Neubeleuchtung verwendet werden kann. Wir arbeiten an Deep Learning auf der Grundlage von Ansätzen, die Reflexion und Beleuchtung für NERF-basierte Modelle abschätzen können. Dies ermöglicht Relighting, Materialbearbeitung und flexiblere Akquisition in NERF-basierten Architekturen. Die Herausforderung besteht darin, den Reflexionsgrad, die Beleuchtung und die Geometrie mit hoher Leistung und Genauigkeit zu schätzen, und wir arbeiten aktiv in diesem Bereich daran, die bestehenden Modelle des maschinellen Lernens zu verbessern.
Wir haben auch generative Modelle für maschinelles Lernen entwickelt, um Reflexionsparameter aus Einzelschuss-Blitzbildern für isotrope Materialien zu schätzen. Dieser Ansatz kann den Anwendern helfen, einen ersten Eindruck davon zu bekommen, wie die verschiedenen flachen Materialien auf verschiedenen 3D-Modellen aussehen, und den Designern helfen, den Prozess der Materialbeschaffung zu beschleunigen.
Fraunhofer-Institut für Graphische Datenverarbeitung IGD