Learned embeddings for geometric data

Isaak Lim

Abstract: Das Lösen anspruchsvoller Aufgaben auf 3D Formen wie Klassifikation, Segmentierung, Vertex-zu-Vertex Zuordnungen oder die Berechnung der wahrgenommenen Stilähnlichkeit zwischen verschiedenen Formen erfordert Methoden, die in der Lage sind die notwendigen Informationen aus geometrischen Daten ziehen und die entsprechenden Eigenschaften zu beschreiben. Solche Funktionen von Hand zu konstruieren ist eine Herausforderung, denn es ist unklar wie und welche Informationen für eine Aufgabe extrahiert werden müssen. Darüber hinaus ist es schwierig zu bestimmen, wie die extrahierten Informationen zu verwenden sind um Antworten auf die Fragen über die Formen zu geben (z.B. zu welcher Kategorie eine Form gehört). Zu diesem Zweck schlagen wir vor Funktionen zu erlernen, die geometrische Daten auf einen Einbettungsraum abbilden. Die Ziele dieser Abbildungen sind komprimierte Kodierungen der eingegebenen geometrischen Daten, welche so optimiert werden können, so dass sie alle notwendigen aufgabenabhängigen Informationen enthalten. Diese Kodierungen können dann direkt verglichen werden (z.B. über die euklidische Distanz) oder durch andere relativ einfache Funktionen, um Antworten auf die gestellten Fragen zugeben. Neuronale Netze können verwendet werden, um solche Abbildungen und Vergleichsfunktionen zu implementieren. Dies hat den Vorteil, dass sie flexibel und mächtig sind. Darüber hinaus kann die Informationsextraktion und der Kodierungsvergleich automatisiert werden indem geeignete Zielfunktionen konstruiert werden, welche zur Optimierung der Parameter der Neuronalen Netze auf geometrischen Datensammlungen mit von Menschen bereitgestellten aufgabenbezogenen Metainformationen benutzt werden. Um das umzusetzen müssen wir zwei Fragen beantworten. Erstens, wie können geometrische Daten, welche oft in irregulärer Form vorliegen, als Eingabe für neuronale Netze so dargestellt werden und wie sollten solche Netze konstruiert sein? Zweitens, wie können wir den, durch die neuronalen Netze erzeugten, Einbettungsraum so gestalten, dass wir in der Lage sind gute Ergebnisse bei Aufgaben, wie den oben genannten, zu erzielen? In dieser Arbeit beantworten wir beiden Fragen. Konkret berechnen wir Kodierungen für geometrischen Datendarstellungen in Form von Bildern, Punktwolken und Dreiecksnetzen, je nach Verfügbarkeit von Datenquellen und den aufgabenspezifischen Anforderungen. Sobald wir geeignete Methoden zur Kodierung der Eingabe Geometrie haben, untersuchen wir dann verschiedene Möglichkeiten, wie der gelernte Einbettungsraum gestaltet werden kann. Dies geschieht durchsorgfältige Konstruktion geeigneter Zielfunktionen, die über Ansätze, wie das Minimieren der Kreuzentropie auf kategorischen Verteilungen, hinausgehen. Wir zeigen, dass diese Ansätze in der Lage sind, sowohl auf diskriminierende als auch auf generativen Aufgaben, gute Ergebnisse zu erzielen. Solving high-level tasks on 3D shapes such as classification, segmentation, vertex-to-vertex maps or computing the perceived style similarity between shapes requires methods that are able to extract the necessary information from geometric data and describe the appropriate properties. Constructing functions that do this by hand is challenging because it is unclear how and which information to extract for a task. Furthermore, it is difficult to determine how to use the extracted information to provide answers to the questions about shapes that are being asked (e.g. what category a shape belongs to). To this end, we propose to learn functions that map geometric data to an embedding space. The outputs of those maps are compressed encodings of the input geometric data that can be optimized to contain all necessary task-dependent information. These encodings can then be compared directly (e.g. via the Euclidean distance) or byother fairly simple functions to provide answers to the questions being asked. Neural networks can be used to implement such maps and comparison functions. This has the benefit that they offer flexibility and expressiveness. Furthermore, information extraction and comparison can be automated by designing appropriate objective functions that are used to optimize the parameters of the neural networks on geometric data collections with task-related meta information provided by humans. We therefore have to answer two questions. Firstly, given the often irregular nature of representations of 3D shapes, how can geometric data be represented asinput to neural networks and how should such networks be constructed? Secondly, how can we design the resulting embedding space provided by neural networks insuch a manner that we are able to achieve good results on high-level tasks on 3Dshapes? In this thesis we provide answers to these two questions. Concretely, depending on the availability of the data sources and the task specific requirements we compute encodings from geometric data representations in the form of images, point clouds and triangle meshes. Once we have a suitable way to encode the input, we explore different ways in which to design the learned embedding spaceby careful construction of appropriate objective functions that extend beyond straight forward cross-entropy minimization based approaches on categorical distributions. We show that these approaches are able to achieve good results inboth discriminative as well as generative tasks. Lim, Isaak; Kobbelt, Leif; Mitra, Niloy J.