Imgs.ai ist ein Tool, um Bilder aus unterschiedlichen Datensätzen zu finden. Entwickelt wurde es von Fabian Offert mit Unterstützung von Oleg Harlamov und Peter Bell, der uns die Funktionen in Form eines Workshops vermittelte. Die Entwicklung des Tools befindet sich zur Zeit in der Beta-Phase und wird unter einer Open-Source-Lizenz zur Verfügung gestellt. Beta-Phase meint eine erste Version eines Computerprogramms, die zu Testzwecken für ein bestimmtes Klientel zur Verfügung gestellt wird. Durch den Vortrag von Peter Bell erhielten wir einen Einblick in die digitale Kunstgeschichte und Critical Machine Vision mit dem Fokus der Kunstgeschichte als Bildwissenschaft.
Bei dem genaueren Betrachten der Webseite von imgs.ai achte ich mich detailliert auf die Gestaltung des Interface und frage mich inwiefern ich als Benutzer*in die Suche mitgestalten kann. Das Tool funktioniert über Korrespondenzen. Auf die Kunstgeschichte bezogen bedeutet das, dass diese Wissenschaft nicht nur Reproduktionsgeschichte ist. Es ist viel eher so, dass verschieden Werke aufeinander und auf verschiedene Weise referenzieren.
Das Ziel bei dem Aufbau der Plattform imgs.ai, ist das Erlernen solcher Korrespondenzen. Es geht um die Übersetzung von einem Bild in das andere. Dabei kann es sich auch um ein Werk handeln, das in zwei verschieden technischen Realisierungsformen existiert. Das Ziel beim Aufbau eines solchen Tools wie imgs.ai ist also, die Formen zu finden, wie man vom einen Werk zum anderen kommt.
Zentral für die Benutzung von imgs.ai ist das Konzept des «Re-search». Damit ist gemeint, dass jede Suche die Grundlage für die Nächste ist. Dadurch kann die Benutzer*in intuitiv durch die Bildkorpora stöbern. Es handelt sich dabei um eine visuelle Suchmaschine auf der Basis neuronaler Netze. Ein neuronales Netz ist eine Abstraktion der Informationsverarbeitung nach dem Modell von Neuronen in einem Nervensystem. Inhalte sind also anhand verschiedener Kriterien miteinander verknüpft.
Zuerst fokussiere ich mich auf die äussere Form des Systems. Ich möchte wissen, wie eine Suche in Gang gesetzt werden kann. Es kann mit bereits auf der Webseite vorhandenen Bildern oder mit selbst hochgeladenen Bildern gesucht werden. Indem auf «remove» geklickt wird, wird die Suche aufgehoben und die selbst hochgeladenen Bilder von der Webseite entfernt.
Ein weiteres Werkzeug im Suchprozess sind die Funktionen «positive» und «negative». Mit «positive» kann zu einem angeklickten Bild die Information gegeben werden, dass ähnliche Ergebnisse und mit «negative», dass unähnliche Ergebnisse geliefert werden sollen. Durch die Selektion unerwünschter Ergebnisse kann so die Suche verfeinert werden. Als weiteres Kriterium kann ausgesucht werden mit welchem Datensatz die Suche vollführt werden soll.
Gut zu wissen ist, dass bei dem Wechsel des Datensatzes alle positiven Abfragebilder erhalten bleiben. Dadurch ist die weiterführende, datensatzübergreifende Suche gesichert. Zudem erscheint das Bild mit einem Doppelklick entweder in voller Auflösung oder die Sucher*in wird auf die institutionelle Webseite verlinkt.
Im Folgenden werden zwei Suchbeispiele Schritt für Schritt erläutert. Dabei wird auf die verschiedenen Einbettungsarten in neuronale Netze genauer eingegangen, die für eine schnelle Suche hilfreich sein können.
Suche nach Variationen
Mich interessiert wie das System auf Variationen eines Bildes reagiert. Ich wähle ein Bild, von dem ich bereits weiss, dass mehrere Remakes verschiedener Künsteler*innen vorhanden sind. Als erstes Suchbild lade ichLas Meninasvon Diego Velázquez, 1656 auf imgs.ai. Dieses Gemälde gilt als durchdachte Reflexion darüber, was ein Gemälde darstellen kann.[1]
Aber nach was suche ich genau? Ich werde mir bewusst, dass mir die Suche ohne Worte fremd erscheint und ich mir den Zugang erst aneignen muss. Ich halte mich an mein Vorwissen über das Gemälde und möchte herausfinden, ob mir imgs.ai Antworten auf die Komposition der Bilder, auf die Symbolik und den Inhalt des Bildes in den Remakes der Bilder liefert.
Bevor ich meine Suche starte, werfe ich einen Blick auf die Einbettungen der neuronalen Netzwerke. Ich belasse die Einstellung «vgg19», was der Name des neuronalen Netzes ist und das dazu trainiert ist, semantische und syntaktische Merkmale eines Bildes zu erkennen. Die Funktion «metric» belasse ich bei «ranking», damit wählt das System die nächstgelegenen Nachbarn für jedes Abfragebild separat aus und ordnet sie dann der Ähnlichkeit entsprechend ein. Die zweite Funktion unter «metric» wäre «centroid». Diese Suchfunktion kann sinnvoll werden, wenn ich über mehrere Suchbilder verfüge, denn damit werden Punkte im Vektorraum zwischen allen Suchbildern gefunden. Es geht hierbei also um die Aspekte, die alle Suchbilder gemeinsam haben. Die Einstellung «distance» belasse ich bei «manhattan».Damit ist der entlang rechtwinkligen zueinander stehenden Achsen gemessene Abstand zwischen zwei Punkten gemeint. Für einen ersten Suchvorgang belasse ich die Einstellung «images in», die für den Datensatz steht, bei «Met» für Metropolitan Museum. Ich lade mit «upload» das BildLas Meninasvon Velázquez hoch und beginne meine Suche.
Unter den Suchergebnissen befinden sich Werke verschiedener Stilarten: Bleistiftzeichnungen auf Papier, Ölmalereien und Photographien. Zudem variiert der Kontext des Bildes frappant. Während ein paar wenige Suchergebisse die höfische Räumlichkeit aufnehmen und auch der Personenkomposition der Hofdamen ähneln, schweifen die meisten Ergebnisse völlig von dem Ursprungsbild ab. Um einige Beispiele zu nennen: Die Suchergebnisse stellen eine Bauernfamilie auf einem öffentlichen Platz, Heiligenbildern mit Jesus als Säugling im Mittelpunkt oder eine streikende, weiblich gelesene Person dar.
Für Variationen bin ich am falschen Ort also verändere ich die Einstellung «images in» auf den Datensatz des Rijksmuseum. Als Ergebnis erscheinen weitere Ölmalereien aber keine Variationen des Suchbildes. Ich beginne meine Suche zu überdenken. Wenn die variationsgeschichtliche Reichweite dieses Werkes für das System keine Rolle spielt, wie muss ich dann suchen? Ich beginne meine Suche zu hinterfragen und realisiere, dass viele Variationen vonLas MeninasWerke der modernen Kunst sind. Wie uns Peter Bell mitteilte, sei ein Datensatz für moderne Kunst noch in einem frühen Prozessstadium. Ich muss also meinen Suchfokus verschieben. Für was könnte ich meine Recherche verwenden? Ich wende mich einem Teilgebiet zu das mir nahe liegt und das ich wissenschaftlich und praktisch betreibe, nämlich dem Theater und der Theaterwissenschaft.
Ich beginne meinen Fokus auf die Bildkomposition zu richten, ohne mein Vorwissen über das Gemälde zu beachten. Dabei faszinieren mich die scheinbar zufälligen Haltungen der abgebildeten Menschen, als wüssten diese nicht, dass sie abgemalt werden. Die Darstellung der Menschen erinnert mich an einen Schnappschuss. Auch wenn der Maler einige Tricks angewendet hat und sich selbst in das Gemälde malte, deutet vieles darauf hin, dass es genau so gestellt wurde.
Mich interessiert diese Zufälligkeit in einem frontalen Gemälde, das einige Indizien aufweist, die darauf hindeuten, dass das Bild bis in das Detail komponiert ist. Jedes Gesicht ist zu sehen. Die Menschen, die sich von der Betrachter*innenposition abwenden, scheinen dies nur kurzfristig zu tun, um letzte Vorkehrungen für das «richtige» Gemälde zu vollziehen. Die Lichtsituation ist auf die erste Ebene gerichtet, als wäre sie für eine eindeutige Darstellung der zu malenden Hofdamen komponiert.
Was mich nicht interessiert sind geistliche Bilder, konventionelle Gruppenbilder, bei denen die Abgebildeten sich nur auf das Abgemalt-werden konzentrieren und Abbildung von nur einer einzigen Person. Zudem interessiere ich mich nicht für Fotografien mit diesem Bildinhalt, weil für mich in einer Fotografie das paradoxe Moment von Schnappschuss in einem gemalten Bild verloren geht.
Ich verändere die Funktion «images in» auf «met», markiere alle die Bilder, die meinen Kriterien entsprechen und klicke auf «positive». Ich führe meine Suche weiter und wechsle zwischen den Datensätzen hin und her, ergänze meine Suche mit positiven und negativen Bildern bis ich eine gewisse Menge positiver Bilder vor mir habe. Zudem wechsle ich auf die die Funktion «metric» auf «centroid» so steht die Anordnung der abgebildeten Personen als Gemeinsamkeit meiner positiven Bilder im Fokus.
Ich nutze diese Suche als Inspiration und historisches Hintergrundwissen für das erarbeiten szenischer Vorgänge. Ich habe nun eine bildliche Auswahl von dem paradoxen Konzept von «Zufälligkeit in einem Gemälde», das eins zu eins abgemalt zu sein scheint. Ich kann durch Verlinkungen der gefundenen Bilder auf Webseiten zugreifen und so mehr über den institutionellen und historischen Hintergrund des Gemäldes herausfinden. Ich könnte die jeweiligen Posen in dem bestimmten Begegnungsmoment auch für eine wissenschaftliche Arbeit an der Schnittstelle von Kunstgeschichte und Aufführungsgeschichte verwenden.
Bei Abbildung 3 werden auf der linken Seite die von mir als «positive» markierten Bilder und rechts, die von mir als «negative» markierten Bilder dargestellt.
Mit der Suche nach Variationen kam ich mit diesem System nicht weiter, stattdessen erlangte ich eine Vorstellung, wie ich das Tool in meinem praktischen und wissenschaftlichen Arbeiten nutzen kann. Mir wurde bewusst, dass meine Gewohnheit auf die Suche durch Wörter nicht einfach wegzudenken ist und die Suche von Bilder durch Bilder aktiv gelernt werden muss.
Suche nach ähnlichen Bildern
Ich will vorerst testen, ob imgs.ai ein Bild, das genau so auf einem Datensatz vorhanden ist, an erster Stelle anzeigen würde. Dafür wähle ichLes Demoiselles d’Avignonvon Picasso, das im Museum of Modern Art (MoMA) ausgestellt ist. Ich wechsle also zum Datensatz MoMA und lade via «upload» ein Bild des Gemäldes hoch.
Die Ergebnisse erstaunen mich doch sehr. Das eigentliche Gemälde wird trotz der Einstellung «ranking» nicht an erster Stelle angezeigt und auch wenn ich auf «centroid» wechsle, bleiben die Resultate genau gleich. Picassos Gemälde kommt mit den unterschiedlichsten Beispielen vor. Von einem abstrakten Gemälde (2.3.85von Gerhard Richter) mit meiner Meinung nach nicht sehr ähnlichen Farben bis hin zu einer Installation mit einem aufgehängten Netz (Posey Restraintvon Park McArthur) ist alles dabei. Mich erstaunt auch sehr wie viele der Resultate schwarz-weiss sind, obwohl das Bild mit verschiedenen Rosatönen spielt. Auch Fotografien sind dabei, was mich vermuten lässt, dass das System die menschlichen Figuren trotz des kubistischen Malstils Picassos erkennen kann.
Die Maschine findet zu meiner Freude auch ein weiteres Picasso Bild und zwar dasNight Fishing at Antibes. Dies ist genau die Art von Resultat, die ich mir erwünsche, da ich mit meiner Suche weitere Gemälde finden will, die entweder von Picasso selbst stammen oder einen Malstil aufweisen, der wenig realistisch und mehr expressionistisch ist. Als nächsten Schritt wähle ich mit meinem laienwissen die Gemälde, die meinen Kriterien entsprechen, aus und klicke auf «positive».
Auf diese Weise finde ich noch mehr Gemälde, die aber nicht von Picasso stammen. Die Gemälde sind aber wie die Abfragebilder nicht realistisch gemalt. Als nächstes entscheide ich mich, meine Suchanfrage mit der Option «negative» zu verfeinern. Ich wähle alle Resultate, die nicht Gemälde sind, aus, also Fotos, Gegenstände, Skulpturen etc., und klicke auf «negative».
Diese Suchanfrage ergibt, wie ich erhofft habe, vor allem Gemälde jedoch gibt es trotzdem noch einige Fotografien unter den Resultaten. Es werden auch keine weiteren Picasso Bilder aufgezeigt, doch immerhin sind die Malstile eher expressionistisch. Ich erkenne eine übergreifende Ähnlichkeit unter den Gemälden und bin mit der Menge an ähnlichen Bildern, die ich finden konnte, zufrieden.
Als ich meine Recherche beenden will, schaue ich mir nochmals alle Einstellungen an und da kommt mir eine Idee. Ich hatte das Embedding «raw» noch gar nicht ausprobiert. Da bei «raw» die Suche einzig auf Pixel basiert, sollten die Ergebnisse eine ähnliche Farbverteilung aufweisen und welches Gemälde hat Pixel für Pixel die gleichen Farben, wenn nichtLes Demoiselles d’Avignonselbst?
Die Resultate sind wieder erstaunlich, doch ich kann erkennen, dass dieses Mal die Farbverteilung auf das Gemälde basiert und auf allen Ergebnissen ähnlich ist. Dafür haben die Inhalte der Bilder meiner Meinung nach überhaupt keinen Zusammenhang mit denDemoiselles d’Avignon. Oder etwa doch? Ganz klein in der Mitte scheint mir, als könnte ich das Wort Picasso lesen. Und tatsächlich stammt dasBildvon Picasso selbst. Ich bin absolut verblüfft. Wie kann die Einstellung die einzig auf Pixel basiert, ein Bild des selben Künstlers auffinden und hinzu noch mit seinem Namen drauf? Ich werde nun skeptisch und da ich keines der Kunstwerke selbst kenne, klicke ich mich durch alle durch, da man bei diesem Datensatz durch doppelklicken auf die Webseite des MoMA geleitet wird. Mein Bauchgefühl liegt richtig, denn es gibt noch zwei weitere Picasso Bilder unter den Ergebnissen. Ich kann mir nicht erklären wie ich mit «raw» mehr Picasso Bilder finden konnte, denn bei diesen Resultaten sind die Unterschiede zwischen den Kunstwerken riesig. Es werden Gemälde, Fotografien, Collagen, Skulpturen, Installationen und sogar Textilien angezeigt. Das Einzige, das ein kubistisches Gemälde von halbnackten Frauen, eineCollage des Minotaurus, eineSkizze eines Gesichts von einem Mädchenund ein von Hand geschriebener Text verbindet, ist der Künstler. Ich glaube, dass die Webseite irgendwie noch weitere Informationen des Gemäldes für die Recherche benutzt hat, sonst wären diese Ergebnisse ein wirklich grosser Zufall. Zum Schluss markiere ich die Picasso Bilder mit «positive» doch dieses Mal finde ich keine Gemälde des Künstlers mehr. Allgemein finde ich die Einstellung «raw» trotz der Menge an Picasso Bilder, die ich auffinden konnte, eher ungeeignet, um ähnliche Bilder zu finden.
Ich hatte viel Spass bei der Recherche, denn die Resultate überraschten mich immer wieder. Ich finde jedoch, dass man bei der Suche vieles verpassen kann, wenn das eigene Wissen über Kunst beschränkt ist. Andererseits hatte dies für mich auch einen didaktischen Effekt, da ich durch die Eingabe des Gemäldes in die Webseite weitere Kunstwerke und Künstler kennenlernen konnte, die einen ähnlichen Malstil wie Picasso benutzen.
Fazit
Imgs.ai macht genau das, was es verspricht. Die Webseite lässt eine sehr freie und intuitive Suche nach Bilder mit Bildern zu. Die Suche kann praktisch unendlich lange fortgesetzt werden. Für einen Kunstlaien kann die Webseite zunächst etwas unzugänglich wirken, doch gerade für solche Benutzer*innen kann das Tool lehrreich sein, besonders wenn man die Datensätze benutzt, die durch Doppelklicken an die Webseite des Museums gekoppelt sind, wie es z.B. beim Datensatz MoMA der Fall ist. Bei anderen Datensätzen könnte diese nützliche Funktion noch ausgebaut werden. Es war eine Herausforderung, in imgs.ai eine Suche ohne Worte zu formulieren, da ich dadurch dauernd meine Suche hinterfragte und stets auf neue Probleme stiess. Im Grossen und Ganzen war aber die Recherche mit imgs.ai sehr aufschlussreich und unterhaltsam.
[1]Honour, Hugh und John Fleming,A World History of Art,London: Macmillan, 1982.
Diesen Blogbeitrag zitieren
simonaoliveira (2020, 19. November). imgs.ai: Die Suche durch Bilder. Einblicke in die Digital Humanities. Abgerufen am 23. Juni 2024, von https://doi.org/10.58079/o583
