Bildbearbeitung für Alle – unterstützt durch künstliche Intelligenz

Gefördert durch

Die weltweite Vernetzung durch Social Media und andere Werkzeuge macht jeden Teilnehmer zum Content Creator. Mit steigender Bedeutung von visuellen Elementen steigt auch der Bedarf an professioneller Bildbearbeitung. Aber herkömmliche Bildbearbeitungs-Werkzeuge sind teuer und erfordern eine aufwändige Einarbeitung. Fortschrittliche Algorithmen und Künstliche Intelligenzsysteme können dies nun ändern.

Im Forschungsprojekt KIDesign entwickelt die Firma img.ly zusammen mit dem Bochumer Institut für Technologie (BO-I-T) neuartige, KI-gestützte Tools zur Bildbearbeitung und zur Generierung von hochwertigen visuellen Designs.

Das Projekt wird unterstützt von der Europäischen Union und dem Land Nordrhein-Westfalen.

Näheres zum Projekt

„Jeder“ betreibt heute Bildbearbeitung, sei es in sozialen Netzwerken, Messengern, beim Erstellen von Flyern oder Postern, oder tatsächlich im Rahmen eines Hobbies. Die Ansprüche an visuelle Inhalte sind dabei stark gestiegen.

Das Problem dabei: Professionelle Bildbearbeitung erfordert viel Erfahrung und die entsprechenden Software-Tools haben eine hohe Einstiegshürde. Oft sind auch mit dem kreativen Prozess viele monotone Arbeiten wie beispielsweise das Freistellen von Objekten notwendig. In diesem Prozess scheint gerade für unerfahrene Nutzer Unterstützung notwendig und sinnvoll. Bisher existieren aber nur wenige intelligente Assistenzsysteme; die Werkzeuge, die am ehesten als intelligent zu bezeichnen wären, sind das bekannte „Zauberstab“-Werkzeug oder automatische Bildoptimierungen in Fotosoftware.


Tiefe künstliche neuronale Netze, die das sogenannte Deep Learning ermöglichen, haben vor einigen Jahren den Bereich der Bildanalyse revolutioniert und bieten in Kombination mit steigenden Rechenleistungen das Potenzial für deutlich bessere Unterstützungs-Systeme: Von der inhaltlichen und ästhetischen Bildanalyse mit konkreten Verbesserungsvorschlägen für den Nutzer, über automatische Bildbearbeitung bis hin zu automatisch neu generierten Inhalten sind viele Werkzeuge denkbar und werden im Projekt erforscht.

Um diese Systeme für die genannten Aufgaben zu entwickeln, sind eine große Menge an geeigneten Trainingsaten für unterschiedlichste Fragestellungen notwendig. Nach dem Aufbau der entsprechenden Datenbanken können die Systeme trainiert und optimiert werden. Ein weiterer Aspekt im Projekt die die Transferierbarkeit der KI-Systeme auf unterschiedliche Plattformen wie mobile Endgeräte mit entsprechenden Hardware-Restriktionen.

Das im Rahmen des Leitmarktwettbewerbs CreateMedia.NRW von der EU und NRW geförderte Projekt ist im Februar 2019 gestartet und läuft zwei Jahre.

Pressemitteilung

(Veröffentlicht am 12.07.2021)

Wer Bilder bearbeitet, hat neben dem interessanten kreativen Prozess oft auch zeitintensive, repetitive Aufgaben zu erledigen: Personen auf Bildern ausschneiden und auf neue Hintergründe platzieren, störende Objekte aus Bildern entfernen und die Lücken mit passendem Inhalt füllen oder viele Bilder auf das wesentliche zuschneiden. Mittels künstlicher Intelligenz können diese Aufgaben weitgehend automatisiert werden, was mehr Raum für Kreativität lässt.

In dem vom NRW.EFRE geförderten Projekt KI Design, hat sich das Projektkonsortium bestehend aus der Firma IMG.LY und dem Bochumer Institut für Technologie in den letzten zwei Jahren damit beschäftigt KI-basierte Algorithmen zu entwickeln, die dem Anwender bei eben dieser Aufgabenstellung zur Seite stehen. Das Ziel: einfacher vielfältigen und ästhetisch ansprechenden Content zu erzeugen. Das Projekt gliederte sich in mehrere Themenbereiche von der Analysen der Bildinhalte, über Vorschläge für geeignete Bildbearbeitungswerkzeuge, bis hin zur Generierung von neuem Bildinhalt. Alles auf Basis von KI-Algorithmen. Das Ergebnis ist ein umfangreiches prototypisches “Tool-Set”, das einige der Fragestellungen in der Bildbearbeitung teils durch einen einfachen Klick umsetzt.

Besonders beeindruckend ist hierbei das automatische Freistellen von Personen oder Objekten geworden. Eine Aufgabe, die sonst viel Zeit in Anspruch nimmt, da die “Schnittkanten” von Hand “nachgezeichnet” und passend überblendet werden müssen. Der entwickelte Algorithmus arbeitet hier in zwei Schritten. Zunächst wird das Bild, vgl. Abbildung 1, in drei Bereiche eingeteilt (segmentiert), sprich dem Hintergrund, einem Übergangsbereich und dem Vordergrund. In dem zweiten Schritt werden dann die detaillierten Kanten des Übergangsbereichs freigestellt. Dabei stellte unter anderem das automatische Freistellen von Haaren eine besondere Herausforderung dar, deren Anwendungsfall aber auch gleichzeitig einen großen Mehrwert für den Anwender mit sich bringt.

Image matting
Abbildung 1: Schematischer Ablauf des Personenfreistellens

Ein weiteres Ergebnis aus dem Projekt ist das sogenannte “Inpainting”, also das Auffüllen von verlorenen oder entfernten Bildinhalten. Dadurch können unerwünschte Elemente auf einem Bild “maskiert” und automatisch mit stimmigen Bildinhalten aufgefüllt werden, vgl. Abbildung 2. Das besondere: es werden sogar strukturelle Elemente erkannt und berücksichtigt, wie zum Beispiel Holzstrukturen, Kanten.

Inpainting
Abbildung 2: Beispiel zum “Inpainting”: Eingabe, Maskierung und Ausgabe.

Neben diesen Beispielen wurden aber auch eine Szenenerkennung, ein Zuschneiden des “wichtigsten” Inhaltes, Vorschläge für passende Filter, eine Extraktion der Farbpalette, sowie eine Hochskalierung der Bildauflösung umgesetzt.

Integriert wurden die Ergebnisse als Prototyp in dem von IMG.LY entwickelten und bereits erfolgreich vermarkteten PhotoEditor SDK. Zukünftig sollen diese den Status als Prototyp hinter sich lassen und als vollwertiges Add-on angeboten werden.

Anschrift & Kontakt

Marc Otten
Projektmanagement KIDesign
E-Mail: marc.otten@bo-i-t.de
Telefon: +49 234 45 979 727
Universitätsstraße 105
44789 Bochum
E-Mail senden