Die weltweite Vernetzung durch Social Media und andere Werkzeuge macht jeden Teilnehmer zum Content Creator. Mit steigender Bedeutung von visuellen Elementen steigt auch der Bedarf an professioneller Bildbearbeitung. Aber herkömmliche Bildbearbeitungs-Werkzeuge sind teuer und erfordern eine aufwändige Einarbeitung. Fortschrittliche Algorithmen und Künstliche Intelligenzsysteme können dies nun ändern.
Im Forschungsprojekt KIDesign entwickelt die Firma img.ly zusammen mit dem Bochumer Institut für Technologie (BO-I-T) neuartige, KI-gestützte Tools zur Bildbearbeitung und zur Generierung von hochwertigen visuellen Designs.
Das Projekt wird unterstützt von der Europäischen Union und dem Land Nordrhein-Westfalen.
img.ly ist ein Technologieanbieter für hochmoderne, kreative Bearbeitungslösungen. Ihr Flaggschiff-Produkt, der PhotorEditor SDK, bietet eine Lösung für diejenigen, die einen Online-Service oder eine App entwickeln und eine Fotobearbeitung in ihr Produkt einbinden möchten. img.ly strebt danach, Design für jeden verfügbar zu machen. Im Projekt übernimmt img.ly die algorithmische Entwicklung und technologische Leitung, sowie die prototypische Umsetzung in einem Fotoeditor.
Das Bochumer Institut für Technologie gGmbH (BO-I-T) ist ein Zusammenschluss regionaler Unternehmen, Hochschulen sowie der Bochum Wirtschaftsentwicklung, welcher die Nutzung wissenschaftlicher Potenziale für die regionale Wirtschaft zum Ziel hat. Eine der inhaltlichen Schwerpunkte ist die Entwicklung von datenbasierten Innovationen für unterschiedlichste Anwendungsbereiche. Im Projekt kümmert sich das BO-I-T vor allem um den Aufbau und die Weiterentwicklung der Trainingsdatenbank und unterstützt bei der algorithmischen Entwicklung.
„Jeder“ betreibt heute Bildbearbeitung, sei es in sozialen Netzwerken, Messengern, beim Erstellen von Flyern oder Postern, oder tatsächlich im Rahmen eines Hobbies. Die Ansprüche an visuelle Inhalte sind dabei stark gestiegen.
Das Problem dabei: Professionelle Bildbearbeitung erfordert viel Erfahrung und die entsprechenden Software-Tools haben eine hohe Einstiegshürde. Oft sind auch mit dem kreativen Prozess viele monotone Arbeiten wie beispielsweise das Freistellen von Objekten notwendig. In diesem Prozess scheint gerade für unerfahrene Nutzer Unterstützung notwendig und sinnvoll. Bisher existieren aber nur wenige intelligente Assistenzsysteme; die Werkzeuge, die am ehesten als intelligent zu bezeichnen wären, sind das bekannte „Zauberstab“-Werkzeug oder automatische Bildoptimierungen in Fotosoftware.
Tiefe künstliche neuronale Netze, die das sogenannte Deep Learning ermöglichen, haben vor einigen Jahren den Bereich der Bildanalyse revolutioniert und bieten in Kombination mit steigenden Rechenleistungen das Potenzial für deutlich bessere Unterstützungs-Systeme: Von der inhaltlichen und ästhetischen Bildanalyse mit konkreten Verbesserungsvorschlägen für den Nutzer, über automatische Bildbearbeitung bis hin zu automatisch neu generierten Inhalten sind viele Werkzeuge denkbar und werden im Projekt erforscht.
Um diese Systeme für die genannten Aufgaben zu entwickeln, sind eine große Menge an geeigneten Trainingsaten für unterschiedlichste Fragestellungen notwendig. Nach dem Aufbau der entsprechenden Datenbanken können die Systeme trainiert und optimiert werden. Ein weiterer Aspekt im Projekt die die Transferierbarkeit der KI-Systeme auf unterschiedliche Plattformen wie mobile Endgeräte mit entsprechenden Hardware-Restriktionen.
Das im Rahmen des Leitmarktwettbewerbs CreateMedia.NRW von der EU und NRW geförderte Projekt ist im Februar 2019 gestartet und läuft zwei Jahre.
(Veröffentlicht am 12.07.2021)
Wer Bilder bearbeitet, hat neben dem interessanten kreativen Prozess oft auch zeitintensive, repetitive Aufgaben zu erledigen: Personen auf Bildern ausschneiden und auf neue Hintergründe platzieren, störende Objekte aus Bildern entfernen und die Lücken mit passendem Inhalt füllen oder viele Bilder auf das wesentliche zuschneiden. Mittels künstlicher Intelligenz können diese Aufgaben weitgehend automatisiert werden, was mehr Raum für Kreativität lässt.
In dem vom NRW.EFRE geförderten Projekt KI Design, hat sich das Projektkonsortium bestehend aus der Firma IMG.LY und dem Bochumer Institut für Technologie in den letzten zwei Jahren damit beschäftigt KI-basierte Algorithmen zu entwickeln, die dem Anwender bei eben dieser Aufgabenstellung zur Seite stehen. Das Ziel: einfacher vielfältigen und ästhetisch ansprechenden Content zu erzeugen. Das Projekt gliederte sich in mehrere Themenbereiche von der Analysen der Bildinhalte, über Vorschläge für geeignete Bildbearbeitungswerkzeuge, bis hin zur Generierung von neuem Bildinhalt. Alles auf Basis von KI-Algorithmen. Das Ergebnis ist ein umfangreiches prototypisches “Tool-Set”, das einige der Fragestellungen in der Bildbearbeitung teils durch einen einfachen Klick umsetzt.
Besonders beeindruckend ist hierbei das automatische Freistellen von Personen oder Objekten geworden. Eine Aufgabe, die sonst viel Zeit in Anspruch nimmt, da die “Schnittkanten” von Hand “nachgezeichnet” und passend überblendet werden müssen. Der entwickelte Algorithmus arbeitet hier in zwei Schritten. Zunächst wird das Bild, vgl. Abbildung 1, in drei Bereiche eingeteilt (segmentiert), sprich dem Hintergrund, einem Übergangsbereich und dem Vordergrund. In dem zweiten Schritt werden dann die detaillierten Kanten des Übergangsbereichs freigestellt. Dabei stellte unter anderem das automatische Freistellen von Haaren eine besondere Herausforderung dar, deren Anwendungsfall aber auch gleichzeitig einen großen Mehrwert für den Anwender mit sich bringt.
Ein weiteres Ergebnis aus dem Projekt ist das sogenannte “Inpainting”, also das Auffüllen von verlorenen oder entfernten Bildinhalten. Dadurch können unerwünschte Elemente auf einem Bild “maskiert” und automatisch mit stimmigen Bildinhalten aufgefüllt werden, vgl. Abbildung 2. Das besondere: es werden sogar strukturelle Elemente erkannt und berücksichtigt, wie zum Beispiel Holzstrukturen, Kanten.
Neben diesen Beispielen wurden aber auch eine Szenenerkennung, ein Zuschneiden des “wichtigsten” Inhaltes, Vorschläge für passende Filter, eine Extraktion der Farbpalette, sowie eine Hochskalierung der Bildauflösung umgesetzt.
Integriert wurden die Ergebnisse als Prototyp in dem von IMG.LY entwickelten und bereits erfolgreich vermarkteten PhotoEditor SDK. Zukünftig sollen diese den Status als Prototyp hinter sich lassen und als vollwertiges Add-on angeboten werden.