Künstliche Intelligenz in Smartphone-Kameras: Werbegag oder nützliches Feature?

Wozu wird KI überhaupt benötigt und worin liegt der Anwendernutzen?

Künstliche Intelligenz (KI) hält aktuell verstärkt Einzug in Aufnahmegeräte. Immer mehr Smartphone-Hersteller werben mit den Kamera-Funktionalitäten, die vor allem durch den Einsatz von KI die Aufnahmen verbessern sollen. Aber nicht nur das. Durch KI sollen Schärfeverläufe ebenso möglich sein, wie beispielsweise Langzeitbelichtungen aus der Hand, die zu sehenswerten Aufnahmen führen. In Werbeclips überzeugen die Ergebnisse, doch wie sieht es in der Praxis aus und wo liegen die Vorteile?

Aufnahme in der Dämmerung
Diese Aufnahme wurde mit dem Smartphone (Huawei P20Pro) in der Dämmerung aus der Hand gemacht. Trotz 3 Sekunden Belichtungszeit bei ISO 400 hat die eingebaute KI-unterstützte Nachbearbeitung die Aufnahme wieder relativ scharf gerechnet und es ist kaum Bildrauschen zu erkennen.

Smartphones sind den Kameras unterlegen – KI kann das ändern

Verglichen mit Fotoapparaten haben Smartphone-Kameras aufgrund der sehr kleinen Sensoren und Linsen viele Nachteile: Bei wenig Licht sind die Aufnahmen älterer Smartphone-Modelle kaum brauchbar, die Brennweiten sind häufig noch auf eine einzige beschränkt und von ernsthaften Teleaufnahmen ist nicht zu reden. Um diese Probleme auszugleichen, haben sich die Smartphone-Hersteller bisher mit Tricks beholfen, wie dem Einbau von weiteren Linsen sowie der massiven Nachbearbeitung der Aufnahmen per Software schon direkt in der Kamera.

Wozu wird KI überhaupt benötigt?

Und genau bei letzterer spielt nun KI eine immer größere Rolle. Ein konkretes Beispiel, an dem man den Einsatz gut nachvollziehen kann, ist der Teleobjektiv-Effekt von scharfem Vordergrund und unscharfem Hintergrund. Bei Fotoapparaten entsteht er rein physikalisch durch die Optik.

Aufnahme zeigt einen Schärfe-Verlauf
Die Aufnahme zeigt einen Schärfe-Verlauf wie er sonst für ein Teleobjektiv typisch ist. Sie wurde jedoch dem Weitwinkel eines Smartphones (Huawei P20 Pro) gemacht und der Effekt rein per KI erzeugt.

Ein Schärfeverlauf rein per Software ohne zusätzliche Linsen oder KI, war mit Smartphones bisher unmöglich. Denn die Software zur Verarbeitung der Fotos muss dazu das eigentliche Motiv und den Hintergrund trennen können. Die Voraussetzung dafür ist, dass die Programme den Bildinhalt „verstehen“. Sie müssen automatisch erkennen können, dass zum Beispiel Mensch und Hund zum Vordergrund gehören und scharf bleiben sollen, während Haus und Himmel dem Hintergrund zuzuordnen sind und in Unschärfe korrigiert werden sollen.

Was genau tut KI bei Kameras?

Genau an dieser Stelle hilft KI. Statt „KI“ würde man übrigens eigentlich besser von „maschinellem Lernen“ sprechen, denn die Computer werden nicht plötzlich wundersamer Weise schlau, sondern es ist nur mittlerweile gelungen, dass sie ähnlich wie ein Mensch aus Versuch und Irrtum lernen. Man zeigt den KI-Programmen – im Fachjargon „neuronale Netze“ genannt – zahllose Aufnahmen und bringt ihnen anhand dessen bei, wie Mensch, Hund und Himmel aussehen. Mit der Zeit können sie diese dann recht sicher identifizieren. Legt man einem solchen trainierten neuronalen Netz dann ein weiteres Bild vor, kann es dank der massiven Fortschritte in der automatisierten Auswertung von Bildern in den letzten Jahren recht schnell die Motiv-Bestandteile identifizieren (siehe Abbildung).

Ergebnisse von Microsofts Dienst Azure
Als Beispiel für Bilderkennung per Software hier die Ergebnisse von Microsofts Dienst „Azure“, der ähnlich arbeitet wie die Programme in Smartphones (deren interne Ergebnisse nicht einsehbar sind). Wer genau hinschaut sieht, dass noch nicht alles perfekt ist – was genau „eating“ (essend), „plate“ (Teller) und „laptop“ in der Bildbeschreibung zu suchen haben, lässt sich wohl am ehesten damit erklären, dass die KI heutzutage noch nicht perfekt ist.

Den Hintergrund in Unschärfe zu korrigieren, ist dann nur noch ein kleiner Schritt. Auch spezielle Sujets, wie etwa Text, können von der KI erkannt und gezielt optimiert werden, so dass dieser z.B. selbst bei wenig Licht besser lesbar ist. Und wenn die aufzunehmende Situation schon einmal erkannt wurde, kann man das Wissen auch für die Einstellungen nutzen: Nimmt eine solche „intelligente“ Kamera etwa einen sich schnell bewegenden Menschen wahr, kann sie den Sport-Modus aktivieren. Erkennt sie Objekte besonders nah vor der Linse, kann sie automatisch in einen „Makro-Modus“ wechseln. Und zur „blauen Stunde“ kann sie automatisch die richtige Belichtung für die Stimmung wählen, weil sie erkennt, dass man zu dieser Tageszeit tendenziell eher etwas unterbelichtet, um den Effekt zu verstärken.

Ausblick

Langfristig muss der Fotobegeisterte dank KI immer weniger selbst können und wissen, um zu guten Bildergebnissen zu gelangen. Vor allem für Einsteiger macht das die Fotografie noch einfacher, erhöht den Bilderfolg und damit den Spaß. Und selbst für Fortgeschrittene kann KI nützlich sein: Modernste Systeme lernen auch aus den Nutzer-Reaktionen auf die KI-Vorschläge und passen mit der Zeit entsprechend ihre automatischen Einstellungen an. Manche befürchten, dass KI aus Fotos einen visuellen Einheitsbrei macht.

Bildstabilisierung mit Hilfe von KI

Ein weiteres wichtiges Einsatzgebiet von KI bei Smartphones ist die Bildstabilisierung. Vor allem bei wenig Licht sind Smartphone-Kameras aufgrund der typischerweise wenig lichtstarken Linsen und der sehr kleinen Sensoren deutlich im Nachteil gegenhochwertigen Kompaktkameras, den Spiegelreflex- und kompakten Systemkameras. Smartphone-Aufnahmen verwackeln daher häufig oder rauschen extrem stark. Die Hersteller greifen deshalb auch hier mittlerweile auf verschiedenen Ebenen zur KI – und zwar nicht nur beim Foto, sondern auch beim Video: Huawei etwa bietet in seinem Modell P20 Pro einen 6-Achsen-Bildstabilisator für Video. Im Praxistest lieferte der selbst in der Dämmerung noch beeindruckend gute Clips. Beim Foto wird dank Bildstabilisator eine 6-sekündige Belichtungszeit ermöglicht. In beiden Fällen erfolgt anschließend eine massive Nachbearbeitung mit KI.

Blumen-Makroaufnahme
Diese Blumen-Makroaufnahme wurde mit dem Huawei P20 Pro in einem vergleichsweise dunklen Raum aus der – eher unruhigen – Hand gemacht. Trotz einer Belichtungszeit von 1/35 weist das Bild noch sehr viele Details auf und wirkt noch vergleichsweise scharf.

Lichtsetzung mit Hilfe von KI

Ein weiteres Einsatzgebiet von KI ist ein Eingriff in die Belichtungssituation. Ähnlich wie in einem 3-D-Modelling-Programm wird ein künstlicher Lichteinfall dazu gerechnet, um bestimmte typische Studio-Belichtungsaufbauten zu simulieren. Die Profisfotografen werden etwa vielleicht noch das Schmetterlings-/Butterfly-Licht kennen, bei dem typischerweise ein Gesicht von zwei Seiten mit leicht erhöhtem Leuchtenstandort erhellt wird. Dieses bietet zum Beispiel Huawei in seinem Spitzenmodell P20 Pro an. Hier verschwimmen die Grenzen von klassischer Fotografie, die die Wirklichkeit abbildet, mit der Kreation künstlicher Bildwelten, wie man sie etwa aus Animationsfilmen und Werbeaufnahmen kennt.

Portrait
Diese Aufnahme wurde mitnichten im Studio gemacht, sondern in einem Innenraum vor weißer (!) Wand. Erst die KI hat das Endergebnis direkt im Smartphone (Huawei P20Pro) gerechnet. Die Ausgangs-Belichtung war diffuses Mischlicht (Deckenlampe und Fenster). An den kleinen weißen Flecken im unteren Bereich der Haare kann man erkennen, dass die KI Schwierigkeiten hatte, die komplexe Silhouette freizustellen.

Wozu braucht man einen speziellen KI-Chip?

Nun könnte man denken, dass es ausreicht, einfach entsprechende Apps auf seinem Smartphone zu installieren und schon habe man die gewünschten Möglichkeiten der KI. Allerdings werben einige Smartphone-Hersteller mit speziellen KI-Chips, einer sogenannten „Neural Processing Unit“ (NPU) oder „Neural Engine“. Apple etwa verbaut in neuen Geräten den A11-Chip, dessen KI-Fähigkeiten für die Gesichtserkennung (FaceID) genutzt werden. Eine solche NPU ist speziell für die KI-Berechnungen da und erledigt diese schneller als der normale Prozessor (CPU) des Smartphones. Dazu kommt, dass sie das auch erheblich stromsparender tut. Vor allem, wenn Fotos live verarbeitet werden sollen und man unmittelbar das Ergebnis sehen möchte, bringen KI-Chips also deutliche Vorteile gegenüber Apps.

Wird KI auch noch für andere Funktionen als fürs Fotografieren gebraucht?

Neben dem Fotografieren und Filmen unterstützt die KI aber auch weitere Funktionen des Smartphones: Die bereits genannte FaceID-Funktionalität von Apple etwa nutzt die Gesichtserkennung zur Identifikation des Besitzers. Statt Passwort muss man dem Smartphone nur noch sein Gesicht zeigen. Neben optischen Anwendungen spielt KI auch im Audio-Bereich mittlerweile eine große Rolle, sei es in den bekannten Sprachassistenten wie Siri und Cortana oder auch in Übersetzungsanwendungen. Auch bei der Rauschunterdrückung für störende Nebengeräusche hilft KI. Und schließlich verspricht KI durch die permanente Überwachung des Nutzerverhaltens eine bessere Steuerung der Ressourcen und damit eine längere Akku-Laufzeit. Ob dieses Versprechen gehalten werden kann, muss die Praxis aber noch zeigen.

Fazit: Siegeszug ist vorprogrammiert

Zusammenfassend kann man sagen, dass KI in Smartphones derzeit sehr geschickt eingesetzt wird, um die Schwächen der miniaturisierten Hardware der Handys und mangelnde Kenntnisse der Benutzer auszugleichen. Im Extremfall wird ein Bild dabei fast schon künstlich erschaffen – die Wirklichkeit ist nur noch der Ausgangspunkt. Manchmal sieht man das auch noch deutlich und dann unterscheidet sich der Look sehr stark von unseren Sehgewohnheiten, die durch Aufnahmen von Fotoapparaten geprägt sind. Wir stehen erst am Anfang. KI wird eher früher als später auch Einzug in Kameras halten – das erste KI Blitzgerät wurde erst kürzlich vorgestellt. Auf der photokina, die im September wieder in Köln stattfindet, werden die neusten Trends im Foto- und Videobereich präsentiert und wir dürfen gespannt sein, was die Hersteller im Bereich KI mitbringen.

Aufgegriffen 07 / 2018

Kommentare

Es wurden noch keine Kommentare zu diesem Artikel abgegeben.

Artikel kommentieren
* Diese Felder müssen ausgefüllt werden