ProfiFoto-Kameratests basieren unter anderem auf Messwerten, die im Auftrag der Technical Image Press Association, TIPA, bislang von Image Engineering, IE, ermittelt wurden. Nachdem IE diese Tests eingestellt hat, liefert jetzt Testlab als neuer TIPA-Partner die Analysen auf Basis des bewährten Testverfahrens, aber in modifizierter Form.
Testlab ist ein in Deutschland ansässiges Institut für die unabhängige Bewertung von Consumer Electronics, also unter anderem auch der Bildqualität von Kameras. Die Testergebnisse liefern detaillierte Informationen über Auflösung, Farbwiedergabe, ISO-Empfindlichkeit und Artefakte. Das zugrunde liegende Bewertungsschema von Image Engineering wird von Testlab dabei fortgeführt. Die verwendeten Verfahren entsprechen nach wie vor den ISO-Normen für Kameratests. Neben objektiven Messungen fließen subjektive Beurteilungen des Kamera-Handlings und die Bewertung der technischen Features einer Kamera in die Testurteile ein.
Wichtig zu wissen: Testlab verwendet einen neuen Aufbau für die Tests. Dies hat zur Folge, dass sich der Umfang der Messungen und deren Wertung geändert hat. Der erste Test nach diesem modifizierten Schema ist der der Nikon Z9 in dieser Ausgabe, während die Tests der Canon EOS R3 und der Sony Alpha 7 IV noch nach dem bisherigen Verfahren erfolgten. Die Testergebnisse sind daher nur bedingt vergleichbar, denn Testlab führt keine Geschwindigkeitstests oder OECF-Messungen (einschließlich des Dynamikbereichs) durch. Infolgedessen wurde die Gewichtung der Bewertungskriterien in der aktuellen Wertung angepasst. Die Bewertung der Bildqualität basiert abgesehen davon nach wie vor auf objektiven Messungen unter kontrollierten Bedingungen.
Testverfahren
Testlab führt seine Messungen in Räumen durch, die speziell für die Prüfung von Digitalkameras und Objektiven eingerichtet wurden. In diesen Räumen wurden äußere Faktoren, die die Ergebnisse der Tests beeinflussen könnten, reduziert oder kontrolliert. So sind zum Beispiel Wände schwarz gestrichen, um das Risiko zu verringern, dass reflektiertes Licht die Testergebnisse beeinflusst. In dieser dunklen Umgebung werden die Testcharts und -motive mit künstlichem Licht beleuchtet. Alle verwendeten Geräte, einschließlich der Beleuchtung und der Testcharts, werden regelmäßig überprüft, um sicherzustellen, dass sie eine vergleichbare Basis liefern.
Die Testbilder werden vom Stativ fotografiert, das wiederum auf Schienen steht. Auf diese Weise wird vermieden, dass die Ergebnisse durch Bewegungsunschärfe beeinträch-
tigt werden.
Die Testkameras werden von den Herstellern zur Verfügung gestellt. Jedes Gerät wird vor Beginn der Tests geprüft. Wenn Zweifel daran bestehen, dass die Hardware oder Firmware der Serienfertigung sprechen, lehnt Testlab die Kamera ab und bittet den Hersteller um ein neues Gerät. Sollten die Testergebnisse auf Schäden an der Kamera hinweisen, wird das Gerät ebenfalls reklamiert. Hersteller haben vor der Veröffentlichung keinen Zugang zu den Ergebnissen oder die Möglichkeit, diese zu kommentieren oder zu beeinflussen.
Kamera-Einstellungen
Sobald eine Kamera bei Testlab eintrifft, werden alle Einstellungen auf „Werkseinstellung“ gesetzt und nur dann geändert, wenn dies für den Test erforderlich ist.
Die gewählte Einstellung wird dokumentiert, um die Konsistenz zukünftiger Tests von Kameras mit ähnlichen Funktionen zu gewährleisten. Die Bildqualitätstests im Fotomodus werden im JPEG-Modus mit der besten Qualität durchgeführt.
Für die Tests verwendete Objektive entsprechen der besten, im jeweiligen System verfügbaren Qualität. Für die verschiedenen Kameragehäuse der einzelnen Hersteller wird immer dasselbe Objektiv verwendet, was zur Vergleichbarkeit der Ergebnisse beiträgt.
Bedingungen
Einige Aspekte der Bildqualität ändern sich je nachdem, wie ein menschlicher Betrachter das Bild sieht. Ein und dasselbe Bild kann unterschiedlich beurteilt werden, wenn es etwa als kleiner Druck oder auf eine große Leinwand projiziert betrachtet wird. Einige Aspekte, die sich auf die wahrgenommene Qualität auswirken, sind nur bei der Betrachtung in großem Maßstab sichtbar. Um diesen Unterschieden Rechnung zu tragen, werden Bilder mit Hilfe von Modellen analysiert, die der menschlichen Sehgewohnheit Rechnung tragen. Diese Modelle wurden als Algorithmen in die Analysesoftware integriert, die für die objektive Prüfung von Kameras entwickelt wurde.
Testergebnis
Die Bildqualitätswerte werden sowohl für Fotos als auch für Videos von einer multifunktionalen Testtabelle (TE42-LL) abgeleitet, die aktualisiert wurde, um die Entwicklung der Digitaltechnik zu berücksichtigen. Das neue Diagramm entspricht der ISO 19093. Eine wesentliche Verbesserung dieses Diagramms besteht darin, dass es den Einfluss des verwendeten Objektivs abschwächt.
Das Testchart dient der objektiven Messung. Bei sieben ISO-Empfindlichkeiten (niedrigste ISO-Empfindlichkeit – in der Regel ISO 100, 400, 800, 1600, 3200, 6400, 12800) werden jeweils vier Bilder aufgenommen und dann die besten für die weitere Analyse verwendet, also die mit der höchsten Auflösung in der Bildmitte.
Die Belichtung kann Ergebnisse beeinflussen, weshalb die Tests nach einem Standardprotokoll durchgeführt werden, das von den geltenden ISO-Normen abgeleitet und von Testlab festgelegt worden ist.
Die Bildqualität wird für Fotos und Videos separat gemessen. Alle Messungen erfolgen nach den so genannten „Semi-Referenz-Methoden“ und basieren, soweit möglich, auf internationalen Normen.
Die Semi-Referenzmethode vergleicht die Realität mit dem aufgenommenen Bild: Bestimmte Aspekte der fotografierten Originalszene werden mit dem aufgenommenen Bild verglichen. So lässt sich beispielsweise das Rauschen beurteilen, indem das Foto einer einheitlichen grauen Fläche analysiert wird.
Bei allen Messungen der Bildqualität handelt es sich um „Systemtests“, was bedeutet, dass alle Teile der Kamera einbezogen werden die Ergebnisse potenziell beeinflussen können. So können Objektiv, Sensor und Signalverarbeitung jeweils einen Einfluss haben und müssen in die Prüfung einbezogen werden. So ändert sich beispielsweise die Leistung des Objektivs bei unterschiedlichen Lichtverhältnissen nicht, aber das Signal wird anders verarbeitet. Daher kann sich die Auflösung der Kamera je nach gewählter ISO-Empfindlichkeit aufgrund von Unterschieden in der Verarbeitung ändern.
Deshalb werden alle Messungen bei verschiedenen ISO-Empfindlichkeitseinstellungen durchgeführt, da eine höhere ISO-Empfindlichkeit weniger Licht pro Pixel bedeutet, was sich auf die Bildqualität auswirkt.
Auflösung
Auflösung und Pixelzahl sind nicht dasselbe, obwohl viele fälschlicherweise annehmen, dass es sich um identische Werte handelt. Während die Pixelzahl (oder theoretische Auflösung) einfach die Anzahl der Pixel auf dem Sensor angibt, ist die Auflösung der Grad der Detailgenauigkeit, den eine Kamera wiedergeben kann. Eine Kamera mit doppelt so vielen Pixeln hat nicht unbedingt die doppelte Auflösung.
Ursprünglich wurde die Auflösung einer Digitalkamera durch den so genannten Ortsfrequenzgang (SFR) gekennzeichnet. Heute sind Digitalkameras jedoch so konzipiert, dass sie die aufgenommenen Bilder intern so verarbeiten, dass sie den Kontrast in Bereichen mit hohem Detailgrad (z. B. Laub) oder kontrastreichen Kanten (z. B. geschriebener Text) erhöhen, nicht aber in Bereichen, die nur wenige Details aufweisen (z. B. Himmel).
Die Auflösung wird daher mit einem komplexen Testmuster gemessen, dem so genannten sinusförmigen Siemensstern (beschrieben in der internationalen Norm ISO12233:2014). Die zur Beschreibung der Auflösungsmessungen verwendete Einheit sind die Zeilenpaare pro Bildhöhe (LP/PH). Wenn eine Kamera eine Grenzauflösung von 1.500 LP/PH hat, bedeutet dies, dass sie ein Muster, das 1.500 schwarzen und 1.500 weißen Linien entspricht, die innerhalb der Bildhöhe nebeneinander angeordnet sind, unterscheiden und zumindest einen minimalen Kontrast abbilden kann.
Texturverlust
Heutige Digitalkameras wenden im Allgemeinen eine Rauschunterdrückung an, um die Bildqualität zu verbessern. Bei diesem Verfahren erkennt ein Algorithmus die Bereiche des Bildes, die viel Rauschen enthalten, und glättet diese. Allerdings ist es möglich, dass das, was vom Algorithmus als Rauschen erkannt wird, in Wirklichkeit ein wesentlicher Bestandteil des Bildes ist. Das bedeutet, dass feine Details mit geringem Kontrast als Rauschen eingestuft und somit automatisch entfernt werden können. Dieser „Texturverlust“ ist nicht leicht zu messen, obwohl er ein sehr wichtiges Kriterium für die Bildqualität, insbesondere bei schlechten Lichtverhältnissen ist.
Bei Testlab wird der Texturverlust anhand zweier Muster aus Kreisen gemessen. Der Radius, die Position, die Farbe und die Intensität jedes Kreises sind zufällig. Das Bild wird dann mit einer Methode namens „DeadLeaves cross“ analysiert, die von Image Engineering entwickelt wurde.
Schärfung
Testlab verwendet die Messung einer schrägen Schwarzweiß-Kante, um die Schärfung zu charakterisieren, die eine Kamera anwendet. Die Kantenmessung wurde in der Vergangenheit zur Messung der Auflösung verwendet, aber das Ergebnis kann aufgrund der kamerainternen Schärfung fehlerhaft sein. Kontrastreiche Kanten sind für eine Kamera leicht zu erkennen und zu verbessern, so dass eine Messung der Auflösung anhand dieser kontrastreichen Kanten möglicherweise nicht wiedergibt, ob das Bild insgesamt gut aussieht. Eine kontrastreiche Kante ist jedoch nützlich, um die Schärfung zu beurteilen. Testlab verwendet die in ISO12232:2014 beschriebene Kantenspreizungsfunktion (ESF), um das Über- und Unterschwingen zu berechnen, das die Artefakte der Schärfung widerspiegelt. Im Allgemeinen ist es nicht vorteilhaft, keine Schärfung vorzunehmen, da das Bild dann weniger scharf erscheint, während eine zu starke Schärfung zu sichtbaren und störenden Artefakten führt.
Visuelles Rauschen
Testlab verwendet den TE 42 LL zur Messung des visuellen Rauschens. Die Stärke des Rauschens in einem Bild wird häufig als das Verhältnis von Signal zu Rauschen (SNR) gemessen. Obwohl ein höheres SNR technisch gesehen besser ist, ist es möglich, dass zwei Kameras mit demselben SNR für einen Betrachter unterschiedlich viel Rauschen erzeugen. Das Problem ist, dass das SNR die menschliche Wahrnehmung und deren Bedingungen nicht berücksichtigt.
Testlab verwendet zur Analyse des visuellen Rauschens stattdessen ein Modell der Wahrnehmung von Raumfrequenzen durch einen normalen menschlichen Betrachter. Mit diesem Modell wird das Rauschen, das eine Kamera zu einem Bild hinzufügt, vor der Analyse gewichtet. Auf diese Weise haben Rauschanteile, die für einen menschlichen Betrachter kaum sichtbar sind, nur einen geringen Einfluss auf das Ergebnis. Dagegen werden Rauschanteile, die für den Menschen deutlich sichtbar sind, stärker gewichtet. Die Metrik des visuellen Rauschens hängt also von der Betrachtungsbedingung ab.
Farbe
Viele Tester machen den Fehler, zu messen, wie gut eine Kamera Farben wiedergibt. Dabei ist eine Digitalkamera nicht dafür gemacht, Farben genau wiederzugeben, sondern um angenehme Farben zu liefern, was die Beurteilung der Farbwiedergabe sehr schwierig macht.
Die Farbe selbst ist ein subjektiver Eindruck des Betrachters, der vom Farbton und der Sättigung, der Umgebung und den persönlichen Vorlieben abhängt. Daher konzentriert sich die Farbbeurteilung bei Testlab darauf, alle wesentlichen Probleme bei der Farbwiedergabe aufzudecken.
Um die Farbwiedergabe zu messen, verwendet Testlab Farbfelder innerhalb des TE42-LL-Testcharts. Die Farben in diesen Feldern wurden in Anlehnung an das bekannte X-Rite ColorChecker SG-Target ausgewählt. Jedes der 96 Farbfelder wird einzeln mit einem kalibrierten Spektralphotometer gemessen. Die Referenzdaten werden der Analysesoftware zusammen mit dem zu prüfenden Bild zur Verfügung gestellt. Alternativ zum RGB-Farbraum (dem allgemein verwendeten sRGB) können die RGB-Daten in den CIE-LAB-Farb-raum umgewandelt werden. Auf der Grundlage des LAB-Farbraums berechnet Testlab Farbfehler und Unterschiede in Helligkeit, Sättigung und Farbton.
Video
Zur Beurteilung der Videoqualität wird eine fünfsekündige Videoaufnahme des TE42-LL-Testcharts unter hellem Licht (5000 Lux) bei zwei ISO-Einstellungen (ISO100 und ISO1600) gemacht. Für jeden Test werden von der Analysesoftware fünf Einzelbilder aus der Aufnahme „gegriffen“ und hinsichtlich der Auflösung ver-glichen. Das Bild mit der besten Auflösung aus jedem Video wird für die weitere Analyse verwendet. Die erfassten Videobilder werden, wie für Fotos beschrieben, hinsichtlich Auflösung, Texturverlust, Schärfe, visuellem Rauschen und Farbwiedergabe bewertet.
