ProfiFoto nutzt regelmäßig Ergebnisse der von Image Engineering im Auftrag der TIPA durchgeführten Labortests zur Beurteilung relevanter Kameras. Aufgrund eines fehlerhaften Updates der Bewertungssoftware schneiden zwei der in den letzten Ausgaben von ProfiFoto getesteten Kameras tatsächlich deutlich besser ab, als veröffentlicht.
Von der fehlerhaften Berechnung der Testnoten betroffen waren unter anderem die von ProfiFoto in Ausgabe 1-2/19 und 4/19 veröffentlichten Tests der Fujifilm X-T3 und der Olympus OM-D E-M1X.
Image Engineering ist ein unabhängiges Testlabor für digitale Bildgebungssysteme, das seit 2017 den Mitgliedsmagazinen der Technical Image Press Association, TIPA, Testdaten für zahlreiche Kameras liefert. Alle Kameratests werden so durchgeführt, dass eine Vielzahl von objektiven Messungen mit genau definierten Prüfverfahren und kalibrierter Hardware durchgeführt werden.
Ein von Image Engineering und der TIPA gemeinsam entwickeltes Bewertungsschema, das auf den numerischen, objektiven Testergebnissen basiert, ergibt Punkte mit Einzelwerten für die Bildqualität, Geschwindigkeit, Bedienung und Ausstattung jeder Kamera sowie eine Gesamtnote. Basis für die Bewertung sind komplexe Algorithmen, die die Punktzahlen aus einer Reihe von unterschiedlich gewichteten Testergebnissen berechnen.
Bei einigen der in den letzten Monaten getesteten Kameras erschienen die errechneten Testergebnisse jedoch nicht plausibel, da die zugrunde liegenden Messergebnisse deutlich bessere Ergebnisse hätten erwarten lassen. Entsprechende Nachfragen der TIPA führten bei Image Engineering zu einer umfassenden Überprüfung der Tests, die ergab, dass einige Kameras tatsächlich weniger Punkte erhielten, als sie verdienten.
Das Problem ergab sich aus einem Update der Berechnungssoftware, die von Image Engineering verwendet wurde. Betroffen waren Kameras, die in den letzten Monaten evaluiert wurden und die eine niedrigste ISO aufweisen, die nicht ISO 100 ist und/oder eine ISO-Einstellung von 12500 und nicht mehr haben. Alle anderen getesteten Kameras waren nicht betroffen.
Da die niedrigste ISO Empfindlichkeit bei der Berechnung des TIPA-Scores relativ stark gewichtet wird, ergab sich in den genannten Fällen eine Differenz von etwa zehn Prozentpunkten im Gesamtergebnis. Dieser Fehler betraf unter anderem die in ProfiFoto veröffentlichten Testergebnisse für die Fujifilm X-T3 und die Olympus OM-D E-M1X.
Die Ergebnisse für diese Kameras wurden neu berechnet: Statt 60 Punkte im Gesamtergebnis erzielt die Fujifilm X-T3 tatsächlich 70 Punkte, was einer Gesamtnote Exzellent entspricht. Die Olympus
OM-D E-M1X erzielt in der Gesamtnote tatsächlich 73 Punkte mit ebenfalls der Gesamtnote Exzellent.
Um Probleme dieser Art in Zukunft auszuschließen, wurde die automatisierte Suche nach Score-Komponenten durch Image Engineering neu gestaltet, um der Vielfalt im ISO-Bereich und den verwendeten ISO-Empfindlichkeiten gerecht zu werden. Die Qualitätssicherung der Testprozesse bei Image Engineering wurde erweitert und führt nun zu weiteren Prüfungen der Scoring-Berechnungstabellen.
Uwe Artmann von Image Engineering: „Wir bedauern, dass einige Kameras niedriger bewertet wurden, als sie es verdient haben, und dass der Fehler diverse Kameramodelle betraf, bevor er identifiziert und behoben wurde. Wir haben Maßnahmen implementiert, um sicherzustellen, dass sich ein solcher Ausfall des Scoring-Systems nicht wiederholt. Die Erkenntnisse aus der Lösung dieses Problems werden in das System der kontinuierlichen Verbesserung von Image Engineering einfließen.“
