Redakcja Optyczne.pl dostaje całkiem sporo listów z pytaniami w stylu: "A na Photozone ten obiektyw wypadł znacznie gorzej niż u Was, dlaczego?" albo "Dpreview uzyskało znacznie większą wartość w swoim teście tego aparatu niż Wy, dlaczego?". Niezmiernie trudno, w sposób wyczerpujący i kompetentny, odpowiadać na takie pytania z jednej prostej przyczyny. Trudno jest omawiać wyniki innego zespołu nie uczestnicząc bezpośrednio w trakcie jego testu, nie widząc zastosowanych metod i nie wiedząc jak opracowywano i/czy uśredniano wyniki.

Problem ten był bezpośrednią przyczyną podjęcia decyzji o napisaniu cyklu artykułów na temat metodyki testów aparatów i obiektywów oraz o tym jak założenia, metody i warunki testowe wpływają na prezentowane potem wyniki. Dzięki temu przekonamy się, że z pozoru te same metody, mogą doprowadzić nas do diametralnie różnych rezultatów. W zasadzie będzie to silnym argumentem za tym, aby nie robić porównań wyników uzyskanych przez różne portale internetowe. Porównania takie są zasadne pomiędzy aparatami czy obiektywami przetestowanymi przez jeden zespół i przy zastosowaniu takich samych metod. Mówiąc prościej, jeśli chcemy porównywać do siebie wyniki testu Canona 55-200 mm i Sigmy 55-200 mm, to porównajmy wyniki testów z Optyczne.pl, a nie testu z Optyczne do testu z Photozone.

----- R E K L A M A -----

OFERTA BLACK FRIDAY

Leica Q2 Monochrom (3252 zdj.)

19999 zł 17999 zł

Sony A7R IV (15263 zdj.)

8299 zł 7054 zł

Fujifilm GFX 100S (443 zdjęcia)

13999 zł 12599 zł

Canon 28-70/2 RF L USM

10999 zł 9899 zł

Na pierwszy ogień poszedł problem pomiaru prędkości pracy aparatów w trybie zdjęć seryjnych.

Do testu wybraliśmy dwie lustrzanki cyfrowe - Canona 20D oraz Sony Alfę 100. Wybór nie był przypadkowy, bo chcieliśmy aby instrumenty pokrywały trochę inny zakres własności, a dodatkowo pokazywały ciekawe wyniki. Własności są różne, bo przede wszystkim aparaty różnią się wielkością matrycy, a według specyfikacji, 20D ma pracować w tempie 5 kl/s, a A100 w tempie 3 kl/s. Wyniki są ciekawe, ale o tym za chwilę. Najpierw kilka słów o procedurze testowej.

Do testu, w obu przypadkach, użyliśmy karty CF SanDisc Extreme III o pojemności 1 GB. Przed każdą serią testową karta była formatowana na tej lustrzance, na której akurat pracowaliśmy. Aparat był umieszczony na statywie, wyzwalany z wężyka spustowego, wyposażony w dobrej klasy obiektyw stałoogniskowy i pracujący w manualnym trybie ustawiania ostrości. Zastosowaliśmy czas ekspozycji o długości 1/1000 sekundy. Wszelkiego rodzaju redukcje szumów czy stabilizacja matrycy były wyłączone.

Ponieważ wielkość zapisywanego przez aparat pliku JPG czy RAW zależy od tego co sfotografowaliśmy, przygotowaliśmy dwa typy scenki i dwa tryby pracy, tak aby uzyskiwane pliki miały najmniejszy i największy możliwy rozmiar. W pierwszym przypadku używaliśmy czułości ISO 100 i fotografowaliśmy stoper umieszczony na w miarę jednolitym czarnym tle. W drugim przypadku zmieniliśmy tło na kolorowe i "pstrokate", a czułość zwiększyliśmy do ISO 1600. Poniższy rysunek pokazuje wygląd fotografowanej scenki, w dwóch omawianych wyżej przypadkach.

Dla obu aparatów i dla obu typów scenki wykonywaliśmy serię zdjęć w RAW i w JPGu o najlepszej jakości oraz przy standardowym dla danego aparatu wyostrzaniu.

Zajmijmy się najpierw tym, co udało się uzyskać dla plików JPG.

Alfa 100, fotografując scenkę z jednolitym tłem i przy ISO 100, w ciągu 30 sekund wykonała aż 86 zdjęć o średnim rozmiarze 940 kB. Poniższy wykres pokazuje rozkład czasowy tych ekspozycji.

Widać, że aparat pracował dość równo i średnia dla całego ciągu 30 sekund wyniosła 2.87 kl/s. Dla ciągu pierwszych 5 sekund wyniosła ona 2.80 kl/s, a dla pierwszych 10 sekund 2.90 kl/s. Widać, że uzyskujemy tu wyniki ocierające się o podawaną w specyfikacji wartość 3 kl/s, która, jeśli chcemy być uczciwi, jest utrzymywana na samym początku pracy w trybie seryjnym, bo w ciągu pierwszej sekundy A100 wykonuje dokładnie trzy ekspozycje.

Wiemy jednak, że w tej sytuacji aparat miał naprawdę łatwe zadanie, bo 940 kB na plik to bardzo mało. Przy zmianie scenki na "pstrokatą" i podwyższeniu czułości do ISO 1600 poprzeczka idzie znacznie wyżej, bo średnia wielkość pliku wynosi tutaj już 4.11 MB.

Tym ciekawiej prezentuje się uzyskany wynik, który jest pod każdym względem identyczny jak poprzednio! Alfa znów wykonała 86 zdjęć z takimi samymi wynikami dla pierwszej sekundy oraz pięciu, dziesięciu i piętnastu sekund (rysunek poniżej).

Widać więc, że ograniczeniem trybu seryjnego w Alfie nie jest wielkość bufora czy transfer do niego lub z niego na kartę. Ograniczeń trzeba zaś szukać raczej w mechanice na przykład migawki.

Jak sytuacja wygląda u Canona 20D? Dla jednolitej scenki i ISO 100 aparat generował pliki JPG o średniej wielkości 1.33 MB. Widać tutaj od razu mniejszą lub mniej wydajną kompresję, bo pomimo mniejszej od Alfy matrycy, pliki z 20D są większe. Canon wykonał jednak dość imponującą serię 96 ekspozycji, których rozkład jest zaprezentowany poniżej.

Widać zupełnie inne zachowanie niż u Alfy. Przede wszystkim średnia dla całych 30 sekund wynosi 3.2 kl/s czyli bardzo daleko od deklarowanych przez producenta 5 kl/s. Deklarowana wartość jest za to osiągana dla pierwszej sekundy, w której aparat wykonał 5 klatek oraz dla całych pierwszych pięciu oraz nawet dziesięciu sekund. Po upływie tego czasu (a w zasadzie 12 sekund), bufor aparatu ulega wypełnieniu i tempo spada - średnia dla 15 sekund wynosi już tylko 4.4 kl/s, by z czasem dalej spadać do wspomnianych wcześniej 3.2 kl/s dla interwału 30 sekund.

Jeśli bufor wypełniał się dla małych plików, łatwo przewidzieć co stanie się dla "pstrokatej" scenki, w przypadku której średnia wielkość pliku JPG wynosiła 3.16 MB (rysunek poniżej).

Tutaj aparat wykonał 58 ekspozycji, "zapchał" się znacznie szybciej, a deklarowane 5 kl/s jest utrzymywane tylko w ciągu pierwszych czterech sekund. Gdy weźmiemy pod uwagę 5 sekund, tempo pracy seryjnej spada do 4.6 kl/s, dla dziesięciu sekund do 3 kl/s, dla piętnastu do tylko 2.5 kl/s, a dla całego interwału półminutowego wynosi 1.93 kl/s.

Przejdźmy teraz do plików RAW, co pozwoli sprawdzić nam zarówno tempo pracy aparatów w przypadku tego typu plików oraz to jak wydajna jest ich kompresja bezstratna.

Przy ubogiej scence i ISO 100, średnia wielkość pliku RAW zapisywanego przez Sony Alfę 100 wyniosła 4.91 MB. Ponieważ jest to wielkość podobna do JPGa przy "pstrokatej" scence, wyniki też niewiele się od siebie różnią co widać na poniższym obrazku.

W sumie, w pół minuty, Alfa wykonała 84 zdjęcia, co daje średnią 2.8 kl/s. W zasadzie taki sam wynik uzyskuje się dla pierwszych 5, 10 i 15 sekund, więc znów praca jest bardzo równa i znów w ciągu pierwszej sekundy Alfa robi trzy ekspozycje, co pozwala producentom mówić o maksymalnej prędkości 3 kl/s. Schody zaczynają się dopiero przy "pstrokatej" scence i ISO 1600, gdzie bogactwo kolorów i szum generowany przez aparat nie pozwalają na wydajną kompresję RAWa i rośnie on aż do 14.25 MB. Tutaj Alfa wreszcie bardzo wyraźnie się "zapycha", co widać na poniższym rysunku.

W sumie aparat wykonał tylko 35 zdjęć, co dla interwału półminutowego, daje niezbyt imponującą prędkość 1.17 kl/s. Spowalnianie pracy widać po analizie coraz dłuższych interwałów. W pierwszej i drugiej sekundzie mamy jeszcze deklarowane 3 zdjęcia, ale już w pierwszych 5 sekundach notujemy drastyczny spadek do tempa 1.8 kl/s, który powiększa się do 1.4 kl/s dla pierwszych 10 sekund i 1.27 kl/s dla 15 sekund.

Jeśli 20D miał problemy z tempem zapisu JPGów, nie oczekujemy, że polepszy swoją sytuację dla RAWów. Faktycznie tak nie było, ale wyniki, szczególnie jeśli porównamy je do Alfy, są niezmiernie ciekawe.

W przypadku ubogiej scenki i ISO 100 wielkość pliku RAW wyniosła 6.33 MB, co jest wartością wyraźnie większą niż u posiadającej większą matrycę Alfy. Duży rozmiar pliku nie mógł nie odbić się na prędkości trybu seryjnego i, jak widać z rysunku poniżej, spowodował, że w ciągu 30 sekund Canon zarejestrował tylko 29 ujęć.

Uzyskana dla całego odcinka średnia wynosi więc tylko 0.97 kl/s. Choć uczciwie trzeba przyznać, że znów dla pierwszej sekundy mamy 5 klatek, po czym aparat gwałtownie "zapycha" bufor i spowalnia pracę, by w ciągu pierwszych 5 sekund osiągnąć tempo tylko 1.8 kl/s. Spada ono do 1.4 kl/s dla 10 sekund i do 1.2 kl/s dla 15 sekund.

W przypadku przejścia z jednej scenki do drugiej, rozmiar pliku RAW w Alfie rósł aż o czynnik ponad 3. Canon 20D znów nas zaskakuje, bo w jego przypadku notujemy wzrost tylko o czynnik niespełna 1.5. W przypadku scenki "pstrokatej" i ISO 1600 plik RAW u 20D "waży" tylko 9.39 MB. Tak ciekawy wynik można, na pewno w części, wytłumaczyć bardzo różnym poziomem szumów dla ISO 1600 notowanym w obu aparatach. Alfa szumi mocno, więc kompresować taki plik trudniej, niż w przypadku mało szumiącego 20D.

Jak widać z poniższego rysunku, w najtrudniejszej kombinacji, Canon 20D w ciągu pół minuty, rejestruje tylko 24 klatki, co daje kiepską średnią 0.8 kl/s. Jednak znów, jeśli weźmiemy tylko pierwszą sekundę, aparat potrafi w jej trakcie wykonać deklarowane 5 ekspozycji. Zapychanie bufora zastępuje jednak zaraz potem, bo już dla pierwszych 5 sekund prędkość serii spada do 1.8 kl/s. Potem jest jeszcze gorzej i dla 10 sekund tempo maleje do 1.2 kl/s, a dla 15 sekund do 1.0 kl/s.

Z naszego mini-testu wynika kilka ciekawych faktów. Przede wszystkim tempo pracy w trybie seryjnym silnie zależy od tego jakiego interwału użyjemy do uśredniania. W przypadku Canona 20D skrajne wartości uzyskane w trakcie naszych pomiarów zawierały się od 5.0 do 0.8 kl/s. Tempo to silnie zależy jednak od typu i wielkości uzyskiwanego pliku - kluczowe w niektórych aparatach wydaje się więc to co fotografujemy. O ile w Alfie nie miało to aż tak dużego znaczenia, to u 20D miało ogromne. Tutaj dochodzimy do kolejnego ciekawego wniosku dotyczącego różnic w wynikach testów na Optyczne.pl i testów opartych o metodę analizy nagranego uprzednio dźwięku pracy migawki pracującej w trybie seryjnym. Taki system powoduje, że testerów nie interesuje to co fotografują, ani jakiej czułości używają, bo nagrywają oni tylko dźwięk, i na dobrą sprawę mogliby w trakcie tego testu pracować z dekielkiem nałożonym na obiektyw. W ich przypadku rozmiary plików są często małe, a testowany aparat ma łatwiejsze zadanie do wykonania. My natomiast lubimy rzucać kłody pod nogi badanym instrumentom, stąd używanie w naszych testach wysokiej czułości i "pstrokatego" tła. Poza tym, z punktu widzenia testów urządzeń, które są przeznaczone do rejestracji obrazu, chyba właściwsze są testy oparte o analizę obrazu właśnie, a nie dźwięku...