Weryfikujemy informacje z ostatnich rankingów publikowanych przez SpeedTest.pl

Tytuł operatora, który zapewnia najszybszy Internet mobilny i jego najlepszą jakość jest prawdziwym Świętym Graalem na rynku usług telekomunikacyjnych w Polsce. Rywalizujące ze sobą krajowe sieci komórkowe chętnie umieszczają w swoich materiałach marketingowych informacje o zajęciu najwyższego miejsca w rankingach jakości usług. Nie byłoby w tym nic dziwnego, gdyby nie fakt, że takim zaszczytem chwali się więcej niż jeden operator mobilny powołując się na te samo źródło i ranking 🙂

W tym artykule postaramy się wytłumaczyć, o co chodzi oraz z czego wynikają różnice pomiarów publikowanych w Polsce przez Portal RFBENCHMARK, SPEEDTEST.pl czy firmy telekomunikacyjne na podstawie pomiarów mobilnych – tzw. Drive test.

Który operator jest faktycznie najlepszy?

Weźmy pod lupę rankingi SPEEDTEST.pl. Wnikliwi czytelnicy zauważą, że każdy z operatorów komórkowych w informacjach prasowych o zajęciu pierwszego miejsca powołuje się na inną kategorię rankingu dostępnego na wspomnianej platformie. O tym, że nie jest on pozbawiony błędów merytorycznych informowaliśmy już w lutowym artykule na łamach naszego portalu.

Nadszedł czas na poruszenie drugiego, w naszym odczuciu ważniejszego błędu merytorycznego i konsekwencjach jego powielania.

Spieszymy jednak z krótkim wprowadzeniem dla tych, którzy nie śledzą tak aktywnie rynku telekomunikacyjnego i publikowanych nań raportów. SpeedTest oferuje dwa sposoby wykonania testów:

• Ze strony www, który obejmuje testy wykonane z przeglądarek (zarówno z komputerów stacjonarnych jak i urządzeń mobilnych). Stanowi on podstawę dla rankingu zwanego przez autorów „ogólnym”, który mierzy zarówno operatorów stacjonarnych jak i mobilnych

• Z aplikacji mobilnej, który z kolei obejmuje testy wykonane wyłącznie z urządzeń mobilnych i ma trzy podkategorie: 3G/LTE, LTE i WiFi. Dwie pierwsze obejmują testy tylko w sieciach komórkowych i stanowią podstawę dla rankingów operatorów mobilnych, natomiast trzecia dotyczy obu typów sieci (stacjonarnych i mobilnych).

W związku z tym operatorzy mobilni są klasyfikowani we wszystkich trzech rankingach: „ogólnym”, mobilnym i WiFi. Ten ostatni rodzaj rankingu (WiFi) nie wnosi zbyt wiele wartości. To efekt dużego błędu pomiaru, którym jest obarczona ta metoda. Nie jest to spowodowane czynnikami zależnymi od operatora, a na wady tej metody zwraca uwagę też sam SpeedTest:

Zestawienie to powstaje na podstawie wyników testów WiFi z aplikacji mobilnych, dlatego należy pamiętać, że widoczne w rankingu prędkości zależą od kilku czynników: prędkość łącza, wydajność routera Wi-Fi oraz ilość anten Wi-Fi w smartfonie użytkownika.

źródło: https://www.speedtest.pl/

W naszych rozważaniach skupimy się zatem wyłącznie na dwóch pierwszych rankingach (ogólnym oraz mobilnym). Pierwszym istotnym faktem, który przykuł naszą uwagę, jest kolejność na podium w obu rankingach. Zarówno w rankingu “ogólnym”, jak i mobilnym jest ona zupełnie inna.

Sprawa jest tym dziwniejsza, iż liczba testów brana pod uwagę przy tworzeniu obu zestawień jest wystarczająco duża, by statystycznie dać ten sam wynik.

Skąd biorą się rozbieżności?

Diabeł tkwi w szczegółach. Przytoczenie popularnego przysłowia jest w tym przypadku jak najbardziej na miejscu. Oprócz sposobu wykonania testu, w całej metodzie jest jeszcze jedna istotna różnica. Otóż chodzi o to, że ranking ogólny zawiera zarówno testy wykonane z urządzeń mobilnych podłączonych bezpośrednio do sieci mobilnych jak i urządzeń, które są podłączone do nich pośrednio przez sieć WiFi.

Jeżeli porównamy wyniki operatorów mobilnych z aplikacji mobilnej dla tych dwóch metod dostępu, tj. bezpośredniej i pośredniej przez WiFi, otrzymamy odpowiedź dotyczącą przyczyn rozbieżności.

Jak wynika z poniższego wykresu, prędkości pobierania danych poprzez WiFi (linia przerywana) są wyraźnie niższe niż prędkości w bezpośrednich połączeniach do sieci LTE (linia ciągła), które to stanowią obecnie dominującą większość.

Dość szybko zauważyć można, że dodatkowy element w pomiarze w postaci sieci WiFi znacznie obniża uzyskiwane w teście wyniki. Skala degradacji jest zbliżona dla wszystkich operatorów i wynosi ok. 30-40% w stosunku do pomiaru bezpośredniego z sieci LTE. Z kolei udział testów przez WiFi we wszystkich testach z aplikacji mobilnej różni się już w znacznym stopniu pomiędzy operatorami. Przykładowo T-Mobile i Plus mają 2-krotnie większy udział testów po WiFi niż Play i Orange.

W takim przypadku ranking łączony (w zestawieniu SpeedTest.pl nazwany rankingiem “ogólnym”) nie odwzorowuje rzeczywistej jakości sieci danego operatora, a jest jedynie bezpośrednim skutkiem stosunku liczby testów przez WiFi do testów wykonanych przy połączeniach bezpośrednich do sieci operatora.

W naszym odczuciu łączenie obu metod dostępu w jednym rankingu jest błędem metodologicznym, który wpływa na odbiór faktycznych rezultatów pomiarów. Z tego względu metody te powinny być oceniane niezależnie, a rankingi prezentowane rozłącznie.

Mamy nadzieję, że użytkownicy Internetu mobilnego w Polsce dzięki tym wskazówkom będą w stanie prawidłowo ocenić informacje zawarte w poszczególnych rankingach operatorów. Ponadto, liczymy również na to, że będzie dochodzić do znacznie mniejszej liczby sytuacji, gdzie kilku operatorów przypisuje sobie tytuł najlepszego operatora, powołując się na to samo źródło. Działa to jednocześnie dezorientująco na przeciętnego użytkownika telefonii komórkowej i utrudnia w dokonaniu dobrego wyboru.