Zespół Notel kontynuuje tournée po Polsce. Cel jest jasno określony – możliwie najdokładniejsza odpowiedź na pytanie, który operator komórkowy w Polsce oferuje najlepszą jakość Internetu mobilnego?

Podobnie jak w Warszawie, tak i na Pomorzu dane zostały zebrane podczas Drive Testu. Informacje będą szczególnie użyteczne dla turystów, którzy każdego roku licznie odwiedzają nadmorskie miejscowości.

Sprawdźmy zatem, czy północna część Polski dotrzymuje kroku stolicy w technologicznej rewolucji i adaptacji 5G!

Czym jest badanie Internetu mobilnego metodą Drive Test?

Drive Test jest metodą zbierania danych w ruchu i polega na umieszczeniu urządzeń pomiarowych w samochodzie i wykonanie przejazdów po określonej trasie. To pozwala na odtworzenie sytuacji, której mieszkańcy danego miasta doznają w codziennym życiu.

Podobnie jak w czerwcowym warszawskim pomiarze, wzięliśmy na tapet m.in. usługi głosowe w popularnych komunikatorach internetowych (WhatsApp i Microsoft Teams). Uwzględniliśmy również test sprawdzający, jak w sieciach mobilnych operatorów działa przesyłanie treści wideo dla serwisów YouTube i Netflix oraz zasymulowaliśmy e-gaming.

Przeczytaj także: Jakość Internetu mobilnego w Warszawie – najnowsze pomiary Drive Test (czerwiec 2023)

Z jakich urządzeń korzystano podczas pomiarów Internetu mobilnego na Pomorzu?

Aby przeprowadzić badania przy użyciu metody Drive Test, użyliśmy 12 telefonów komórkowych. W tym zestawie 8 to modele Samsung Galaxy S21 Ultra. Te telefony działały w sieci 5G i były używane do testowania jakości połączeń głosowych, w tym standardowych połączeń VoLTE, rozmów przez aplikacje OTT z wykorzystaniem WhatsAppa oraz rozmów za pośrednictwem Microsoft Teams.

Podczas testowania połączeń VoLTE oraz rozmów przez WhatsAppa, ocenialiśmy jakość przesyłanego dźwięku. Te próbki były analizowane za pomocą algorytmu POLQA w wersji 3.0, który obsługuje dźwięk HD. Aby symulować typowe użycie telefonów, podczas testów połączeń VoLTE generowaliśmy ruch sieciowy poprzez sporadyczne pobieranie danych o wielkości 100 KB (pobieranie HTTP).

Ponadto, do pomiarów pakietów danych używaliśmy 4 telefony Samsung S23+ działające w sieci 5G. W tych testach skupiliśmy się na określonych usługach, takich jak:

• Pomiar szybkości Internetu dla przesyłania plików – w celu przetestowania wydajności usługi danych, pliki o wielkości 10 MB i 5 MB do pobrania i wysłania są przesyłane z lub na serwer testowy znajdujący się w chmurze. Wykonaliśmy także test przesyłania danych z i do serwera, mierząc ilość danych przesyłanych w ciągu 10 sekund.
• Szybkość wyświetlania popularnych stron www oraz statycznej strony testowej „Kepler”, określonej przez ETSI (Europejski Instytut Norm Telekomunikacyjnych).
• Ocena jakości odtwarzania transmisji z serwisów streamingowych Youtube i Netflix. Przy okazji tej analizy uwzględniliśmy fakt, że serwisy streamingowe dynamicznie dostosowują rozdzielczość wideo do dostępnej przepustowości Internetu, obejmując zarówno typowe scenariusze odtwarzania filmów HD (1080p), jak i testując zdolność sieci do dostarczania treści 4K UHD. Zatem, oprócz wskaźników sukcesu i czasów rozpoczęcia odtwarzania obrazu video, pomiary obejmowały również średnią rozdzielczość wideo.
• Pomiary typu „e-gaming”, realizowanych za pomocą protokołu TWAMP.

Którzy operatorzy zostali objęci badaniem?

Przeprowadziliśmy analizę działania wszystkich głównych operatorów w Polsce: Orange, T-Mobile, Plus oraz Play. Pomiary realizowano w trybie FreeMode, co oznacza, że używane urządzenie pomiarowe automatycznie łączyło się z najnowocześniejszą technologią dostępną w danej lokalizacji. Jeśli sieć 5G nie była dostępna, urządzenie przełączało się na LTE. Uzyskane w ten sposób informacje dostarczają wglądu w wydajność i stabilność sieci nowej generacji w analizowanych miejscach.

Jak wyglądała trasa przejazdu podczas badania Drive Test?

Trasa przejazdu obejmowała najpopularniejsze destynacje wakacyjne Pomorza, odwiedzane w sezonie letnim przez miliony turystów.

Pomiar szybkości Internetu mobilnego na Pomorzu

Wyniki testów pobierania i wysyłania

Pomiary prędkości pobierania i wysyłania realizowano za pomocą urządzeń Samsung S23. Spośród wszystkich testów pakietowych Plus wyróżnił się największym udziałem w technologii 5G, osiągając wynik 61%.

Kolejne miejsca zajęły T-Mobile (60%), Play (55%) i Orange (39%).

Podczas pomiarów danych, najwyższą średnią prędkość pobierania plików HTTP w ciągu 10 sekund osiągnął Plus, z wynikiem 63 Mb/s. Na drugim miejscu zaraz za Plus uplasował się Orange (61 Mb/s), kolejno Play (56 Mb/s) i T-Mobile (48 Mb/s).

W przypadku rozbicia na technologie, w technologii 5G (NSA) najlepszym wynikiem pobierania może pochwalić się operator Plus, dla którego prędkość pobierania wynosi 87 Mb/s. Operator ten zdecydowanie wyprzedził swoich konkurentów. Na drugim miejscu ponownie uplasował się Orange (62 Mb/s), który okazał się nieznacznie lepszy od Play (59 Mb/s). Najniższy wynik zanotowało T-Mobile (41 Mb/s).

Najwyższą średnią prędkością wysyłania danych za pomocą protokołu HTTP w ciągu 10 sekund za cały Drive Test może się pochwalić Play dla którego uśredniona prędkość wyniosła 26 Mb/s, kolejny był T-Mobile (24 Mb/s), Orange (20 Mb/s) i na ostatnim miejscu znalazł się Plus z wynikiem 18 Mb/s.

W przypadku najwyższej średniej prędkości wysyłania plików HTTP 5G NSA w ciągu 10 sekund, podobnie najlepiej wypadł Play z wynikiem 34 Mb/s. Na drugim miejscu uplasowało się T-Mobile (30 Mb/s), a na trzecim Orange z wynikiem 27 Mb/s. Ostatnie miejsce zajął Plus z wynikiem 24 Mb/s.

Przy pobieraniu i wysyłaniu stałych plików o rozmiarach 10 MB i 5 MB, operator Orange zajął pierwsze miejsce w pobieraniu pliku z wynikiem 27 Mb/s. W przypadku wysyłania pliku o rozmiarze 5 MB, wszyscy operatorzy odnotowali bardzo zbliżone wyniki w granicach 14 Mb/s.

Rozmiar pliku	Orange	Play	Plus	T-Mobile
HTTP DL 10 MB	27.04	18.60	16.45	13.68
HTTP UL 5 MB	13.91	14.02	12.81	13.54

Testy opóźnienia

W zestawieniu najniższych średnich wartości opóźnienia, uwzględniając technologię 5G (NSA), Play osiągnął najlepszy rezultat – 39 ms. Operator ten wyprzedził T-Mobile, który osiągnął wynik 48 ms. Plus zajął trzecie miejsce z wynikiem 50 ms, natomiast Orange zanotował najgorszy wynik – 53 ms.

Połączenia głosowe – VoLTE kontra gOTT (profil: WhatsApp)

W ramach naszych testów sprawdzaliśmy standardowe połączenia głosowe (VoLTE) realizowane przez operatorów i porównywaliśmy je z połączeniami przez aplikacje jak WhatsApp, Telegram czy Viber – z profilem audio odpowiadającym aplikacji WhatsApp. Przeprowadziliśmy około 1000 połączeń VoLTE i gOTT dla każdego z operatorów.

Porównując liczbę problemów podczas zestawiania połączenia (call setup failures), tradycyjne połączenia VoLTE oferowane przez operatorów okazały się bardziej niezawodne w porównaniu do gOTT. W przypadku ilości zerwanych połączeń w trakcie rozmowy (call dropped calls) to już korzystniej wypadają połączenia gOTT.

Podczas testowania połączeń VoLTE oraz gOTT – WhatsApp, ocenialiśmy jakość dźwięku przekazywanych fragmentów rozmów. Wykorzystywaliśmy do tego algorytm POLQA w wersji 3.0, który jest przystosowany do analizy głosu HD i specjalistycznych pomiarów.

Na podstawie niżej przedstawionego wykresu można zauważyć, że jakość głosu w połączeniach za pośrednictwem aplikacji gOTT z ustawieniami WhatsApp jest na podobnym poziomie jak w standardowych połączeniach od operatorów – VoLTE.

Każdy z operatorów, podobnie jak w Warszawie, osiągnął bardzo dobre wyniki w zakresie jakości głosu. Dotyczy to także Plusa, który niedawno jako ostatni zdecydował się na wdrożenie nowego kodeka – EVS. Ten kodek znacząco wpływa na jakość połączeń VoLTE. Warto zaznaczyć, że korzystanie z tego kodeka w sieci Plus może wymagać aktualizacji oprogramowania telefonu. Dzięki temu, wszyscy operatorzy w Polsce oferują teraz rozmowy z użyciem kodeka EVS, co znacząco podnosi jakość konwersacji.

Voice Quality Score – MOS

Jakość głosu oceniana była według 5-stopniowej skali MOS, gdzie MOS (ang. Mean Opinion Score) to subiektywna ocena jakości mowy, dokonywana po stronie odbiorczej, po przejściu sygnału mowy przez kanał transmisyjny. Do oceny jakości stosowana jest 5-stopniowa skala:

• 5 – znakomita jakość (możliwość odprężenia, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca), 
• 4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga jednak znacznego wysiłku, aby zrozumieć co mówi nadawca), 
• 3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca), 
• 2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca), 
• 1 – niedopuszczalna jakość (pomimo skupienia i znacznego wysiłku, nie ma możliwości zrozumienia co mówi nadawca podczas rozmowy).

Jakość połączeń głosowych dla wideokonferencji (Microsoft Teams)

Częścią Drive Testu było wykonanie połączeń głosowych pomiędzy terminalami z użyciem popularnej platformy do wideokonferencji Microsoft Teams. Przedstawione poniżej dane pochodzą z terminala wykonującego połączenie.

W analizie wzięliśmy pod uwagę utratę pakietów oraz jitter. Jitter (rejestrowany w milisekundach, ms) ilustruje dynamikę zmian parametru PING, co jest wskaźnikiem anomalii w procesie transmisji danych. Nieregularne opóźnienia mogą być problemem dla aplikacji potrzebujących nieprzerwanej transmisji, takich jak gry czy streaming na żywo, co wskazuje na ważność zachowania wartości jitter na jak najniższym poziomie. Najmniejszą utratę pakietów osiągnął Orange (0,7%), a najmniejszy jitter operatorzy Plus i Play (12,3ms). Ostatnie miejsce na podium zajął T-Mobile odznaczając się największą utratą pakietów (1,5%) i największym jitterem (15,7ms).

Kolejnym przedmiotem analizy był wskaźnik Concealed Sample Rate, który pokazuje jaki procent próbek dźwięku został ukryty w trakcie transmisji bądź odbioru, dostarczając wgląd w jakość dźwięku. Reprezentuje on stosunek ramek audio z próbkami generowanymi przez system maskowania strat pakietów do całkowitej liczby ramek audio. Na tej podstawie można stwierdzić, że Plus i Play miały najlepszą jakość dźwięku, osiągając wartości dla tego wskaźnika odpowiednio 1,9% i 2,2%. Dla Orange zakryte próbki stanowiły 2,7% ramek audio, natomiast dla T-Mobile – 3,1%.

Uzyskaliśmy również dane na temat Round Trip Time (RTT). Jest to czas, jaki mija od momentu, gdy nasza przeglądarka internetowa wyśle zapytanie do serwera (na przykład, gdy chcemy otworzyć stronę internetową), do momentu, gdy serwer odpowie i nasza przeglądarka dostanie tę odpowiedź. Ten wskaźnik mierzony jest w milisekundach. Połączenia dla T-Mobile i Play charakteryzował najkrótszy RTT, wynoszący 140ms dla Play oraz 141ms dla T-Mobile.

Serwisy streamingowe – YouTube i Netflix

W ramach badania sprawdziliśmy na jakie doświadczenia mogą liczyć użytkownicy serwisów streamingowych.

Porównaliśmy średnią rozdzielczość obrazu transmitowanego z serwisów YouTube i Netflix. Jest ona obliczana jako średnia wartość rozdzielczości obrazu w pikselach (p), który był wyświetlany na ekranie użytkownika. Podczas oglądania treści na serwisach streamingowych, rozdzielczość wyświetlanego wideo jest dostosowywana automatycznie do zmian jakości połączenia internetowego. W trakcie trwania jednej sesji użytkownik może widzieć obrazy zarówno w rozdzielczości 720p, jak i 480p. W takim przypadku, średnia rozdzielczość dla danej sesji jest obliczana jako średnia wartość między 720p i 480p.

Najwyższą średnią rozdzielczość dla streamingu z serwisu Netflix uzyskali operatorzy Plus (624p) i T-Mobile (591p). Dla serwisu YouTube najwyższą rozdzielczość osiągnąć można było w T-Mobile (2033p), następnie w Plus (2009p).

Średnia rozdzielczość

W kontekście jakości streamingu przeanalizowaliśmy także wskaźnik Success Rate. Wskaźnik skuteczności (Success Rate) przy pomiarach usług streamingowych odnosi się do częstości, z jaką próby streamingu zakończą się sukcesem. Definiuje się go jako stosunek liczby udanych transmisji strumieniowych do liczby wszystkich prób transmisji.  

U wszystkich operatorów odnotowaliśmy wyższy odsetek udanych streamingów dla serwisu Netflix niż dla YouTube. Dla Netflix najwyższym wskaźnikiem sukcesu mogli pochwalić się Plus i T-Mobile (odpowiednio 95% i 94%). W serwisie YouTube natomiast najwyższy Success Rate osiągnęli T-Mobile i Play (kolejno 79% i 73%).

Udany streaming video to również płynne odtwarzanie obrazu. Porównaliśmy odsetek sesji, które trwały bez zakłóceń – dla obu serwisów streamingowych najwyższy odsetek nieprzerwanych sesji osiągnął Orange (96% dla Netflix i 88% dla YouTube). Sprawdziliśmy jaki jest całkowity czas wszystkich zakłóceń w trakcie naszych testów – najkrótszy całkowity czas zakłóceń w streamingu w YouTube wystąpiło w Orange (44 s), natomiast w Netflix – w T-Mobile (3 min).

Całkowity czas zakłóceń ze wszystkich sesji odtwarzania wideo

Kolejnym parametrem, istotnym z punktu widzenia użytkownika, jest czas pomiędzy momentem uruchomienia odtwarzania wideo a faktycznym wyświetleniem pierwszej klatki lub dźwięku. Odwrotnie niż w przypadku zakłóceń w odtwarzaniu wideo, okazuje się, że użytkownicy dłużej muszą oczekiwać na odpowiedź z serwisu Netflix niż YouTube. Najkrótszy średni czas do odtworzenia video na Netflix odnotowaliśmy w T-Mobile (2,15s) i Plus (2,2s). W przypadku YouTube odtwarzanie najszybciej rozpoczynało się w Orange (0,08 s) i Plus (0,17 s).

Opóźnienie startu odtwarzania wideo

Sprawdziliśmy również średnią przepustowość w czasie streamingu. Przepustowość (throughput) jest miarą ilości danych, która jest przesyłana przez kanał komunikacyjny w określonym czasie, uwzględniającą straty i opóźnienia.

Najlepszy wynik przepustowości dla Netflix uzyskaliśmy w Orange i Play (odpowiednio 9,3 Mb/s i 8,2 Mb/s), a dla YouTube – w T-Mobile i Orange (kolejno 22,6 Mb/s i 21,1 Mb/s).

Przepustowość (THR)

Czas otwarcia strony

Pomiarom poddana została również usługa otwierania stron internetowych. Dla statycznej strony referencyjnej Kepler (definicja ETSI) najlepiej z tym zadaniem poradził sobie Plus, któremu zajęło to średnio 1,3 s. Pozostali operatorzy zanotowali kolejno wyniki: Orange 1,4 s, Play i T-Mobile (1,6 s).

Test TWAMP – e-gaming

Wykonaliśmy również pomiary aktywności związanych z e-gamingiem.

Efektywność sieci oceniono parametrem Interactivity Score, uwzględniającym dwukierunkową metodę pomiaru opóźnienia dla każdego wysyłanego i odbieranego pakietu UDP. Dzięki temu wskaźnik dostarcza informacji o tym, czy i jak szybko użytkownik otrzymuje odpowiedź na swoje działania. Pomiarowi przypisuje się wynik w skali od 0 do 100.

Najlepszymi wynikami w teście interaktywności wyróżniły się sieci Plus i Play, uzyskując średni wynik Interactivity Score na poziomie odpowiednio 64 i 62 punkty. Najniższy wynik interaktywności odnotowano w sieci Orange, gdzie wyniósł on 53 punkty.

W naszych pomiarach uwzględniliśmy także Round Trip Time i utratę pakietów. Utrata pakietów to sytuacja, w której dane przesyłane przez sieć nie docierają w całości lub w ogóle do ich docelowego miejsca. Utrata pakietów może powodować nagłe spowolnienia i problemy w grze.

Najmniejsza utrata pakietów została zaobserwowana w Plus (7,4%) i Play (7,6%). W przypadku RTT najniższy wynik osiągnął Play (39,3ms).

Najważniejsze wniosku dotyczące Drive Test na Pomorzu (2023)

Pod koniec lipca 2023 roku w północnej Polsce w popularnych turystycznie miejscowościach został przeprowadzony pomiar jakości sieci mobilnych.

W odróżnieniu od wcześniejszych pomiarów w Warszawie, tym razem pokrycie 5G było dostępne w przypadku Plus i T-Mobile w 60% trasy pomiarowej dla Play i Orange było to odpowiednio 55% i 40%. Z załączonych map można zobaczyć, że na trasie pomiarowej znajdują się popularne miejscowości, dla których brak zasięgu 5G dla poszczególnych operatorów.

Dla Orange i T-Mobile brak pokrycia 5G szczególnie widoczny jest w województwie zachodnio pomorskim i miejscowościach takich jak : Jastrzębia Góra, Łeba, gdzie dodatkowo dla Orange brak zasięgu 5G zauważalny w miejscowościach takich jak: Puck i Ustka.

Wszyscy operatorzy mają problemy z zapewnieniem ciągłości pokrycia 5G na drogach łączących turystyczne miejscowości północnej Polski, w szczególności nieciągłość pokrycia 5G można zauważyć na drogach krajowych jaki i ekspresowych S3 i S6.

Szczególnym miejscem gdzie problemy z obciążoną siecią w szczycie sezonu turystycznego czy niewystarczającym pokryciem radiowym jest popularny i oblegany półwysep Helski, podczas pomiaru w trakcie przejazdu przez półwysep prędkość pobierania HTTP 10 sec wyniosła dla Orange 46 Mb/s, T-Mobile 40 Mb/s, Plus 16 Mb/s i Play 13 Mb/s.

Najlepszym wynikiem za całość przejazdu podobnie jak wcześniej, w najnowszych analizach najlepsze wskaźniki dla możliwej prędkości pobierania danych z internetu osiąga sieć Plus (63 Mb/s, 60% pokrycia 5G). W przypadku wysyłania danych, najlepsze wyniki prezentuje sieć Play (26 Mb/s, 55% pokrycia 5G).

Warto zaznaczyć, że w obecnym pomiarze porównano jakość usług głosowych tradycyjnych (VoLTE) oraz realizowanych za pomocą popularnych aplikacji OTT, takich jak WhatsApp czy Microsoft Teams. Infrastruktura wszystkich operatorów umożliwia realizowanie połączeń głosowych na bardzo dobrym poziomie dla aplikacji OTT.

Nowością jest również badanie jakości sieci pod kątem dostarczania usługi dostępu dla graczy gier internetowych, dla których wpływ na jakość mają opóźnienia i straty pakietów. Z pomocą przychodzi tu pomiar Internetu za pomocą testu TWAMP – Interactivity Score.

Jest to istotne, ponieważ rosnąca popularność e-sportu i gier online wymaga od operatorów zapewnienia wysokiej jakości połączeń, minimalizujących opóźnienia i straty pakietów. W tym kontekście, wyniki testu TWAMP są kluczowe dla oceny jakości usług świadczonych przez poszczególnych operatorów.