Przyzwyczailiśmy naszych czytelników do publikowania każdego miesiąca raportów dotyczących jakości i prędkości Internetu mobilnego w Polsce. Oprócz zbierania danych z pomiarów wykonanych przez użytkowników aplikacji RFBENCHMARK dysponujemy także innymi narzędziami do badania jakości świadczonych przez operatorów komórkowych usług.

Pobierz aplikację RFBENCHMARK i pomóż badać nam jakość sieci mobilnej w Polsce

Czym jest Drive Test?

Jedną z metod pomiaru jakości usług w sieciach mobilnych (QoS) jest Drive Test. Jest to jedna z metod pomiaru  stanu sieci mobilnych, ponieważ wykonywana jest w ruchu. Dzięki temu możemy uzyskać warunki bardzo zbliżone do tych, z którymi na co dzień spotykają się użytkownicy sieci mobilnych. Każdy z nas w końcu wykonuje połączenia czy używa Internetu mobilnego przemieszczając się i korzystając ze zmieniających się warunków radiowych.

Spółka Notel Polska, twórcy aplikacji RFBenchmark, wykonała Drive Test na terenie Warszawy. To najważniejsze centrum biznesowe i naukowe w Polsce oraz jedno z najgęściej zaludnionych miejsc w kraju. Czynniki te sprawiają, że Warszawa jest szczególnie wymagającym terenem do rozwoju i utrzymywania sieci komórkowej.

W trakcie  pomiaru mobilnego analizie poddano jakość usług głosowych (voice services). Pomiar dokonano w trzech segmentach: dostępności (accessibility), ciągłości usługi (retainability), integralności (integrity). Ponadto, pod lupą znalazła się jakość usług pakietowych (data). W tym przypadku analizowanym segmentem była integralność usług.

Pomiar jakości usług głosowych

W trakcie pomiarów drive test wykonano w sumie 4048 połączeń. Dla poszczególnych sieci komórkowych liczba połączeń prezentowała się w ten sposób:

• Orange: 996 połączeń (503 MOC/493 MTC)
• T-Mobile: 1033 (515 MOC/518 MTC)
• Plus: 1049 (525 MOC/524 MTC)
• Play: 970 (490 MOC/480 MTC)

MOC (Mobile Originating Call) to połączenia wychodzące, a MTC (Mobile Terminated Call) to połączenia przychodzące.

Voice Call Setup Success Rate

Tak jak wspominaliśmy powyżej, pomiar jakości usług głosowych podzielony był na trzy segmenty. Do każdego przypisano kluczowe wskaźniki skuteczności (KPI, Key Performance Indicators). W segmencie dostępności do usług jednym z mierzonych KPI był współczynnik powodzenia konfiguracji połączenia (Voice Call Setup Success Rate).

Voice Call Setup Success Rate to procentowa liczba prób nawiązania połączenia, która skutkuje połączeniem z wybranym numerem. Współczynnik powodzenia konfiguracji (zestawienia) połączeń jest jednym z kluczowych wskaźników wydajności (KPI) wykorzystywanych przez operatorów sieci do oceny wydajności ich sieci. Zakłada się, że ma bezpośredni wpływ na zadowolenie klienta z usług świadczonych przez sieć i jej operatora.

Sieć Play może pochwalić się 100% współczynnikiem Voice Call Setup Success Rate. Oznacza to, że wszystkie połączenia zostały nawiązane pomyślnie. Nieco gorzej wypadły pozostali operatorzy: Plus zanotował 99,81% (100% MOC/99,62% MTC), T-Mobile 99,61% (99,81% MOC/99,42% MTC), a Orange odnotowało wynik 99,20% (99,20% MOC/99,19% MTC).

Przyjmuje się, że w sieciach mobilnych wykorzystujących kanały radiowe współczynnik powodzenia konfiguracji połączeń jest niższy i może wynosić dla sieci komercyjnych między 90% a 98% lub więcej.

Głównymi przyczynami nieudanych konfiguracji połączeń w sieciach komórkowych są: brak zasięgu radiowego, interferencja radiowa między różnymi abonentami, niedoskonałości w funkcjonowaniu sieci (takie jak procedury przekierowania połączenia zakończonego niepowodzeniem), przeciążenie różne elementy sieci itp.

Voice Call Setup Time

Kolejnym zbadanym kluczowym wskaźnikiem jest Voice Call Setup Time, czyli czas konfiguracji połączenia głosowego. Oznacza on całkowity czas wymagany do nawiązania połączenia komutowanego między użytkownikami.

Najkrótszy czas konfiguracji połączenia głosowego zgodnie z przeprowadzonymi pomiarami wskazywało Orange (1,39 s). Tuż za pomarańczowym operatorem uplasował się T-Mobile (1,5 s), a kolejne miejsca przypadły sieci Play (4,24 s) i Plus (6,04 s).

Voice Call Drop Rate

Biorąc pod uwagę segment ciągłości usług (retainability), specjaliście Notel Polska zbadali m.in. Voice Call Drop Rate, czyli wskaźnik przerwanych połączeń głosowych.

To procentowa liczba połączeń głosowych, które z powodów technicznych zostały odrzucone, zanim któraś ze stron uczestnicząca w połączeniu nie zakończyła go.

Niemal wszyscy operatorzy zagwarantowali najwyższy poziom usług. Jedynie w pojedynczych przypadkach po stronie Orange oraz Play doszło do przerwania połączenia z przyczyn technicznych.

Voice Call Quality Average POLQA

W trakcie pomiarów Drive Test wykonywane są połączenia głosowe pomiędzy terminalem ruchomym (testowym), a urządzeniem odbiorczym (np. ISDN, inny terminal ruchomy). Testowe połączenia pomiarowe mogą odbywać się z i do terminala pomiarowego, w zależności od ustawionej sekwencji pomiarowej. Podczas pomiaru jakość głosu jest oceniana według 5-cio stopniowej skali MOS.

MOS (ang. Mean Opinion Score) jest to subiektywna ocena jakości mowy, dokonywana po stronie odbiorczej, po przejściu sygnału mowy przez kanał transmisyjny. Do oceny jakości stosowana jest 5-cio stopniowa skala:

5 – znakomita jakość (możliwe odprężenie, rozmowa nie wymaga wysiłku, aby zrozumieć co mówi nadawca),

4 – dobra jakość (rozmowa wymaga skupienia, nie wymaga znaczącego wysiłku, aby zrozumieć co mówi nadawca),

3 – dopuszczalna jakość (rozmowa wymaga średniego wysiłku, aby zrozumieć co mówi nadawca),

2 – słaba jakość (rozmowa wymaga znacznego skupienia i wysiłku, aby zrozumieć co mówi nadawca),

1 – niedopuszczalna jakość (pomimo skupienia i znaczącego wysiłku, nie ma możliwości, aby zrozumieć co mówi nadawca podczas rozmowy).

POLQA (Perceptual Objective Listening Quality Assessment) to jedna z metod estymacji subiektywnej oceny mowy (MOS). Najczęściej przewidywana jest ocena jakości mowy MOS z zastosowaniem 5-cio stopniowej skali.

Biorąc pod uwagę Voice Call Quality Average POLQA najlepiej wypadła sieć Orange, zdobywając 4 punkty. Taką samą ocenę zdobyła technologia VoLTE oferowana użytkownikom sieci Orange. Dalej w tej klasyfikacji znalazły się Plus (3,76, brak wdrożonej technologii VoLTE), T-Mobile (3,75, VoLTE: 3,86 oraz 3,64 w kategorii Dual Mode). Ostatnie miejsce przypadło sieci Play (3,58, brak wdrożonej technologii VoLTE oraz ocena 3,58 w kategorii Dual Mode).

Skąd wzięły się wyższe czasy Call Setup Time dla Plus i Play?

Wszystkie telefony wykorzystane w pomiarach ustawione były w trybie Free Mode (technologia, w zależności od dostępności, bez Radio Access Technology (RAT) Lock). Tylko Orange i T-Mobile mają komercyjnie uruchomione VoLTE. Przełożyło się to na krótsze czasy Call Setup Time (CST) oraz lepsze wyniki MOS.

Plus i Play nie mają uruchomionego komercyjnie VoLTE. Ponadto, w przypadku Plusa dodatkowo dochodzi proces autentykacji podczas każdego zestawienia połączenia. To wydłużyło dodatkowo czas Call Setup Time podczas Call Setup Fall Back (CSFB) – jest to przejście z technologii LTE do 3G/2G podczas połączenia głosowego.

Pomiar jakości usług pakietowych

Jednocześnie z pomiarami jakości usług głosowych odbyły się pomiary usług internetowych. Obrazują to prezentowane wskaźniki: Downlink/Uplink Throughtput oraz RTT.

Throughput w telekomunikacji określa ilość prawidłowo przesłanych danych w określonym czasie i podawany jest najczęściej w megabitach na sekundę (Mbps).

RTT (ang. Round Trip Delay Time) informuje o tym, ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci, plus czas po jakim przychodzi potwierdzenie odebrania wiadomości. Im mniejsza wartość RTT tym lepiej. Podobnym parametrem jest opóźnienie (ang. latency), informujące o tym ile czasu mija od wysłania wiadomości z naszego komputera do jej odebrania przez komputer w sieci.

Z przeprowadzonych pomiarów wynika, że najlepszą średnią szybkość internetu wśród operatorów w Warszawie oferuje T-Mobile (46,43 Mbps), osiągając podczas Drive Testu maksymalny wynik 162,62 Mbps. W dalszej kolejności sklasyfikowano Orange (średnia szybkość 38,37 Mbps, maksymalna 114,48 Mbps), Plus (średnia 32,54 Mbps, maksymalna 129,88 Mbps) i Play (średnia 24,40 Mbps, maksymalna 132.07 Mbps).

Analiza pomiarów byłaby niepełna, gdybyśmy nie spojrzeli na wskaźnik RTT. W tej kategorii najlepszy wynik osiągnął Play (średnia 31 ms), a za nim uplasowały się niemal z tym samym wynikiem Orange (43 ms) i T-Mobile (44 ms). Plus z kolei zanotował blisko dwukrotnie wyższe wyniki niż operatorzy znajdujący się na drugim i trzecim miejscu (86 ms).

Warto porównać wyniki zebrane podczas Drive Testu z ostatnimi pomiarami użytkowników aplikacji RFBenchmark ze stycznia oraz lutego.

Skąd słaby wynik Plus w kategorii RTT?

Po analizie  okazuje się, iż podczas trwania pomiaru mobilnego ruch z urządzenia z kartą Plusa przechodził przez punkty wymiany ruchu , dla których  zanotowane zostały podwyższone czasy TTL dwukrotnie w porównaniu do pozostałych operatorów.

Poniższa tabela przedstawia w jakim stopniu poszczególni operatorzy spełniają wymagania ustalone podczas prac z Memorandum UKE co do zapewnienia odpowiedniej jakości usług pakietowych (internetowych) gwarantujących bezproblemowe korzystanie z Internetu.

Kolor zielony  – dobra jakość usług,

Kolor żółty  – zadowalająca jakość usług,

Kolor czerwony  – niska jakość usług.

N-Score

Podczas pomiarów wydajności i innych sklasyfikowanych powyżej wartości, warto pamiętać o innym ważnym aspekcie determinującym jakość usług mobilnych – doświadczeniu klientów i faktycznej dostępności użytkowników do sieci komórkowej.

Nawet najlepiej rozwinięte i utrzymane sieci mobilne nie są pozbawione problemów, które ograniczają możliwości użytkowników do pełnego wykorzystania osiągów sieci. Często zakłócane są przez awarie i inne incydenty.

Warto w takich przypadkach wspierać analizę jakości i wydajności sieci mobilnych wskaźnikami, które zbierane są niezależną metodą crowdsourcingową. Notel Polska czerpie informacje “u źródła’ dzięki pomiarom użytkowników popularnej aplikacji RFBenchmark i jej użytkownikom

Aby lepiej oddawać sens wykonanych badań opracowaliśmy autorski wskaźnik N-Score, który pozwala w prosty i szybki sposób ocenić jakość danego operatora z punktu widzenia użytkownika.

Jest on unikatowy ze względu na połączenie testów aktywnych (Drive Test) i wyników zebranych z aplikacji RFBENCHMARK. N-Score umożliwia również w sposób jednoznaczny spozycjonować jednym wynikiem każdego operatora i jakość usług jakie świadczy.

N-score składa się Voice, Data i wyniki danych „crowd-source” uzyskanych z aplikacji mobilnej RFBENCHMARK w podziale punktów:

Total N-Score	1000
Voice	350
Data	550
Data – RFB	100

Wyniki Drive Testu, a pomiary użytkowników aplikacji RFBenchmark

Wyniki z Drive Testu przeprowadzonego w Warszawie korelują się z wynikami otrzymanymi na podstawie pomiarów dokonanych przez użytkowników aplikacji. Oto kluczowe wnioski:

• pod względem Throughput na Downlink zarówno w Drive Teście i pomiarach aplikacji mobilnej najlepszy wynik oferował T-Mobile
• biorąc pod uwagę Throughput na Uplink w obu przypadkach (Drive Test oraz aplikacja mobilna) najlepszy wynik oferował Plus
• w aplikacji mobilnej widzimy, że czasy RTT dla Plusa są bardzo dobre. To potwierdza, że słaby wynik podczas Drive Testu był spowodowany chwilowym problemem w sieci operatora, co zostało naprawione i potwierdzone w dodatkowym teście aktywnym po informacji od operatora
• w przypadku Play, pomimo przyzwoitych wyników dla Throughput UpLink i RTT, operator ten sumarycznie zebrał najmniej punktów dla usług pakietowych w Drive Teście i aplikacji mobilnej. Na takim wyniku zaważył słaby pomiar dla Throughput na Downlink który ma największa wagę przy wyliczeniach końcowych.

W tej chwili jako trend ogólnoświatowy dla użytkowników końcowych telefonii mobilnej w głównej mierze istotne są parametry Throughput na Downlink, a dopiero później kolejne parametry: RTT i Throughput na łaczu Uplink (Przesyłanie danych).

Podsumowanie

Na podstawie przeprowadzonych przez Spółkę Notel Polska pomiarów metodą Drive Test można stwierdzić, że Orange oraz T-Mobile świadczą na terenie Warszawy najlepszej jakości usługi dotyczące rozmów telefonicznych oraz usługi internetowe. Zaskoczeniem może być fakt, że tylko sieć Play w stopniu zadowalającym umożliwia użytkownikom dostęp do rozgrywki w grze sieciowej czasu rzeczywistego.

1 comment