So testen wir das beste Handy-Netz
Mehr zum Thema: o2 Deutsche Telekom Vodafone Sunrise SwisscomDie ausgefeilte Methodik unseres Netztests betrachtet sowohl Topleistungen der Netze als auch Alltagsanforderungen der Nutzer.
Die ausgefeilte Methodik unseres Netztests betrachtet sowohl Topleistungen der Netze als auch Alltagsanforderungen der Nutzer.Die Messungen in Deutschland fanden vom 16. bis 30.10.2023 statt, in Österreich vom 5. bis 14.10.2023 und in der Schweiz vom 18. bis 28.10.2023. Pro Land schickte connect-Ne...
Die ausgefeilte Methodik unseres Netztests betrachtet sowohl Topleistungen der Netze als auch Alltagsanforderungen der Nutzer.
Die Messungen in Deutschland fanden vom 16. bis 30.10.2023 statt, in Österreich vom 5. bis 14.10.2023 und in der Schweiz vom 18. bis 28.10.2023. Pro Land schickte connect-Netztestpartner umlaut vier Messfahrzeuge auf die Strecke, jedes war mit neun Smartphones bestückt.
Dabei nahm pro Netzbetreiber ein Samsung Galaxy S23 die Sprachmessungen vor, ein weiteres S23 wurde für die Datentests genutzt, und ein Drittes stellte die Verbindungen für den Testfall „Konversations-App“ (siehe „Datenverbindungen“) her. Für alle Messungen waren die Smartphones auf „5G bevorzugt“ eingestellt – wo immer vom Netz unterstützt, fanden die Datentests also per 5G statt.
Zusätzlich zu den Drivetests führten zwei Walktest-Teams in jedem Land Messungen zu Fuß durch, und zwar in Zonen mit regem Publikumsverkehr wie Bahnhofshallen, Flughafenterminals, Cafés, öffentlichen Verkehrsmitteln und Museen.
Zum Programm der Walktests zählten zudem Fahrten auf Fern- und Nahverkehrsstrecken der Bahn. Für die Walktests wurden pro Netzbetreiber dieselben Smartphone-Typen für Messungen genutzt wie bei den Drivetests.
Die Walktest-Teams transportierten die Smartphones in mit starken Akkus bestückten Rucksäcken oder Trolleys. Die Firmware der Test-Smartphones entsprach jeweils der Original-Netzbetreiberversion.
Logistik
Die Drive- und Walktests fanden zwischen 8 und 22 Uhr statt. Für die Drivetests befanden sich zwei Fahrzeuge zwar in derselben Stadt, aber nicht am selben Ort, damit nicht ein Auto die Messungen des anderen verfälscht. Auf den Verbindungsstraßen fuhren je zwei Fahrzeuge dieselben Strecken ab, aber nacheinander mit zeitlichem und räumlichem Abstand.
In Deutschland fanden Drivetests in 24 Groß- und 25 Kleinstädten statt, die Walktests in elf Städten. So wurden rund 16,6 Millionen Einwohner abgedeckt, was etwa 19,9 Prozent der deutschen Bevölkerung entspricht. Die Drivetests umfassten 11 110 km.
In Österreich fuhren die Tester durch zwölf Groß- und 16 Kleinstädte und legten dabei rund 5960 km zurück. Hinzu kamen Walktests in sechs Städten. So wurden rund 3,3 Millionen Einwohner (rund 36,7% der Bevölkerung) abgedeckt.
Die Drivetests in der Schweiz führten in 24 Großund 17 Kleinstädte, die Walktests fanden in acht Städten statt. Die Testroute in der Schweiz war etwa 6300 km lang, die Messkampagne bei den Eidgenossen deckte rund 2,2 Millionen Einwohner (25,9 Prozent der Bevölkerung) ab.
Für die Auswahl der Testrouten erstellte umlaut für jedes Land vier unterschiedliche Vorschläge, aus denen connect blind eine Route auswählte.
Sprachverbindungen
Sprachverbindungen machen 27 Prozent des Gesamtergebnisses aus. Dafür wurden Telefonverbindungen von Fahrzeug zu Fahrzeug („mobile-to-mobile“) aufgebaut und deren Erfolgsquoten, Rufaufbauzeit und Sprachqualität gemessen.
Die Smartphones der Walktest-Teams telefonierten für die Sprachtests mit einer stationären (Smartphone-)Gegenstelle. Um realistische Bedingungen sicherzustellen, wurde im Hintergrund gleichzeitig Datenverkehr abgewickelt.
Dabei erfassten wir auch MultiRAB-Konnektivität: Die Nutzung mehrerer „Radio Access Bearer“ stellt Datenverbindungen im Hintergrund der Sprachtelefonate zur Verfügung.
Die Übertragungsqualität wurde mit dem für HD- Voice geeigneten POLQA-Wideband-Verfahren bewertet. Auf allen Telefonen war „VoLTE bevorzugt“ konfiguriert – aus 5G fallen die Telefone somit auf Telefonie per LTE zurück.
Datenverbindungen
Die Datenmessungen fließen mit 48 Prozent ins Ergebnis ein. Zur Beurteilung von Internetseitenaufrufen wurden mehrere populäre Live-Seiten (dynamisch) sowie die als Kepler-Seite (statisch) bekannte ETSI-Referenz-Seite abgerufen.
Daneben wurden 10 bzw. 5 MB große Dateien herunter- bzw. hochgeladen, um die Leistung bei kleineren Datenübertragungen zu ermitteln. Zudem bestimmten wir die Datenrate innerhalb einer 7-Sekunden-Periode beim Up- und Download großer Dateien.
Da YouTube die ausgespielte Auflösung dynamisch an die verfügbare Bandbreite anpasst, berücksichtigt die Bewertung die durchschnittliche Bildauflösung bzw. Zeilenzahl der Videos sowie die Erfolgsquote und die Zeit bis zum Start der Wiedergabe.
Eine typische Over-the-top-Sprachverbindung (OTT) bildet der Testfall Konversations-App ab. Dazu bauten wir einen Sprachkanal über die Protokolle SIP und STUN mit dem Codec OPUS auf und ermittelten die Erfolgsquote sowie die Sprachqualität dieser Verbindung.
Außerdem simulierten unsere Messungen eine hochinteraktive UDP-Multiplayer-Session, um mit dem Testpunkt Interaktivität eGaming die Latenzzeiten der Verbindung und eventuelle Paketverluste zu ermitteln.
Crowdsourcing
Zu 25 Prozent flossen die Ergebnisse von Crowdsourcing in die Gesamtwertung ein. Sie zeigen, welche Netzleistung beim Nutzer ankommt – allerdings wirken sich dabei auch die verwendeten Endgeräte und Tarife aus.
Dazu wurden in allen drei Ländern die dort jeweils von Anfang Mai bis Mitte Oktober 2023 (KW 19 bis KW 42) erhobenen Samples ausgewertet. Aus Deutschland wurden rund 11,9 Milliarden Einzelmesswerte analysiert, die statistisch 100 Prozent der Bevölkerung abdecken.
Für Österreich wertete umlaut rund 523 Millionen Samples aus (99,9 Prozent der Bevölkerung). In der Schweiz entsprechen die rund 671 Mio. Samples statistisch ebenfalls 100 Prozent der Bevölkerung.
Um die Datenbasis für die Analysen zu erhalten, erfassten Tausende populäre Apps im Hintergrund die im Folgenden beschriebenen Parameter – sofern der Nutzer der vollkommen anonymen Datenerhebung zugestimmt hat.
Die Messwerte wurden im 15-Minuten-Raster erfasst und einmal täglich an die umlaut-Server übertragen. Die Reports enthalten nur wenige Bytes, sodass sie das Datenvolumen des Nutzers kaum belasten.
Breitband-Güte
Um die Reichweite der Breitband-Versorgung zu ermitteln, legte umlaut ein Raster aus 2 x 2- km-Kacheln („Evaluation Areas“, EAs) über das Testgebiet. Für jede EA musste eine Mindestanzahl an Nutzern und Messwerten vorliegen.
Zur Bewertung vergab umlaut pro EA drei Punkte, wenn das betrachtete Netz 4G- oder 5G-Versorgung bietet. Die so erreichte Punktzahl wurde dividiert durch die erreichbare Anzahl an Punkten (drei Punkte pro EA im „Common Footprint“ – der von allen getesteten Anbietern versorgten Fläche des jeweiligen Landes).
Zudem betrachteten wir die Qualität der Breitband-Versorgung. Sie setzt den prozentualen Anteil von EAs, in denen ein Nutzer 4G- oder 5G-Versorgung hatte, ins Verhältnis zu allen EAs im „Common Footprint“. Der Zeitanteil mit Breitband- Versorgung sagt wiederum aus, wie oft ein Nutzer im Betrachtungszeitraum 4G- oder 5G-Empfang hatte – unabhängig von den EAs, in denen die Samples erfasst wurden.
Dazu setzt umlaut die Samples, die 4G/5G-Versorgung ausweisen, in Bezug zur Gesamtzahl aller Samples. Wichtig: Die für alle drei Parameter ermittelten Prozentwerte spiegeln den jeweiligen Erfüllungsgrad wider – und nicht die prozentuale 4G/5GMobilfunkabdeckung von Fläche oder Bevölkerung.
Datenraten und Latenzen
Die passive Ermittlung von Download-Datenraten und Latenzen erfolgte unabhängig von den EAs und konzentrierte sich auf das Erleben jedes Nutzers. Samples, die etwa über WLANs oder bei aktiviertem Flugmodus erfasst wurden, filterte umlaut vor der Analyse aus.
Um zu berücksichtigen, dass viele Mobilfunktarife die nutzbare Datenrate drosseln, definierte umlaut drei anwendungsbezogene Geschwindigkeitsklassen: Für Basis-Internet müssen mindestens 2 Mbit/s erreicht werden, HD-Video setzt 5 Mbit/s voraus und UHD-Video 20 Mbit/s.
Damit ein Sample gültig ist, muss in einem 15-Minuten-Zeitraum eine Mindestdatenmenge geflossen sein. Analog wird die Latenz der Datenpakete einer anwendungsbezogenen Klasse zugeordnet: Roundtrip-Zeiten bis 100 ms genügen für OTT-Sprachdienste, weniger als 50 ms qualifizieren ein Sample für Gaming.
Damit wird die Auswertung auch der Tatsache gerecht, dass die passiv beobachteten Datenraten von den jeweils genutzten Anwendungen abhängen. Um sich besser dem maximal möglichen Durchsatz anzunähern, führte umlaut einmal pro Monat zusätzlich aktive Messungen von Upload- und Download- Datenraten durch. Sie ermitteln die in 3,5 Sekunden übertragene Datenmenge.
Telefonie
Der Parameter HD-Telefonie zeigt den Anteil, zu dem Sprachverbindungen des Nutzers in HD-Qualität aufgebaut wurden – und somit via VoLTE (Voice over LTE). Bedingung war, dass das Smartphone diesen Standard tatsächlich unterstützt.
Stabilität
Auf Basis der Erfolgsraten der Download-, Upload- und Browsing-Tests sowie zusätzlicher Verbindungstests errechnet umlaut zudem den prozentualen Anteil erfolgreicher Transaktionen. Er erlaubt Rückschlüsse auf die Stabilität der Netze.
Zuverlässigkeit
Die Zuverlässigkeitswertung ist keine eigene Kategorie, sondern eine zusätzliche Betrachtung der Ergebnisse der vorherigen Kategorien. Dazu unterteilt umlaut alle Messwerte in Basis- beziehungsweise Alltagsanforderungen („Qualifier KPis“) und auf Höchstleistungen bezogene Werte („Differentiator KPIs“).
Die Darstellung der Zuverlässigkeits berücksichtigt allein die „Qualifier KPIs“ aus der Sprach- und Datenkategorie sowie die Basis-Ergebnisse aus dem Crowdsourcing. So lässt sich herausarbeiten, wie gut das Netz Alltagsanforderungen erfüllt.
Zurück zu:
