Kleine Stichproben bei Tests von A2P-SMS-Routen: Ergebnisse richtig einordnen, ohne überzureagieren
Ein Test mit wenigen Nachrichten dient der Beobachtung, nicht unbedingt einer abschließenden Bewertung. Erfahren Sie, wie Sie Ergebnisse, Unsicherheiten und Signale trennen, die weitere Belege erfordern.
Warum ein Test mit geringem Volumen einen irreführenden Eindruck vermitteln kann
Mit einem Test aus wenigen Nachrichten lässt sich beobachten, was bei einem konkreten Durchlauf geschehen ist. Für sich genommen reicht das jedoch nicht aus, um zu belegen, dass sich eine Route auch in anderen Zeiträumen, Zielgebieten oder unter anderen Bedingungen gleich verhält. Ein günstiges Ergebnis kann von einer begrenzten Kombination aus Empfängern, Absendern, Inhalt und Versandzeitpunkt abhängen. Ein ungünstiges Ergebnis kann ebenso auf einen einzelnen Vorfall oder eine unvollständige Messung zurückzuführen sein.
Die erste wichtige Regel lautet, Daten und ihre Interpretation zu trennen. „Bei diesem Test wurden bestimmte Zustellstatus beobachtet“ ist eine Beobachtung. „Die Route ist gut“ oder „Die Route schlägt fehl“ sind weitergehende Schlussfolgerungen, für die zusätzliche Belege und festgelegte Bewertungskriterien erforderlich sind.
- Dokumentieren Sie, was wann und unter welchen Bedingungen versendet wurde.
- Machen Sie aus einem begrenzten Ergebnis keine Garantie für die künftige Leistung.
- Behandeln Sie eine Auffälligkeit als Anlass zur Untersuchung, nicht automatisch als abschließendes Urteil.
Was eine Stichprobe tatsächlich misst
Legen Sie fest, welche Einheit Sie zählen. Das kann die gesendete Nachricht, der Sendeversuch, eine empfangene technische Antwort oder ein beobachteter Zustellstatus sein. Diese Größen sind nicht austauschbar. Definieren Sie außerdem den Beobachtungszeitraum: Ein kurz nach dem Versand erstellter Bericht kann andere Status enthalten als ein später geprüfter Bericht.
Dokumentieren Sie die Gesamtzahl der versendeten Nachrichten und wie viele davon innerhalb des vereinbarten Zeitfensters ein beobachtbares Ergebnis hatten. Ändert sich der Nenner zwischen den Kennzahlen, weisen Sie dies neben jedem Ergebnis aus. So vermeiden Sie, Zahlen als vergleichbar darzustellen, obwohl sie unterschiedliche Fragen beantworten.
- Halten Sie Datum, Uhrzeit, Zeitzone und Beobachtungsdauer fest.
- Bewahren Sie die Gesamtzahl der versendeten Nachrichten und die Zahl der Fälle mit erfasstem Ergebnis auf.
- Beschreiben Sie, was als Ergebnis zählt und was nicht in die Analyse einfließt.
Gezielt nach einer konkreten Frage segmentieren
Aggregierte Ergebnisse können Unterschiede zwischen Gruppen verdecken. Prüfen Sie, soweit Testaufbau und Datenmenge es zulassen, Zielgebiet, Mobilfunkanbieter, Absender, Inhalt und Verkehrsart getrennt. Es geht nicht darum, die Daten unbegrenzt aufzuteilen, sondern festzustellen, ob sich eine Auffälligkeit auf ein für die Entscheidung relevantes Segment konzentriert.
Jede Aufschlüsselung verringert die Zahl der Beobachtungen pro Gruppe. Enthält eine Kategorie nur sehr wenige Fälle, beschreiben Sie sie als begrenzte Beobachtung und vergleichen Sie sie nicht so, als wäre sie genauso belastbar wie eine größere Gruppe. Legen Sie im Voraus fest, welche Variable Sie untersuchen, und halten Sie die übrigen Bedingungen so stabil wie möglich.
- Gruppieren Sie nach Zielgebiet und Mobilfunkanbieter, sofern diese Daten verfügbar und zuverlässig sind.
- Dokumentieren Sie Absender, Inhalt und Verkehrsart, um den Kontext jedes Tests nachvollziehen zu können.
- Führen Sie einen Unterschied nicht auf die Route zurück, wenn sich zugleich andere Bedingungen geändert haben.
Beobachtete Raten mit ihren Zählern und Nennern angeben
Ein Prozentwert allein zeigt nicht, wie viele Daten ihm zugrunde liegen. Geben Sie Zähler und Nenner zusammen mit der beobachteten Rate an: zum Beispiel, wie viele Nachrichten das definierte Ergebnis hatten und wie viele Nachrichten in diese Berechnung eingingen. Verwenden Sie keinen Prozentwert, ohne zu erklären, wie nicht beobachtete oder noch ausstehende Fälle eingestuft wurden.
Bei kleinen Stichproben können schon wenige Fälle den Prozentwert deutlich verändern. Stellen Sie daher kleine Unterschiede nicht als schlüssigen Beleg dar und legen Sie keinen universellen Schwellenwert für Stichprobengröße oder Akzeptanz fest. Ob die Daten ausreichen, hängt von der Entscheidung, dem Testdesign und der Qualität der verfügbaren Aufzeichnungen ab.
- Zeigen Sie Fallzahlen und Prozentwerte, nicht nur Prozentwerte.
- Erläutern Sie Ausschlüsse, ausstehende Fälle und Änderungen des Nenners.
- Wenn Sie eine Unsicherheitsschätzung angeben, nennen Sie die Methode und ihre Annahmen; ersetzen Sie diese nicht durch einen scheinbar präzisen Wert.
Fehlende, verspätete oder widersprüchliche DLRs
Ein DLR ist ein vom jeweiligen System gemeldeter Status. Er darf nicht automatisch mit einer unabhängigen Bestätigung des Empfangs auf dem Endgerät gleichgesetzt werden. Auch das Fehlen eines DLR beweist für sich genommen nicht, dass die Nachricht nicht zugestellt wurde. Einen verspäteten oder widersprüchlichen Status sollten Sie zunächst als solchen festhalten, bis geklärt ist, was er im Kontext des Tests bedeutet.
Legen Sie fest, wie Sie Statuswerte behandeln, bevor Sie Routen vergleichen. Unterscheiden Sie zwischen empfangenen, ausstehenden, fehlenden und nicht abgleichbaren Statuswerten. Erfassen Sie, sofern verfügbar, den Zeitpunkt des Versands und den Zeitpunkt des Statuseingangs und bewahren Sie die Originaldaten auf, damit sich die Klassifizierung überprüfen lässt.
- Klassifizieren Sie einen fehlenden DLR nicht automatisch als Erfolg oder Fehlschlag.
- Unterscheiden Sie zwischen einem gemeldeten Status und einem bestätigten Empfang auf dem Gerät.
- Dokumentieren Sie das Wartezeitfenster und den Umgang mit verspäteten oder doppelten Statusmeldungen.
Verfügbarkeit, Latenz und Zustellung nicht vermischen
Verfügbarkeit, Latenz und Zustellstatus beantworten unterschiedliche Fragen. Eine verfügbare Verbindung beweist nicht, dass jede Nachricht zugestellt wurde; eine schnelle Antwort ist nicht gleichbedeutend mit einer bestätigten Zustellung. Werden diese Dimensionen zu einer einzigen Bewertung zusammengefasst, lässt sich möglicherweise nur schwer erkennen, was tatsächlich gemessen wurde und welcher Aspekt Aufmerksamkeit erfordert.
Definieren Sie jede Kennzahl separat, einschließlich Start- und Endpunkt sowie der einbezogenen Ereignisse. Wenn Sie Zeiträume oder Routen vergleichen, verwenden Sie dieselben Definitionen und Beobachtungsfenster. Ist das nicht möglich, weisen Sie auf die Unterschiede hin und beschränken Sie Ihre Schlussfolgerungen entsprechend.
- Berichten Sie Verfügbarkeit, Latenz und Zustellstatus in getrennten Abschnitten.
- Geben Sie an, welche Zeitstempel in eine Latenzmessung einfließen.
- Verwenden Sie eine technische Kennzahl nicht als Beleg für eine andere Dimension.
Wann der Test wiederholt oder ausgeweitet werden sollte
Wiederholen oder erweitern Sie den Test, wenn das Ergebnis von wenigen Fällen abhängt, viele Statuswerte ungeklärt sind oder sich eine wichtige Bedingung geändert hat. Legen Sie zuvor fest, welche Frage Sie beantworten möchten und welche Belege die Entscheidung beeinflussen würden. Ein größeres Volumen ohne klare Fragestellung kann zusätzliche Daten liefern, ohne den Vergleich besser interpretierbar zu machen.
Legen Sie beim Routenvergleich die relevanten Bedingungen fest und ändern Sie jeweils nur eine Variable, wenn Sie deren Einfluss isolieren möchten. Dokumentieren Sie unvermeidbare Unterschiede, etwa bei Zielgebiet, Mobilfunkanbieter, Absender, Inhalt oder Zeitraum. Ziehen Sie keine Schlüsse über Gruppen und Bedingungen hinaus, die tatsächlich beobachtet wurden.
- Wiederholen Sie den Test, wenn Sie einen einmaligen Vorfall oder eine unvollständige Messung vermuten.
- Erweitern Sie den Test, wenn sich die Interpretation durch wenige zusätzliche Fälle ändern könnte.
- Halten Sie relevante Bedingungen konstant oder dokumentieren Sie jede Änderung.
Vorsichtige Entscheidungsregeln
Ordnen Sie die Beweislage nach operativen, nicht nach absoluten Kriterien ein. „Nicht ausreichend“ bedeutet, dass die Daten die gestellte Frage nicht beantworten. „Signal zur Untersuchung“ bezeichnet eine Beobachtung, die überprüft werden sollte, für sich allein aber keine Ursache beweist. „Grundlage für eine umfassendere Bewertung“ bedeutet, dass das Ergebnis einen besser dokumentierten Test rechtfertigt – nicht, dass die Route für beliebige Einsatzzwecke freigegeben ist.
Bevor Sie eine Route freigeben, verwerfen oder wechseln, prüfen Sie die Beweislage anhand des Testziels, der beobachteten Bedingungen, der Qualität der Statuswerte und der Folgen der Entscheidung. Reichen die Belege nicht aus, kann es am sachgerechtesten sein, die Entscheidung offenzulassen und weitere Informationen zu sammeln.
- Nicht ausreichend: Es fehlen beobachtbare Fälle, Daten sind noch ausstehend oder der Vergleich ist nicht kontrolliert.
- Untersuchen: Es zeigt sich ein Unterschied oder eine Auffälligkeit, die im jeweiligen Segment und Kontext überprüft werden sollte.
- Weiter bewerten: Das Ergebnis ist klar genug, um einen erweiterten Test zu rechtfertigen, ohne künftige Ergebnisse zu versprechen.
Häufige Fragen
Gibt es eine universelle Anzahl von Nachrichten, ab der ein Test als zuverlässig gilt?
Nein. Es gibt keinen universellen Schwellenwert, der für alle Routen und Entscheidungen gilt. Ob die Daten ausreichen, hängt von der Fragestellung, dem Testdesign, der beobachteten Variabilität und der Zahl der interpretierbaren Ergebnisse ab.
Beweist ein positiver DLR, dass der Empfänger die SMS auf seinem Telefon erhalten hat?
Nicht unbedingt. Ein DLR ist ein gemeldeter Status und entspricht nicht automatisch einer unabhängigen Bestätigung des Empfangs auf dem Endgerät.
Sollte ich einen fehlenden DLR als Fehlschlag werten?
Nicht automatisch. Erfassen Sie ihn gemäß der Definition des Tests als fehlend oder ungeklärt, legen Sie ein klares Beobachtungsfenster fest und stufen Sie ihn ohne zusätzliche Belege nicht ein.
Kann ich zwei Routen allein anhand ihrer Zustellraten vergleichen?
Es ist nicht ratsam, sich allein auf Prozentwerte zu stützen. Vergleichen Sie auch Zähler und Nenner, ausstehende oder nicht beobachtete Statuswerte, Zeitraum, Segmente und Testbedingungen.
Verwendete Quellen
- 3GPP specifications3GPP
- ITU-T E.164International Telecommunication Union
- GSMA resourcesGSMA
- Sinopsis de pruebas estadísticas no paramétricasUniversidad de Granada