A2P-SMS-Beobachtungsfenster: Routen fair vergleichen

Warum ein Vergleich ein festgelegtes Beobachtungsfenster braucht

Eine Rate oder Latenz lässt sich nur interpretieren, wenn bekannt ist, welche Nachrichten in die Berechnung eingehen und wie lange auf ihre Statusmeldungen gewartet wurde. Wird eine Route einige Stunden und eine andere mehrere Tage lang bewertet, können verspätete DLR den Vergleich verändern, selbst wenn das anfängliche Nachrichtenaufkommen ähnlich war.

Legen Sie das Analysefenster fest, bevor Sie Nachrichten versenden oder auswerten: Zeitpunkt der Aufnahme, Beobachtungsdauer und Regel für den Abschluss jeder Kohorte. Die Empfehlung ITU-T E.803 erläutert, dass ein begrenzter Zeitraum verhindert, unbegrenzt auf zukünftige Ereignisse zu warten, und dass Ereignisse nach dem Timeout nicht in die definierte Berechnung eingehen.

Verwechseln Sie dieses Fenster nicht mit der Gültigkeitsdauer einer SMS. In 3GPP TS 23.040 ist die Gültigkeitsdauer ein Nachrichtenparameter, der bestimmt, wie lange die Nachricht im Service-Center gültig bleibt. Das Analysefenster ist eine Bewertungsregel. Beide Zeiträume können übereinstimmen, sind aber nicht dasselbe Konzept.

• Legen Sie fest, wann eine Nachricht in die Kohorte aufgenommen wird, zum Beispiel anhand des Versandzeitpunkts.
• Bestimmen Sie, wie lange die Statusmeldungen beobachtet werden und was genau den Abschluss bedeutet.
• Dokumentieren Sie die Regel, damit die Analyse wiederholt werden kann. Ändern Sie sie nicht nur, um ein Ergebnis zu begünstigen.

Vergleichseinheit und Bedingungen festlegen

Bestimmen Sie vor dem Vergleich, was im Test als „Route“ gilt und welche Nachrichtenpopulation berücksichtigt wird. Grenzen Sie mindestens Ziel und – sofern bekannt – Mobilfunkanbieter, Absender, Nachrichtenart, etwa OTP oder transaktional, sowie relevante Versandbedingungen ein. Ein aggregierter Vergleich kann verschleiern, dass die Routen unterschiedliche Nachrichtenmischungen erhalten haben.

Erfassen Sie Variablen, die sich zwischen Kohorten ändern könnten: Versandzeit, Volumen, Zusammensetzung der Ziele und Absender sowie Versandkonfiguration. Ist ein Faktor für die Fragestellung wichtig, halten Sie ihn konstant oder weisen Sie Ergebnisse für getrennte Strata aus. Die Stratifizierung ist eine praktische Anpassung von Prinzipien der Stichprobenbildung für die Dienstqualität; in den herangezogenen Quellen gibt es keine universelle, speziell für A2P-Kohorten geltende Vorgehensweise.

Die Normalisierung der Zielrufnummer im internationalen Format kann die Datenaufbereitung erleichtern. E.164 definiert den internationalen Nummerierungsplan, doch eine normalisierte Nummer belegt weder, welcher Mobilfunkanbieter das Ziel bedient hat, noch welche Route die Nachricht genommen hat. Leiten Sie diese Angaben nicht allein aus dem Nummernformat ab.

• Formulieren Sie die Kohortendefinition in einem überprüfbaren Satz und verlassen Sie sich nicht nur auf die kommerzielle Bezeichnung der Route.
• Vergleichen Sie gleichartige Populationen oder trennen Sie die Ergebnisse nach den variierenden Merkmalen.
• Dokumentieren Sie, ob ein Statusbericht angefordert und welche Gültigkeitsrichtlinie angewendet wurde; in 3GPP sind die Anforderung eines Berichts und die Gültigkeitsdauer optionale Nachrichtenparameter.

Beginn, Ende und Reifezeit für verspätete DLR festlegen

Verankern Sie das Fenster an einem eindeutig feststellbaren Ereignis, in der Regel am protokollierten Versandzeitpunkt. Legen Sie fest, ob eine vollständige Kohorte von Nachrichten ausgewertet wird, die innerhalb eines Zeitraums versendet wurden, oder ob jede Nachricht individuell für eine ab ihrem Versand laufende Frist beobachtet wird. Die gewählte Methode muss für alle Routen gleichermaßen gelten.

Legen Sie eine Reifezeit fest, damit verspätet eintreffende Statusmeldungen eine definierte Chance haben, in das Ergebnis einzufließen. Die zitierten Quellen geben kein universelles Timeout für den Vergleich von A2P-Routen vor. Der Wert sollte sich nach dem operativen Ziel und der Analyseregel richten und dokumentiert werden. Wenden Sie nach Erreichen der Grenze die Abschlussregel an, ohne spätere Ereignisse nachträglich und selektiv einzubeziehen.

Halten Sie die Zeitangaben zur Nachricht und zum Bericht getrennt. 3GPP TS 23.040 beschreibt SMS-STATUS-REPORT-Berichte mit Status und Zeitstempeln wie TP-SCTS und TP-DT sowie Referenzen zur Zuordnung zur ursprünglichen Nachricht. Bewahren Sie diese Felder auf, sofern verfügbar, und dokumentieren Sie die Bedeutung aller Anbieterkennungen.

• Dokumentieren Sie Zeitzone und Konvention der Zeitangaben, damit Zeitstempel nicht unterschiedlich interpretiert werden.
• Legen Sie vorab fest, wie ein nach dem Abschluss eingegangener Status behandelt wird: außerhalb der ursprünglichen Berechnung, aber für Audits oder eine klar getrennte spätere Analyse aufbewahrt.
• Wenn sich die Reifezeit zwischen Tests ändert, weisen Sie die Ergebnisse als Bewertungen mit unterschiedlichen Regeln aus und nicht ohne Einschränkung als direkten Vergleich.

Kohorten bei wechselndem Nachrichtenaufkommen vergleichbar halten

Ein verändertes Volumen ist nicht der einzige Faktor, der Ergebnisse verzerren kann. Auch der Anteil verschiedener Ziele, Mobilfunkanbieter, Absender oder Nachrichtenarten sowie die zeitliche Verteilung können sich unterscheiden. Erhält eine Route mehr Nachrichten aus einer Kategorie als eine andere, kann die beobachtete Abweichung die Zusammensetzung der Stichprobe widerspiegeln und muss nicht unbedingt an der Route liegen.

Wenn sich die Zusammensetzung unterscheidet, weisen Sie Ergebnisse für relevante Strata aus und halten Sie die Gruppengröße fest. Wird eine aggregierte Kennzahl benötigt, erläutern Sie ihre Berechnung und vermeiden Sie es, Gruppen zusammenzufassen, die nicht dieselbe Zielpopulation repräsentieren. ITU-T E.806 beschreibt die stratifizierte Stichprobenziehung für Dienstgüte-Kampagnen. Ihre Anwendung auf A2P-Routen ist eine angepasste methodische Leitlinie, keine SMS-spezifische Anforderung.

Dokumentieren Sie außerdem operative Änderungen, die zeitgleich mit der Bewertung auftreten. Werden Routing, Absender, Konfiguration oder Versandmuster geändert, trennen Sie die betroffenen Zeiträume, statt sie als eine homogene Kohorte zu behandeln.

• Vergleichen Sie gleichwertige Zeiträume oder weisen Sie Ergebnisse nach Zeitfenster aus, wenn die Uhrzeit relevant ist.
• Halten Sie die Anzahlen nach Ziel, bekanntem Mobilfunkanbieter, Absender und Nachrichtenart fest.
• Kennzeichnen Sie Konfigurationsänderungen und schreiben Sie ihre Wirkung nicht automatisch einer einzelnen Variable zu.

Annahme, Statusmeldungen, Latenz und Verfügbarkeit getrennt betrachten

Fassen Sie nicht alle Signale unter einem einzigen Zustellbegriff zusammen. Die Annahme eines Versands, ein späterer SMS-STATUS-REPORT und der tatsächliche Empfang auf einem Endgerät sind unterschiedliche Ereignisse. Die Annahme allein ist kein abschließender Bericht, und ein gemeldeter DLR darf nicht automatisch als unabhängiger Nachweis dafür beschrieben werden, dass das Endgerät die Nachricht empfangen hat.

Weisen Sie getrennt aus, welcher Anteil der Sendungen vom beobachteten System angenommen wurde, welche Statusmeldungen innerhalb des Fensters eingingen und welcher Anteil ohne beobachtetes Ergebnis blieb. Beschreiben Sie genau, welche Statusmeldungen wie zusammengefasst wurden. Die verfügbare Semantik kann davon abhängen, welches System den Bericht erstellt oder umwandelt. Gehen Sie nicht davon aus, dass alle DLR dieselbe Bestätigungsebene darstellen.

Ordnen Sie Latenz klar definierten Ereignissen zu, zum Beispiel der Zeit zwischen Versand und Eingang eines bestimmten Status. Geben Sie an, welchen Zeitstempel Sie verwendet haben, und beschreiben Sie bei Bedarf die Verteilung, statt sich allein auf einen Durchschnitt zu stützen. Auch für Verfügbarkeit braucht es eine ausdrückliche operative Definition und eine Beobachtungsquelle; leiten Sie sie nicht aus einem einzelnen Statusindikator ab.

• Kennzeichnen Sie Messwerte entsprechend der angewendeten Regel als Annahme, gemeldeter Status, Latenz bis zu einem definierten Ereignis oder Verfügbarkeit.
• Geben Sie an, ob es sich um einen eingegangenen und gemeldeten DLR oder um eine unabhängige Bestätigung des Empfangs auf dem Endgerät handelt.
• Werten Sie einen fehlenden Status nicht automatisch als Beweis für einen Fehler und einen gemeldeten Status nicht als Zustellgarantie.

Unvollständige Ergebnisse und kleine Stichproben

Bleibt eine Nachricht zum Abschluss ohne beobachteten Endstatus, muss sie entsprechend der festgelegten Regel als ausstehend, zensiert oder ohne beobachtetes Ergebnis gekennzeichnet bleiben. Zählen Sie sie nicht ohne Beleg als Erfolg oder Fehlschlag. Geben Sie sowohl die Gesamtzahl der Nachrichten in der Kohorte als auch die Zahl der Nachrichten ohne Ergebnis an. Andernfalls kann ein Anteil, der nur anhand von Nachrichten mit Status berechnet wird, einen unvollständigen Eindruck vermitteln.

Bei einer kleinen Stichprobe sind Schätzungen unsicherer. Die herangezogenen Quellen nennen keinen allgemeingültigen Schwellenwert für eine ausreichende Stichprobengröße beim Vergleich von A2P-Routen. Geben Sie die Stichprobengröße an und, sofern die verwendete statistische Methode dies zulässt, ein geeignetes Unsicherheitsmaß. ITU-T E.802 und E.803 behandeln Stichprobengröße und Unsicherheit, doch ihre Beispiele sind keine feste Regel für diesen Anwendungsfall.

Hat sich der Anteil ausstehender Ergebnisse oder das Beobachtungsfenster geändert, weisen Sie zusammen mit den Kennzahlen darauf hin. Ein einzelner Zahlenwert ohne Nenner, Zeitraum oder Abschlussregel kann präzise wirken, ohne vergleichbar zu sein.

• Weisen Sie Zähler, Nenner und Nachrichten ohne beobachtetes Ergebnis aus.
• Erklären Sie die Unsicherheit, wenn Sie eine Route auf Grundlage weniger Nachrichten nicht für überlegen erklären können.
• Stellen Sie einen beobachteten Unterschied nicht als Garantie für die zukünftige Leistung dar.

Mindestumfang der Protokollierung und Grenzen der Interpretation

Ein reproduzierbarer Vergleich erfordert Nachweise auf Nachrichtenebene und eine Beschreibung der Regeln. Bewahren Sie eine zuordenbare Kennung, die bewertete Route, den Versandzeitpunkt, das normalisierte Ziel und die Kohortenmerkmale auf. Ergänzen Sie den empfangenen Status, seinen Zeitstempel, den Beobachtungszeitraum, die Abschlussregel und die Zahl der Nachrichten ohne Ergebnis.

Dokumentieren Sie auch Bedingungen, die die Bedeutung des Ergebnisses verändern: ob ein Statusbericht angefordert wurde, die Gültigkeitsrichtlinie der SMS, die den Kategorien zugeordneten Statusmeldungen und alle Datenbeschränkungen. Die von 3GPP beschriebenen Nachrichtenreferenzen und Zeitstempel erleichtern die Zuordnung. Zusätzliche Anbieterkennungen müssen dokumentiert werden; gehen Sie nicht davon aus, dass sie systemübergreifend gleichbedeutend sind.

Ein belastbarer Vergleich sollte die Bedingungen, die Regeln und die Grenzen der Auswertung festhalten. Interpretieren Sie die Ergebnisse nur im Zusammenhang mit der untersuchten Population, dem Beobachtungsfenster und der verfügbaren Evidenz.

• Nachrichtenkennung und bewertete Route.
• Versandzeitpunkt, normalisiertes Ziel und Kohortenbedingungen.
• Empfangener Status, Zeitstempel und Klassifizierungsregel.
• Beginn und Ende des Fensters, Reifezeit und Abschlussregel.
• Anzahlen angenommener Nachrichten, eingegangener Statusmeldungen und Nachrichten ohne Ergebnis, jeweils mit Nenner.
• Operative Änderungen und Einschränkungen, die die Interpretation beeinflussen.

Checkliste zur Wiederholung des Vergleichs

Prüfen Sie vor einer Entscheidung, ob die Routen nach gleichwertigen Kriterien bewertet wurden und ob das Ergebnis davon abhängt, verspätete DLR selektiv einzubeziehen. Eine Änderung des Beobachtungsfensters kann für eine neue Analyse sinnvoll sein, muss jedoch eine neue Ergebnisversion erzeugen und einheitlich angewendet werden.

Nutzen Sie den Vergleich als operative Evidenz, die auf die beobachteten Bedingungen begrenzt ist. Prüfen Sie die Stichprobenzusammensetzung, unvollständige Daten und Unsicherheiten, bevor Sie den Nachrichtenverkehr ändern. Kein Beobachtungszeitraum macht vergangene Ergebnisse zu einer Garantie für die zukünftige Zustellung.

• Sind Vergleichseinheit und Kohorten eindeutig definiert?
• Sind Ziel, bekannter Mobilfunkanbieter, Absender, Nachrichtenart und Versandzeit vergleichbar oder nach Strata getrennt?
• Wurden Beginn, Ende und Reifezeit festgelegt, bevor die Ergebnisse interpretiert wurden?
• Werden verspätete DLR für alle Routen nach derselben Regel behandelt?
• Werden Annahme, gemeldete Statusmeldungen, Latenz und Verfügbarkeit getrennt ausgewiesen?
• Sind Nenner, ausstehende Nachrichten und Stichprobengröße angegeben?
• Sind Bedingungen, Einschränkungen und Änderungen dokumentiert, damit die Analyse wiederholt werden kann?