Petits échantillons dans les tests de routes A2P SMS : interpréter les résultats sans surréagir
Un test portant sur peu de messages permet d’observer, mais pas nécessairement de conclure. Apprenez à distinguer résultats, incertitudes et signaux nécessitant davantage de preuves.
Pourquoi un test à faible volume peut donner une impression trompeuse
Un test portant sur peu de messages permet d’observer ce qui s’est passé lors d’une exécution donnée. À lui seul, il ne suffit pas à démontrer qu’une route conservera le même comportement à d’autres périodes, vers d’autres destinations ou dans d’autres conditions. Un résultat favorable peut dépendre d’une combinaison limitée de destinataires, d’expéditeurs, de contenus et d’horaires d’envoi ; un résultat défavorable peut aussi refléter un incident ponctuel ou une mesure incomplète.
La première règle consiste à distinguer la donnée de son interprétation. « Certains états de livraison ont été observés lors de ce test » est une observation. « La route est bonne » ou « la route ne fonctionne pas » sont des conclusions plus générales qui nécessitent des éléments supplémentaires et des critères d’évaluation définis.
- Consignez ce qui a été envoyé, à quel moment et dans quelles conditions.
- Ne transformez pas un résultat limité en garantie de performances futures.
- Considérez une anomalie comme un signal à examiner, et non automatiquement comme un verdict.
Ce que mesure réellement un échantillon
Définissez l’unité comptabilisée. Il peut s’agir du message envoyé, de la tentative d’envoi, d’une réponse technique reçue ou d’un état de livraison observé. Ces mesures ne sont pas interchangeables. Définissez également la période d’observation : un rapport généré peu après l’envoi peut ne pas contenir les mêmes états qu’un rapport consulté plus tard.
Consignez le nombre total de messages envoyés et le nombre de cas ayant donné lieu à un résultat observable pendant la fenêtre convenue. Si le dénominateur varie d’une mesure à l’autre, indiquez-le pour chaque résultat. Vous éviterez ainsi de présenter comme comparables des chiffres qui répondent à des questions différentes.
- Notez la date, l’heure, le fuseau horaire et la durée d’observation.
- Conservez le nombre total de messages envoyés et celui des messages pour lesquels un résultat a été enregistré.
- Précisez ce qui compte comme résultat et ce qui est exclu de l’analyse.
Segmentez en fonction d’une question précise
Les résultats agrégés peuvent masquer des différences entre les groupes. Lorsque la conception du test et le volume le permettent, examinez séparément la destination, l’opérateur, l’expéditeur, le contenu et le type de trafic. L’objectif n’est pas de fragmenter les données sans limite, mais de vérifier si une anomalie se concentre dans un segment pertinent pour la décision.
Chaque ventilation réduit le nombre d’observations disponibles dans chaque groupe. Si une catégorie ne comprend que très peu de cas, décrivez-la comme une observation limitée et évitez de la comparer comme si elle était aussi robuste qu’un groupe plus important. Définissez à l’avance la variable que vous évaluez et maintenez les autres aussi stables que possible.
- Regroupez les résultats par destination et par opérateur lorsque ces données sont disponibles et fiables.
- Consignez l’expéditeur, le contenu et le type de trafic pour comprendre le contexte de chaque test.
- N’attribuez pas une différence à la route si d’autres conditions ont également changé.
Présentez les taux observés avec leurs dénominateurs
Un pourcentage isolé ne permet pas d’évaluer la quantité de données sur laquelle il repose. Présentez le numérateur et le dénominateur avec le taux observé : par exemple, le nombre de messages ayant obtenu le résultat défini parmi ceux inclus dans ce calcul. N’utilisez pas de pourcentage sans expliquer comment les cas non observés ou en attente ont été classés.
Avec de petits échantillons, quelques cas peuvent modifier sensiblement le pourcentage. Évitez donc de présenter de faibles écarts comme des preuves concluantes et ne proposez pas de seuil universel de taille d’échantillon ou d’acceptation. La suffisance dépend de la décision à prendre, de la conception du test et de la qualité des données disponibles.
- Affichez les nombres et les pourcentages, pas seulement les pourcentages.
- Expliquez les exclusions, les cas en attente et les changements de dénominateur.
- Si vous présentez une estimation de l’incertitude, indiquez la méthode et ses hypothèses ; ne la remplacez pas par un chiffre qui semble faussement précis.
DLR absents, tardifs ou incohérents
Un DLR est un état signalé par le système concerné ; il ne faut pas automatiquement le confondre avec une vérification indépendante de la réception sur le terminal. L’absence d’un DLR ne démontre pas non plus, à elle seule, que le message n’a pas été livré. Un état tardif ou incohérent doit être conservé comme tel jusqu’à ce que sa signification dans le contexte du test soit comprise.
Définissez la manière dont vous traiterez les états avant de comparer les routes. Distinguez les états reçus, en attente, absents et impossibles à rapprocher. Consignez, lorsqu’elles sont disponibles, l’heure d’envoi et celle de réception de l’état, et conservez les données d’origine afin de pouvoir vérifier leur classification.
- Ne classez pas automatiquement un DLR absent comme une réussite ou un échec.
- Distinguez l’état signalé de la réception vérifiée sur l’appareil.
- Documentez la fenêtre d’attente et le traitement des états tardifs ou dupliqués.
Ne confondez pas disponibilité, latence et livraison
La disponibilité, la latence et les états de livraison répondent à des questions différentes. Une connexion disponible ne prouve pas que chaque message a été livré ; une réponse rapide n’équivaut pas à une livraison confirmée. Si ces dimensions sont réunies dans une seule évaluation, il peut devenir difficile de déterminer ce qui a été mesuré et quel aspect nécessite une attention particulière.
Définissez chaque mesure séparément, ainsi que son point de départ, son point d’arrivée et les événements qu’elle inclut. Si vous comparez des périodes ou des routes, conservez les mêmes définitions et fenêtres d’observation ; si cela n’est pas possible, signalez la différence et limitez la portée de la conclusion.
- Présentez la disponibilité, la latence et les états de livraison dans des sections distinctes.
- Précisez les horodatages utilisés pour toute mesure de latence.
- Ne considérez pas une mesure technique comme une preuve concernant une autre dimension.
Quand répéter ou élargir le test
Répétez ou élargissez le test lorsque le résultat dépend de quelques cas seulement, lorsque de nombreux états restent à résoudre ou lorsqu’une condition importante a changé. Avant de le faire, définissez la question à laquelle vous souhaitez répondre et les éléments qui modifieraient la décision. Augmenter le volume sans question précise peut ajouter des données sans rendre la comparaison plus interprétable.
Pour comparer des routes, fixez les conditions pertinentes et ne modifiez qu’une variable à la fois lorsque l’objectif est d’isoler son effet. Consignez les différences inévitables, telles que les variations de destination, d’opérateur, d’expéditeur, de contenu ou de période. N’extrapolez pas au-delà des groupes et des conditions réellement observés.
- Répétez le test si vous soupçonnez un incident ponctuel ou une mesure incomplète.
- Élargissez-le si quelques cas supplémentaires pourraient changer l’interprétation du résultat.
- Maintenez les conditions pertinentes constantes ou consignez tout changement.
Règles de décision prudentes
Classez les éléments selon des termes opérationnels, et non absolus. « Insuffisant » signifie que les données ne permettent pas de répondre à la question posée. « Signal à examiner » désigne une observation qui mérite une vérification, mais qui ne prouve pas à elle seule une cause. « Base pour une évaluation plus large » signifie que le résultat justifie la poursuite du test selon un protocole mieux documenté, et non que la route est approuvée pour tout usage.
Avant d’approuver, d’écarter ou de modifier une route, confrontez les éléments disponibles à l’objectif du test, aux conditions observées, à la qualité des états et aux conséquences de la décision. Si les éléments sont insuffisants, la décision la plus rigoureuse peut être de laisser la question ouverte et de recueillir davantage d’informations.
- Insuffisant : il manque des cas observables, des données sont en attente ou la comparaison n’est pas contrôlée.
- À examiner : une différence ou une anomalie apparaît et doit être vérifiée dans son segment et son contexte.
- À évaluer plus largement : le résultat est assez clair pour justifier un test élargi, sans promettre de résultats futurs.
Questions fréquentes
Existe-t-il un nombre universel de messages pour considérer un test comme fiable ?
Il n’existe pas de seuil universel valable pour toutes les routes et toutes les décisions. La suffisance dépend de la question posée, de la conception du test, de la variabilité observée et du nombre de résultats qui peuvent être interprétés.
Un DLR positif prouve-t-il que le destinataire a reçu le SMS sur son téléphone ?
Pas nécessairement. Un DLR est un état signalé et ne constitue pas automatiquement une vérification indépendante de la réception sur le terminal.
Dois-je considérer un DLR absent comme un échec ?
Pas automatiquement. Enregistrez-le comme absent ou non résolu selon la définition retenue pour le test, appliquez une fenêtre d’observation explicite et évitez de le classer sans éléments supplémentaires.
Puis-je comparer deux routes en me basant uniquement sur leurs taux de livraison ?
Il est imprudent de se baser uniquement sur les pourcentages. Comparez également les numérateurs, les dénominateurs, les états en attente ou non observés, la période, les segments et les conditions du test.
Sources consultées
- 3GPP specifications3GPP
- ITU-T E.164International Telecommunication Union
- GSMA resourcesGSMA
- Sinopsis de pruebas estadísticas no paramétricasUniversidad de Granada