Cotonou, Benin, 16-17 July 2012 Cadre de la QoS Mobile : Compteurs, KPI, KQI Joachim Pomy,...
-
Upload
ansel-collignon -
Category
Documents
-
view
125 -
download
0
Transcript of Cotonou, Benin, 16-17 July 2012 Cadre de la QoS Mobile : Compteurs, KPI, KQI Joachim Pomy,...
Cotonou, Benin, 16-17 July 2012
Cadre de la QoS Mobile : Compteurs, KPI, KQI
Joachim Pomy, Rapporteur du CE 12 Consultant, Opticom GmbH
Atelier UIT sur “Atelier sur l’Evaluation Pratique des Paramètres
QoS/QoE de Conformité Règlementaire”
(Cotonou, Bénin, 16-17 Juillet 2012)
Cadre de la QoS Mobile : Compteurs, KPI, KQI
UIT-T contre Les Normes Mobiles STQ de l’ETSIApproche Multidimensionnelle – Choix des paramètres de la QoS mobiles perçus par l’UtilisateurEvaluation de la Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI
ITRs: Setting the stage for a connected world
[Table des Matières]
Travaux de l’UIT-T sur la QoS Mobile (1)
L’UIT-T n’a point de normes détaillées sur la QoS Mobile
L’industrie ici se repose sur une solution du compteur du réseau principal à cause des différentes tendances/philosophies QoSAinsi elle hésite à normaliser les KPIs au sein de l’UIT-T
D‘abord les Recommandations UIT-T sur la QoS couvrent
Les aspects des conditions du TerminalLes aspects de la qualité bout-en-boutLes aspects portant perceptions de l‘utilisateurMais pas les KPIs détaillés pour le Mobile
Les Travaux sur la QoS Mobile de l’ETSI
L’STQ et son sous comité MOBILE STQ de l’ETSI prennent les aspects relatifs au bout-en-bout et s’en sert comme point de repère pour la QoS MOBILE Ils ont publiés une série de normes concises internationalement reconnue
Cadre de la QoS Mobile: Compteurs, KPI, KQI
L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’UtilisateurEvaluation de la Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI
ITRs: Setting the stage for a connected world
[Table des Matières]
Rubriques QoS en Mobile
Le modèle QoS pour le mobile a quatre rubriques.Le premier rubrique est la disponibilité du Réseau
Définit plutôt la QoS du point de vue du fournisseur de service que de l’utilisateur de service
Le deuxième rubrique est l’accès du RéseauDu point de vue de l’utilisateur les conditions élémentaires de tous les autres aspects et paramètres QoS
Le troisième rubrique contient autres aspects QoS
L’accès au service, intégrité du service & la continuabilité du service
Les différents services se trouvent au quatrième rubrique
Leurs résultats sont les paramètres QoS comme perçus par l’utilisateur
Aspects de la QoS Mobile
Netw orkAccessibility
c ircuitsw itched
packetsw itched
ServiceAccessibility
ServiceIntegrity
ServiceRetainability
TelephonySMS
PingFile
TransferMMS
Netw orkAvailability
VideoTelephony
WebBrow sing
StreamingPoC
MobileBroadcast
Layer 2
Layer 3
Layer 4
Layer 1
La QoS Mobile à Trace(1)
TéléphonieSMSMMS
Téléphonie VidéoSéquence VidéoNavigation Internet
Si nous suivons l‘approche multidimensionnelle
Focus sur les évènements qui sont perçus par l‘utilisateurFocus sur les services les plus appropriés dans le marché
La QoS Mobile à Trace (2)
Rubrique 1Non Disponibilité du Réseau Radio [%]Rubrique 2Choix du Réseau et Ratio d’echec d’Enregistrement [%]
La QoS Mobile à Trace (3)
Rubrique de la Téléphonie 3Téléphonie de la Non Accessibilité du Service [%]
Rubrique de la Téléphonie 4Temps de Préparation de la Téléphonie [s]Ratio de Libération Prématurée [%]
La QoS Mobile à Trace (4)
Rubrique SMS 3Non Accessibilité du Service SMS [%]
Rubrique SMS 4Délai de livraison de Bout-En-Bout du SMS [s]Ratio d’Exécution Echec du SMS [%]
La QoS Mobile à Trace (5)
Rubrique MMS 3Le MMS Envoie le Ratio Echec [%]
Rubrique MMS 4Temps de Livraison Bout-En-Bout [s]Le MMS Bout-En-Bout du Ratio Echec [%]
La QoS Mobile à Trace (6)
Rubrique de la Téléphonie Vidéo 3Non-accessibilité du Service VT [%]
Rubrique de la Téléphonie Vidéo 4Temps de Préparation Audio/Vidéo [s]Ratio de Libération Prématurée d’Appel VT [%]
La QoS Mobile à Trace (7)
Rubrique de la Séquence Vidéo 3Non-Accessibilité du Service Séquentiel [%]
Rubrique 4:Temps d’Accès du Service Séquentiel [s]Ration Echec de Reproduction Séquentielle [%]
La QoS Mobile à Trace (8)
Rubrique Navigation Internet (HTTP) 3Non-Accessibilité du Service HTTP [%]
Rubrique Navigation Internet (HTTP) 4Temps de Préparation HTTP [s]Ratio de la Session du Taux de Défaillance HTTP [%]Ratio Echec du Transfert des Données HTTP [%]
La QoS Mobile à Trace (9)
Cette approche nous emmenerait à mettre fin à un taux > 20 paramètre QoS
Le tout est relatif aux évènements de perception de l‘utilisateurMais ceci est juste des paramètres de bout-en-boutPlusieurs KPIs ont défini des évènements relatifs aux chips du réseau, transmission etc.
Cadre de la QoS Mobile: Compteurs, KPI, KQI
L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateurEvaluation Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI
ITRs: Setting the stage for a connected world
[Table des Matières]
Evaluations de la Téléphonie dans le Réseau (1)
Définition de la Transaction et des types de transaction
La transaction de base du test de la téléphonie est équivalente à un unique appel vers un poste téléphonique. Nous supposons que l’appel du partenaire soit typiquement un type d’extension au réseau fixe pour éviter les incertitudes relatives à une seconde connexion mobile.Le type est soit un Mobile Originated (MO) ou un Mobile Terminated (MT).C’est supposé qu’une fois qu’une connexion est établie, pour d’autres évaluation ce n’est pas important quelle partie l’ait sollicitée. Toutefois, le flux du paramètre des données audio ne seront logiquement pas lié au type d’appel.
Evaluations de la Téléphonie dans le Réseau (2)
Contenu de la QualitéLes données d’évaluation de la qualité du contenu produites au point de réceptionPour le stockage du contenu des données des liaisons descendantes c’est directPour le content de la liaison montante, à un moment indiqué, les résultats doivent être intégrésPour le contenu d’évaluation de la qualité des échantillons voix transmis, au moins les méthodes suivantes sont possibles:
Evaluations de la Téléphonie dans le Réseau (3)
Contenu de la qualité (suite.)Evaluation à Temps Réel
Mode continuL’aligorithme de l’évaluation de la qualité voix détermine à temps réel la MOS-LQO
Evaluation différéeContenu enregistré d’abord Traité plus tard
Le traitement des données doit s’assurer uniquement que le contenu valide des données de qualité est traité
Dans la "connexion active" fenêtre temporelle
Evaluations de la Téléphonie dans le Réseau (4)
Vérification d’utilisation d’une connexion à deux sensSeuls les appels à une connexion à deux sens avec des informations valides de bout en bout devra être prise en compte pour le contenu de l’ évaluation de la qualité (appels valides).Les appels non valides traités comme appels échoués
, avec un indicateur pour cette cause particulière
Cadre de la QoS Mobile: Compteurs, KPI, KQI
L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateurEvaluation Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI
ITRs: Setting the stage for a connected world
[Table des Matières]
Intervalles de Confiance des Différents Type d‘Echantillon (1)
Les exemples suivants montrent l’effet des différents types d’échantillon dans la campagne d’évaluation. C’est aussi basé sur les formules Pearson-Clopper pour le calcul des intervalles de confiance. Toutefois, les exemples sont valides de façon générique et même pour les petites tailles d’échantillon. Pour de grands nombres de l’échantillon, le calcul des intervalles de confiance basé sur l’approximation d’une distribution normale peut s’appliquer.
Les différents graphes sont illustrés: les tailles d’échantillon dans la gamme:Entre 100 et 1 100 échantillons;Entre 1 100 et 2 100 échantillons; etEntre 1 000 et 11 000 échantillons.
Intervalles de Confiance des Différents Type d‘Echantillon (2)
0 20 40 60 80 100
05
10
15
20
25
30
Width of confidence interval for fixed sample size (Pearson-Clopper)
Estimated rate in percent
Wid
th o
f co
nfid
enc
e in
terv
al i
n pe
rce
nt
x
xx
xx
xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx
xx
x
x+
++
++++++++++++++++++++++++++++++++++++++++++++
++
+
+o
oo
oooooooooooooooooooooooooooooooooooooooooooooo
o
ox
xx
xx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx
x
x++
++++++++++++++++++++++++++++++++++++++++++++++++
+
ox+ox+
100 Samples300 Samples500 Samples700 Samples900 Samples1100 Samples
Intervalles de Confiance des Différents Type d‘Echantillon (3)
0 20 40 60 80 100
01
23
45
67
Width of confidence interval for fixed sample size (Pearson-Clopper)
Estimated rate in percent
Wid
th o
f co
nfid
en
ce in
terv
al i
n p
erc
en
t
x
x
x
x
xx
xx
xx
xx
xxx xxx xxx xxx xxx xxx xxx xxx xxxx
xx
xx
xx
x
x
x
x
x+
+
+
++
++
++
++
++++++++++++++++++++++++++++
++
++
++
++
+
+
+
+o
o
o
oo
oo
oo
oo
oooooooooooooooooooooooooooooo
oo
oo
oo
o
o
o
ox
x
x
xx
xx
xx
xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xx
xx
xx
xx
x
x
x
x+
+
+
++
++
++
++++++++++++++++++++++++++++++++
++
++
++
+
+
+
+
ox+ox+
1100 Samples1300 Samples1500 Samples1700 Samples1900 Samples2100 Samples
Intervalles de Confiance des Différents Type d‘Echantillon (4)
0 20 40 60 80 100
02
46
81
0
Width of confidence interval for fixed sample size (Pearson-Clopper)
Estimated rate in percent
Wid
th o
f co
nfid
en
ce in
terv
al i
n p
erc
en
t
x
xx
xx
xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx
xx
x
x+
++
++++++++++++++++++++++++++++++++++++++++++++
++
+
+0
00
0000000000000000000000000000000000000000000000
0
0x
xxxx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx
x
x+
++++++++++++++++++++++++++++++++++++++++++++++++
+
+
ox+ox+
1000 Samples3000 Samples5000 Samples7000 Samples9000 Samples11000 Samples
Rapport des résultats
Le document TS 102 250-6 de l’ETSI décrit quels éléments d’information devraient être fournis au lecteur à la production d’un rapport test
Lorsque les valeurs quantiles sont utilisées, nous devons bien noter que le traitement des quantiles sépare un faible pourcentage de données aberrantes du reste des données. Ceci signifie que:
Si les plus faibles valeurs représentent un meilleur résultat de la perspective du client, un petit pourcentage contenant les plus fortes valeurs pourraient être séparées en calculant un quantile de 95% ou un quantile de 90%. Ceci est le cas d’exemple des valeurs durée.
Rapport des résultats Si les plus fortes valeurs représentent un meilleur résultat à partir des perspectives du client, un petit pourcentage contenant les plus faibles valeurs pourrait être dégagé en calculant un quantile de 5% ou un quantile de 10%. Ceci est le cas d’exemple des valeurs de traitement.Concernant le contenu qualité, le calcul du quantile approprié s’oriente à l’échelle des résultats déterminés d’analyse. En réalité, des algorithmes définissent une valeur de 0 à une échelle de 0 à 5 comme la meilleure qualité tandis que les autres définissent la valeur de 5 comme étant la plus grande éventuelle qualité
Cadre de la QoS Mobile: Compteurs, KPI, KQI
L’UIT-T contre les Normes Mobile STQ de l’ETSIApproche multidimensionnelle – Choix des Paramètres Qos Mobile perçus par l’uilisateurEvaluation Qualité Voix – Drive TestingStatistiques – Présentation des RésultatsCompteurs, KPI, KQI
ITRs: Setting the stage for a connected world
[Table des Matières]
Les KPIs basés sur les Compteurs Réseau
Spécifique fournisseur = KPIs internes du réseaudifférentes stratégies
Comment compter les évènements réseauQuels évènements sont assimilés à quel(s) compteur(s)
Nécessite la connaissance d’un système spécifiqueLes spécialistes avec une connaissance détaillée du systèmeTester les compteurs
documentation peut être défectueuseApproche au compteur change avec l’actualisation du système
Opérateurs Mobile se battent avec ceciLa plupart des opérateurs vivent dans un cadre multi fournisseurLes compteurs des différents fournisseurs ne peuvent point être directement comparésCela nécessite une attention et une stratégie continues
KPIs selon les perspectives des utilisateurs = KQIs
Indicateurs clés sur la Qualité (KQIs) = indicateurs externes
Peuvent être évalués dans le domaine
Pour le Suivi,les Règles etc.Un post téléphonique d’abonné peut être défini, ex. À partir du document 102 250 de l’ETSI portant sur les séries des normes
Applicables à tous les fournisseurs & opérateursPas limités au mobile, mais aussi bon pour la bande large
KPIs par rapport aux KQIs
Parfois confusKPIs = indicateurs internes
Une partie de la performance du réseauBasés sur les compteurs du réseauImportant pour les opérations, maintenance, modèle commercialPourraient être rapportés, audités etc.Toutefois, sans grande signification lorsque c’est hors contexte
KQIs = indicateurs externesBase de toute évaluation QoS telle que perçue par l’utilisateurFournisseur indépendantOpérateur indépendantIdéal pour comparer les différents opérateurs sur une base statistiqueNe peuvent faire l’objet de rapport à partir du système lui-mêmeNécessite une sorte de test sur le terrain, au volant d’un véhicule, à pied etc.
Questions ?
Contact:[email protected]