final results in amr field trial - pilot marsa

TUNISIANA Résultats Pilote AMR

Résultats des mesures audio relatives au pilote AMR sur la zone de la Marsa

Version Date Auteur Objet

1 20/12/2004 Med Ikbel BENSLIMAN Pilote AMR

Auteur : Med Ikbel BENSLIMAN

Titre:Ingénieur QdF

Date: Visa : MBS

Validé par : Valérie Lepilliet

Titre:Chef du département

O&M

Date: Visa :

TUNISIANA 1 DT O&M


Table des matières

1. INTRODUCTION.............................................................................................................................3

2. PROTOCOLE DE MESURE...........................................................................................................3

3. RÉSULTATS......................................................................................................................................4

3.1 Mesures sur plateforme...........................................................................................................43.2 Mesures terrain (avant/après).................................................................................................43.3 Mesures après désactivation du « Channel adaptation »........................................................8

4. Conclusion.........................................................................................................................................12

TUNISIANA 2 DT O&M


1. INTRODUCTIONCe document a pour objet de présenter les résultats des mesures de la qualité

audio relatives au test de la fonctionnalité AMR sur le réseau TUNISIANA. L’introduction d’une telle feature a un impact direct sur la qualité de service offerte.

Ces tests ont été faits sur trois phases : une première phase de test sur une plateforme installée à Manouba (MSC), une deuxième sur la zone de Marsa (avec une mesure avant et une mesure après implémentation de l’AMR) et une dernière mesure avec désactivation du « Channel mode adaptation ».

2. Protocole de mesure

Les appels établis sont des appels Mobile vers fixe (PSTN TT) selon un cycle de deux appels sortants (MOC) pour un appel entrant (MTC). La durée totale d’un appel était de 120 secondes (y compris le temps d’établissement de la communication) et chacun comprend 4 clips (ou séquence audio) avec un envoi alterné de la séquence entre les côtés A (mobile) et B (fixe).

On rappelle que chaque clip donne une note LQ (Listening quality) comprise entre 1 et 4.5, celle-ci est mappée sur l’échelle MOS (mean opinion score) représentée dans le tableau ci-dessous afin d’estimer le niveau de qualité perçu:

Intervalle MOS Qualité[1.0 - 2.0 [ Médiocre[2.0 - 2.5 [ Mauvaise[2.5 – 3.0 [ Acceptable[3.0 - 3.5 [ Bonne[3.5 - 4.5 ] Parfaite

TUNISIANA 3 DT O&M


3. Résultats

3.1 Mesures sur plateforme

Les résultats des mesures faites sur plateforme à Manouba ne seront pas détaillés dans ce document. Il restera à noter que ces mesures ont nécessité deux jours de mesures (le 8 et 9 Décembre). Lors de ces tests, on a pu vérifier le comportement théorique des codecs AMR choisis (trois AMR HR : 5.15, 5.9 et 7.4, et trois AMR FR : 5.9, 7.95 et 12.2) en faisant varier le C/I. Il y a eu aussi des tests pour vérifier le bon fonctionnement du « Codec adaptation » (adaptation selon le C/I du codec utilisé) et du « Channel adaptation » (Passage du canal HR à FR et vice-versa via un HO Intracell : HO cause 26 & 27).

Globalement, ces tests se sont bien déroulés sauf qu’il était difficile de simuler des conditions de laboratoire pour les valeurs du C/I étant donné les conditions de propagation aléatoires.

3.2 Mesures terrain (avant/après)

Les mesures « avant » ont été effectuées le 07/12/2004 et les mesures « après » ont été faites le 13/12/2004 sur le BSC pilote TUN5. Deux mobiles type Sagem OT290 (supportant l’AMR) ont été utilisés pour ces tests.

Le parcours emprunté est représenté ci-dessous par son RxLev :

TUNISIANA 4 DT O&M


Les statistiques sur les appels établis sont représentées dans le tableau qui suit :

Avant AprèsAppel Données A->B B->A A->B B->A

Terminé Nombre 138 56 150 66 % 95,83% 93,33% 95,54% 92,96%

Coupure Nombre 3 % 1,91% 0,00%

Echec Nombre 6 4 4 5 % 4,17% 6,67% 2,55% 7,04%

Total 144 60 157 71

Rq : Le taux élevé d’échec d’accès au réseau est dû à un manque de couverture au niveau du port de Sidi Bousaid.

Le tableau représenté ci-dessous donne des statistiques sur les notes LQ issues des séquences audio échangées sur la totalité des appels réussis selon le sens de la communication (Mobile – Fixe ou Fixe – Mobile).

TUNISIANA 5 DT O&M


Direction Clip Avant AprèsA->B Nombre 361 310 Moyenne 3,40 3,22 Min 1,99 1,63 Max 3,68 3,62

Ecart type 0,33 0,30

B->A Nombre 348 302 Moyenne 3,57 3,55 Min 1,01 2,33 Max 3,79 3,78


Total 709 612

On remarque que le LQ moyen a légèrement baissé dans le sens mobile–Fixe. Le détail par codec utilisé donné par le tableau suivant explique mieux cette légère baisse :

Direction Données Codec Avant Codec Après

A->B

Nombre

HR

41

AMR HR

103Moyenne 2,80 3,11

Min 2,23 2,09Max 3,04 3,39

Ecart type 0,18 0,21Nombre

EFR

320

AMR FR

207Moyenne 3,48 3,27

Min 1,99 1,63Max 3,68 3,62


B->A

Nombre

HR

39

AMR HR

137Moyenne 3,01 3,51

Min 1,61 2,53Max 3,20 3,78

Ecart type 0,28 0,19Nombre

EFR309

AMR FR164

Moyenne 3,64 3,58Min 1,01 2,33

TUNISIANA 6 DT O&M


Max 3,79 3,77Ecart type 0,35 0,29

En effet, il y a beaucoup plus de clips utilisant le HR. Ceci s’explique par le « Channel adaptation » qui en détectant de bonnes conditions radio (RxQual=0 …) demande dans les 30 secondes qui suivent l’Assignment Command un intracell HO pour changer de canal FR en HR (HO de confort dans le but d’optimiser l’utilisation des ressources, le sens 2 est un HO d’urgence). Le tableau suivant démontre cette hypothèse avec un nombre d’intracell HO qui est passé de 1 à 70 entre les deux mesures.

Handover Status Nb

re d

e H

an

dovers

Nb

re d

e H

O r

éu

ssis

Nb

re d

e F

ailed

HO

Nb

re d

e I

nte

rcell

HO

Nb

re d

e I

ntr

acell

HO

Avant

Assignment Completed 1 1 0 0 1HO Completed 157 157 0 157 0HO Failed 2 0 2 2 0

Après

Assignment Completed 70 70 0 0 70HO Completed 177 177 0 177 0HO Failed 7 0 7 7 0

On pourra remarquer que les performances du codec AMR HR sont nettement meilleures que le HR classique. En effet, le LQ moyen est supérieur de plus de 0,3. Par contre, l’AMR FR a affiché un LQ moyen légèrement inférieur à l’EFR.

Le graphe ci-dessous représente la variation des notes LQ en fonction de la valeur du RxQual moyen (par clip) avec et sans AMR. L’amélioration introduite par l’AMR est visible sur les échantillons à RxQual à 6 qui ont présenté des notes LQ supérieure à 2,5 allant jusqu’à 3,5 alors que sans AMR, on a enregistré des notes LQ entre 1 et 2. Par contre, on a enregistré plus d’échantillons avec un RxQual supérieur à 5.

TUNISIANA 7 DT O&M


Un autre constat a été fait avec la dégradation introduite par le « Channel adaptation » (sens AMR FR vers HR). En effet, ce HO dégrade fortement la qualité audio avec généralement des interruptions atteignant les 0,3 secondes comme le montre la figure suivante qui représente la corrélation (en rouge) entre la séquence reçue et la séquence référence, ainsi que le « taux d’interruption » sur le signal reçu (en bleu) :

Similarity, Interruptions and Variable Delay

Time [s]5.605.405.205.004.804.604.404.204.003.803.603.403.203.002.802.602.402.202.001.801.601.401.201.000.800.600.400.200.00

Sim

ilarit

y

1

0.8

0.6

0.4

0.2

0

3.962

La séquence peut être entendue en cliquant sur ce lien :

Remarque : cette dégradation a été plus visible sur la zone de Bizerte que sur la zone de la Marsa.

Il a été décidé de désactiver cette option (inhibition des deux types de HO cause 26 & 27) et de refaire une mesure avec deux mobiles : l’un supportant l’AMR et l’autre pas.

3.3 Mesures après désactivation du « Channel adaptation »

Cette mesure a été faite le 20/12/2004 sur le même parcours. Ci-dessous les statistiques sur les tentatives d’appels émises lors de cette mesure :

Appel Données Sans AMR Avec AMR

TUNISIANA 8 DT O&M

Interruption de la parole


Terminé Nombre 80 80 % 96.39% 96.39%

Coupure Nombre 2 1 % 2.41% 1.20%

Echec Nombre 1 2 % 1.20% 2.41%

Total 83 83

Le tableau qui suit représente quelques statistiques sur la qualité audio avec une comparaison entre le mobile ne supportant pas l’AMR et le mobile le supportant.

Direction Clip Sans AMRAvec AMR

A->B

Nombre 148 147Moyenne 3.29 3.35

Min 1.87 2.26Max 3.64 3.62

Ecart type 0.34 0.23

B->A


Min 1.00 1.12Max 3.78 3.74

Ecart type 0.40 0.32Total 293 290

On remarque que l’AMR introduit en moyenne une légère amélioration du score LQ (+0.06). Le détail par codec utilisé est visible dans le tableau ci-dessous :

Direction Codec DonnéesSans AMR

Avec AMR

A->B

HR/AMR HR


Min 2.52 2.80Max 2.96 3.49


EFR/AMR FR


Min 1.87 2.26Max 3.64 3.62


TUNISIANA 9 DT O&M


B->A

HR/AMR HR


Min 2.86 2.42Max 3.16 3.56


EFR/AMR FR


Min 1.00 2.33Max 3.78 3.72


L’amélioration de l’AMR HR par rapport au HR est conséquente : la note LQ moyenne est supérieure de + 0.4.

On remarquera une diminution du nombre de clips utilisant le HR. C’est une conséquence directe de la désactivation du « Channel adaptation ». Le tableau suivant appuie cette hypothèse avec un nombre de HO légèrement supérieur dans le test avec mobile supportant l’AMR.

Handover Status Nb

re d

e H

an

dovers

Nb

re d

e H

O r

éu

ssis

Nb

re d

e F

ailed

HO

Nb

re d

e I

nte

rcell

HO

Nb

re o

f In

tracell

HO

Avec AMR

Assignment Completed - - - - - HO Completed 76 76 0 76 0HO Failed 4 0 4 4 0

Sans AMR

Assignment Completed 1 1 0 0 1HO Completed 88 88 0 88 0HO Failed - - - - -

TUNISIANA 10 DT O&M


Ci-dessous la répartition des notes MOS relatives aux clips audio après mapping selon l’échelle audio présentée dans le § 2. On remarquera une augmentation du nombre de clips jugés comme « parfaits » et surtout une diminution du nombre de clips « médiocres » et « Acceptables ».

0%

20%

40%

60%

80%

100%

Sans AMR Avec AMR

Parfait

Bon

Acceptable

Mauvais

Médiocre

Le dernier aspect à aborder est le comportement de l’AMR en fonction de la valeur du RxQual. Le schéma suivant illustre la variation du LQ en fonction du RxQual et ceci dans les deux cas : avec et sans AMR.

TUNISIANA 11 DT O&M


LQ par RxQual moyen

1

1.5

2

2.5

3

3.5

4

0 1 2 3 4 5 6 7

Sans AMR

Avec AMR

On remarquera une amélioration de la qualité audio (LQ) introduite par l’utilisation de l’AMR. Celle-ci est visible sur les échantillons à RxQual égal à 6 en plus d’un bon comportement pour les valeurs entre 0 et 4 (LQ moyen supérieur à 3).

4. Conclusion

TUNISIANA 12 DT O&M


A la fin de ce pilote de test de la fonctionnalité AMR, les enseignements que l’on peut tirer des résultats obtenus sont :

La non régression des indicateurs de performance sur la zone pilote du BSC TUN5 : les KPI standards (CSSR, CDR, SDR, TCH Assignment…) sont restés stables après l’implémentation de cette feature tout en ayant totalisé un taux de pénétration supérieur à 15 % des mobiles supportant l’AMR.

La stabilité de la qualité audio en global avec une amélioration conséquente sur les échantillons utilisant le Half rate AMR. Par contre, l’introduction de l’AMR a eu pour effet d’amplifier l’utilisation du HR. Un compromis est à trouver entre l’optimisation de la capacité et le confort auditif de nos clients.

La légère dégradation de la qualité audio en moyenne avec l’utilisation du « Channel adaptation » : une augmentation du nombre de HO Intracell (cause 26 & 27) causant des micro-coupures (durée max à 0.3 s) assez gênantes pour le confort audio, sauf que ce phénomène a été observé en masse à Bizerte plutôt qu’à la Marsa. Il serait intéressant d’étudier ce comportement et de vérifier le paramétrage appliqué sur ces deux zones.

L’inhibition du « Channel adaptation » a eu pour effet de réduire considérablement le nombre d’intracell HO et a permis d’améliorer la qualité audio avec moins d’échantillons jugés comme « mauvais » et plus d’échantillons « parfaits » en plus d’un comportement dans de mauvaises conditions radio (mauvais C/I et RxQual important) conforme aux résultats sur plateforme (de point de vue audio).

TUNISIANA 13 DT O&M

final results in amr field trial - pilot marsa

Documents

mesures faites

jours de mesures

mesures aprs dsactivation

mesures audio relatives

amr hr

amr fr

codecs amr

fonctionnalit amr