Download - Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning
![Page 1: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/1.jpg)
PREDIZIONE DI MALFUNZIONAMENTI IN RETI DI TELECOMUNICAZIONI CON TECNICHE DI MACHINE LEARNING
Relatore: prof. Alberto Bartoli Correlatore: prof. Eric Medvet Laureando: Francesco Occhioni
Anno accademico: 2015-2016
Tesi di Laurea Magistrale in Ing. Informatica
![Page 2: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/2.jpg)
Introduzione
Collaborazione con:
● Emaze S.p.A
● Operatore Telefonico Nazionale
1/23
![Page 3: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/3.jpg)
Obbiettivi
Migliorare:
● Il servizio del CRM● La soddisfazione del cliente
Sviluppo e realizzazione di un Proof of Concept per:
● Strumento di supporto alla proactive assurance● Valutare applicazione di tecniche di Machine Learning
2/23
![Page 4: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/4.jpg)
Obbiettivi
Cosa effettivamente “prevedere?”
Come poter definire un guasto?
Necessario uno studio e un reverse engineeringdei sistemi informativi preesistenti
3/23
![Page 5: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/5.jpg)
Stato attuale - CPE
Customer Premise Equipment
● Dispositivo assegnato all’utente● Connessione alla WAN
Identificabile da Link Reference
Differenziati per tipo di linea e tipo di servizi offerti
WAN
CPE
Link Reference
4/23
![Page 6: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/6.jpg)
Stato attuale - Monitoring
3 Sistemi per il monitoraggio dei CPE in tempo reale:
● SeQuMo● CDSeQuMo● HaWMo
Coprono il 95% della customer base
Rilevazione dei Key Performance Indicator (KPI) da ogni CPE
#SeQuMo = 65% sul totale#CDSeQuMo = 30% sul totale#HaWMo = 15% sul totale
5/23
![Page 7: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/7.jpg)
Stato attuale - SeQuMo
Rilevazione dei KPI ogni 15 minuti
KPI:
● Mos - Mean Opinion Score● Latenza HTTP● Latenza DNS● Reboot● Stato Linea Primaria
6/23
![Page 8: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/8.jpg)
Stato attuale - CDSeQuMo
Rilevazione dei KPI ogni 15 minuti
KPI:
● Packet Loss ● Download Rate● Upload Rate● Mos● Latenza HTTP● Latenza DNS● Reboot● Stato linea Primaria
7/23
![Page 9: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/9.jpg)
Stato Attuale - Ticketing
Ticket: lamentela o un reclamo da parte della clientela in relazione ad un disservizio sull’infrastruttura di rete
Data di Apertura - Data di Chiusura - Close Code
Previsione Ticket ≈ Previsione Guasti
8/23
![Page 10: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/10.jpg)
Classificatore - Costruzione DataSet
Riferimenti temporali:
Istanza Positiva:
● “Tra t+G e t+G+H si aprirà un Ticket su questo CPE”
Istanza Negativa:
● “Tra t+G e t+G+H non si aprirà un Ticket su questo CPE”
9/23
![Page 11: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/11.jpg)
Classificatore - N/A e Sbilanciamento
Approcci comuni in letteratura:
Trattamento dei Missing Values ( N/A ):
● Sostituiamo ogni N/A con il valore medio della feature● “Non c’è” ≣ “C’è ed ha il valore medio”
Trattamento dei dati sbilanciati:
● #istanze negative ≅ 1000 #istanze positive● Training Cost Sensitive
10/23
![Page 12: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/12.jpg)
Classificatore - Valutazione Prestazioni
Confusion Matrix:
True Positive Rate:
● % Ticket predetti che si sono verificati
False Positive Rate:
● % Ticket predetti che non si sono verificati
11/23
![Page 13: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/13.jpg)
Classificatore - Valutazione Prestazioni
Reciever Operating Characteristics:
Valuto TPR per FPR=0.25
Quanti ticket riesco a prevederecon un 25% di falsi allarmi ?
12/23
![Page 14: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/14.jpg)
Classificatore
Random Forest
● Basato su alberi decisionali● Molto efficiente● Resistente all’overfitting
Alberi Decisionali
● Facilità di interpretazione● Buona accuratezza generale● Robustezza al rumore
13/23
![Page 15: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/15.jpg)
Risultati
14/23
Per ogni sistema di monitoraggio:
● TPR
● FPR
● TPR con FPR = 0,15%
![Page 16: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/16.jpg)
Risultati - CDSeQuMo (TPR)
Con granularità di 15 minuti prevedo il 65% dei Ticket
Con granularità di un’ora prevedo il 90% dei ticket
Con granularità H>1h prevedo il 95% dei ticket
15/23
![Page 17: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/17.jpg)
Risultati - CDSeQuMo (FPR)
All’aumentare della granularità H aumentano i falsi allarmi
Worst Case:
● Falsi Allarmi ≅ 3%
16/23
![Page 18: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/18.jpg)
Risultati - CDSeQuMo (TPR@0,15%)
Con granularità di 15 minuti prevedo solo il 25% dei Ticket
Con granularità H>1h prevedo il 75% dei ticket
17/23
![Page 19: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/19.jpg)
Risultati - SeQuMo (TPR)
Con granularità di 15 minuti prevedo il 65% dei Ticket
Con granularità di un’ora prevedo il 85% dei ticket
Con granularità H>1h prevedo il 90% dei ticket
18/23
![Page 20: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/20.jpg)
Risultati - SeQuMo (FPR)
All’aumentare della granularità H aumentano i falsi allarmi
Worst Case:
● Falsi Allarmi ≅ 15%
19/23
![Page 21: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/21.jpg)
Risultati - SeQuMo (TPR@0,15%)
Previsione dei ticket del 60%
Con G > 5h le prestazioni peggiorano sensibilmente
20/23
![Page 22: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/22.jpg)
Conclusione
I classificatori funzionano:
● Previsione dei Ticket in percentuale alta● Bassa percentuale di falsi allarmi● Buone le previsioni con falsi allarmi dello 0,15%
Prestazioni migliori su CDSeQuMo rispetto a SeQuMo
● KPI di raggiungibilità e Upload/Download rate migliorano il classificatore
21/23
![Page 23: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/23.jpg)
Sviluppi Futuri
● Presentazione delle prestazioni al committente
● Rilascio in produzione
● Valutazione in ambiente reale e taratura del classificatore
● Valutare le prestazioni in base a diverse tipologie linea
● Predizione di guasti
22/23
![Page 24: Predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning](https://reader034.vdocuments.mx/reader034/viewer/2022042907/58d0162d1a28ab97708b47e9/html5/thumbnails/24.jpg)
Fine
Grazie per l’attenzione!