predizione di malfunzionamenti in reti di telecomunicazioni con tecniche di machine learning
Post on 21-Mar-2017
88 Views
Preview:
TRANSCRIPT
PREDIZIONE DI MALFUNZIONAMENTI IN RETI DI TELECOMUNICAZIONI CON TECNICHE DI MACHINE LEARNING
Relatore: prof. Alberto Bartoli Correlatore: prof. Eric Medvet Laureando: Francesco Occhioni
Anno accademico: 2015-2016
Tesi di Laurea Magistrale in Ing. Informatica
Introduzione
Collaborazione con:
● Emaze S.p.A
● Operatore Telefonico Nazionale
1/23
Obbiettivi
Migliorare:
● Il servizio del CRM● La soddisfazione del cliente
Sviluppo e realizzazione di un Proof of Concept per:
● Strumento di supporto alla proactive assurance● Valutare applicazione di tecniche di Machine Learning
2/23
Obbiettivi
Cosa effettivamente “prevedere?”
Come poter definire un guasto?
Necessario uno studio e un reverse engineeringdei sistemi informativi preesistenti
3/23
Stato attuale - CPE
Customer Premise Equipment
● Dispositivo assegnato all’utente● Connessione alla WAN
Identificabile da Link Reference
Differenziati per tipo di linea e tipo di servizi offerti
WAN
CPE
Link Reference
4/23
Stato attuale - Monitoring
3 Sistemi per il monitoraggio dei CPE in tempo reale:
● SeQuMo● CDSeQuMo● HaWMo
Coprono il 95% della customer base
Rilevazione dei Key Performance Indicator (KPI) da ogni CPE
#SeQuMo = 65% sul totale#CDSeQuMo = 30% sul totale#HaWMo = 15% sul totale
5/23
Stato attuale - SeQuMo
Rilevazione dei KPI ogni 15 minuti
KPI:
● Mos - Mean Opinion Score● Latenza HTTP● Latenza DNS● Reboot● Stato Linea Primaria
6/23
Stato attuale - CDSeQuMo
Rilevazione dei KPI ogni 15 minuti
KPI:
● Packet Loss ● Download Rate● Upload Rate● Mos● Latenza HTTP● Latenza DNS● Reboot● Stato linea Primaria
7/23
Stato Attuale - Ticketing
Ticket: lamentela o un reclamo da parte della clientela in relazione ad un disservizio sull’infrastruttura di rete
Data di Apertura - Data di Chiusura - Close Code
Previsione Ticket ≈ Previsione Guasti
8/23
Classificatore - Costruzione DataSet
Riferimenti temporali:
Istanza Positiva:
● “Tra t+G e t+G+H si aprirà un Ticket su questo CPE”
Istanza Negativa:
● “Tra t+G e t+G+H non si aprirà un Ticket su questo CPE”
9/23
Classificatore - N/A e Sbilanciamento
Approcci comuni in letteratura:
Trattamento dei Missing Values ( N/A ):
● Sostituiamo ogni N/A con il valore medio della feature● “Non c’è” ≣ “C’è ed ha il valore medio”
Trattamento dei dati sbilanciati:
● #istanze negative ≅ 1000 #istanze positive● Training Cost Sensitive
10/23
Classificatore - Valutazione Prestazioni
Confusion Matrix:
True Positive Rate:
● % Ticket predetti che si sono verificati
False Positive Rate:
● % Ticket predetti che non si sono verificati
11/23
Classificatore - Valutazione Prestazioni
Reciever Operating Characteristics:
Valuto TPR per FPR=0.25
Quanti ticket riesco a prevederecon un 25% di falsi allarmi ?
12/23
Classificatore
Random Forest
● Basato su alberi decisionali● Molto efficiente● Resistente all’overfitting
Alberi Decisionali
● Facilità di interpretazione● Buona accuratezza generale● Robustezza al rumore
13/23
Risultati
14/23
Per ogni sistema di monitoraggio:
● TPR
● FPR
● TPR con FPR = 0,15%
Risultati - CDSeQuMo (TPR)
Con granularità di 15 minuti prevedo il 65% dei Ticket
Con granularità di un’ora prevedo il 90% dei ticket
Con granularità H>1h prevedo il 95% dei ticket
15/23
Risultati - CDSeQuMo (FPR)
All’aumentare della granularità H aumentano i falsi allarmi
Worst Case:
● Falsi Allarmi ≅ 3%
16/23
Risultati - CDSeQuMo (TPR@0,15%)
Con granularità di 15 minuti prevedo solo il 25% dei Ticket
Con granularità H>1h prevedo il 75% dei ticket
17/23
Risultati - SeQuMo (TPR)
Con granularità di 15 minuti prevedo il 65% dei Ticket
Con granularità di un’ora prevedo il 85% dei ticket
Con granularità H>1h prevedo il 90% dei ticket
18/23
Risultati - SeQuMo (FPR)
All’aumentare della granularità H aumentano i falsi allarmi
Worst Case:
● Falsi Allarmi ≅ 15%
19/23
Risultati - SeQuMo (TPR@0,15%)
Previsione dei ticket del 60%
Con G > 5h le prestazioni peggiorano sensibilmente
20/23
Conclusione
I classificatori funzionano:
● Previsione dei Ticket in percentuale alta● Bassa percentuale di falsi allarmi● Buone le previsioni con falsi allarmi dello 0,15%
Prestazioni migliori su CDSeQuMo rispetto a SeQuMo
● KPI di raggiungibilità e Upload/Download rate migliorano il classificatore
21/23
Sviluppi Futuri
● Presentazione delle prestazioni al committente
● Rilascio in produzione
● Valutazione in ambiente reale e taratura del classificatore
● Valutare le prestazioni in base a diverse tipologie linea
● Predizione di guasti
22/23
Fine
Grazie per l’attenzione!
top related