streaming telemetry 5g-vinni - esnog · streaming telemetry concepto streaming telemetry is a new...

Streaming TelemetryGORE 23

5G-VINNI

Sonia Fernandez Tejerıa

17 de Mayo, 2019

Indice

1. Introduccion

2. Estado del arte en la gestion de redes

3. Motivacion

4. Streaming Telemetry

5. Caso de uso

6. Conclusiones

,

17 de Mayo, 2019 Streaming Telemetry 1

Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


IntroduccionAutomatizacion de red y Streaming Telemetry

Dev

ice

Prov

isio

nin

g

Trou

ble

-Shoo

ting

Compliance

Network Automation

DataCollection

,



Network Monitoring

Dev

ice

Prov

isio

nin

g

Trou

ble

-Shoo

ting

Compliance

Network Automation

DataCollection

,



Network Monitoring

PullSNMP

Dev

ice

Prov

isio

nin

g

Trou

ble

-Shoo

ting

Compliance

Network Automation

DataCollection

,



Network Monitoring

PullSNMP

PushStreaming Telemetry

Dev

ice

Prov

isio

nin

g

Trou

ble

-Shoo

ting

Compliance

Network Automation

DataCollection

,


Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


Estado del arteRedes actuales - Heterogeneidad

xDSL

FTTx

2G/3G/4G HFC

WiMAX

WiFi

Satellite

,


Estado del arteRedes actuales - Multi-Fabricante

,


Estado del arteRedes actuales - Multiples Soluciones de Gestion

Multiples Soluciones de Gestión

xDSL

FTTx

2G/3G/4G HFC

WiMAX

WiFi

Satellite

,


Estado del arteSoluciones de gestion

CLIConfiguración & monitorización

Dependiente del contexto

Salida sin formato

No estandarizado

,



CLIConfiguración & monitorización


Salida sin formato

No estandarizado

Syslog

Informe de eventosimportantes

Poca uniformidad enel contenido del mensaje

,



IPFIXCLIConfiguración & monitorización


Salida sin formato

No estandarizado

Syslog

Informe de eventosimportantes

Poca uniformidad enel contenido del mensaje

Información sobre flujos IP

Solo informaciónrelacionada con losflujos de datos

,



SNMPSimple Network Management Protocol

SNMPv1 SNMPv2 SNMPv3

Internet Architecture Board Workshop - RFC 3535

,


Soluciones de gestion de redSNMP - Simple Network Management Protocol

• Gestion a nivel de Aplicacion para redes TCP/IP• Muy sencillo → Puede implementarse en cualquier

dispositivo• Mecanismo de Polling para la recoleccion de informacion• Internet Network Management Framework → SNMP + MIB

+ SMI

SNMP Manager

Trap Receiver

SNMP Agent 1

ManagedObjects

SNMPAgent 2

ManagedObjects

SNMPAgent 3

ManagedObjects

SNMPAgent 4

ManagedObjects

GET/SET Request [Manager]

GET/SET Response [Agents]

Traps

SNMP

IP

Ethernet

UDP

,



• Gestion a nivel de Aplicacion para redes TCP/IP

• Muy sencillo → Puede implementarse en cualquierdispositivo• Mecanismo de Polling para la recoleccion de informacion• Internet Network Management Framework → SNMP + MIB

+ SMI

SNMP Manager

Trap Receiver

SNMP Agent 1

ManagedObjects

SNMPAgent 2

ManagedObjects

SNMPAgent 3

ManagedObjects

SNMPAgent 4

ManagedObjects



Traps

SNMP

IP

Ethernet

UDP

,




dispositivo

• Mecanismo de Polling para la recoleccion de informacion• Internet Network Management Framework → SNMP + MIB

+ SMI

SNMP Manager

Trap Receiver

SNMP Agent 1

ManagedObjects

SNMPAgent 2

ManagedObjects

SNMPAgent 3

ManagedObjects

SNMPAgent 4

ManagedObjects



Traps

SNMP

IP

Ethernet

UDP

,




dispositivo• Mecanismo de Polling para la recoleccion de informacion

• Internet Network Management Framework → SNMP + MIB+ SMI

SNMP Manager

Trap Receiver

SNMP Agent 1

ManagedObjects

SNMPAgent 2

ManagedObjects

SNMPAgent 3

ManagedObjects

SNMPAgent 4

ManagedObjects



Traps

SNMP

IP

Ethernet

UDP

,




dispositivo• Mecanismo de Polling para la recoleccion de informacion• Internet Network Management Framework → SNMP + MIB

+ SMI

SNMP Manager

Trap Receiver

SNMP Agent 1

ManagedObjects

SNMPAgent 2

ManagedObjects

SNMPAgent 3

ManagedObjects

SNMPAgent 4

ManagedObjects



Traps

SNMP

IP

Ethernet

UDP

,



SNMP soporta

X Redes Heterogeneas

X Redes Multi-Fabricante

X Implementacion encualquier dispositivo

Redes a gran escala

× Escalado pobre - Lentitud conel incremento de datos

× Extensibilidad limitada

× Semantica y ordenacionestricta

,



SNMP soportaX Redes Heterogeneas



Redes a gran escala

× Escalado pobre - Lentitud conel incremento de datos



,



SNMP soportaX Redes Heterogeneas



Redes a gran escala× Escalado pobre - Lentitud con

el incremento de datos



,



La monitorizacionbasada en SNMP

necesita unaactualizacion

,


Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


MotivacionRetos que abordar - Requisitos

• Necesidad de gestionar redes de gran escala eficientemente

• Requisitos de monitorizacion en Tiempo Real

• Abstraccion en la gestion de las redes → Independencia delas implementaciones subyacentes

• Interfaces de gestion de Alto Nivel

• Modelos de datos Comunes

Streaming Telemetry

Data Model-Driven

,


Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


Streaming Telemetry

PUSHno

PULL

,


Streaming Telemetry

PUSH

noPULL

,


Streaming Telemetry

PUSHno

PULL

,


Streaming Telemetry

PUSHno

PULL,


Streaming TelemetryConcepto

Streaming telemetry is a new approach

for network monitoring in which data is

streamed from devices continuously with

efficient, incremental updates. Operators can

subscribe to the specific data items they

need, using open data models as the

common structure and interface.

,


Streaming TelemetryFuncionamiento basico

Collector

PUBLISHERS

SUBSCRIBERS

,


Streaming TelemetryArquitectura

YANG Models(native, open, common)

GPBJSONXML

NETCONF gRPC

Collectors & Applications

RESTCONF

,


Streaming TelemetryProtocolos de transporte


GPBJSONXML

NETCONF RESTCONF gRPC


,


Streaming TelemetryProtocolos de codificacion


GPBJSONXML



,


Streaming TelemetryModelos de datos


GPBJSONXML



,



Industry Standard

• Definicion delestandar

(IETF, ITU, OpenConfig,

etc.)

• Cumple con elestandar

ietf-diffserv-policy.yang

Vendor Specific

• Definicion delfabricante

(Cisco, Arista, etc.)

• Unico para lasplataformas de losfabricantes

cisco-memory-stats.yang

,



Industry StandardIndustry Standard

• Definicion delestandar

(IETF, ITU, OpenConfig,etc.)

• Cumple con elestandar

ietf-diffserv-policy.yang

Vendor SpecificVendor Specific

• Definicion delfabricante

(Cisco, Arista, etc.)

• Unico para lasplataformas de losfabricantes

cisco-memory-stats.yang

,


Modelos de datosOpenConfig

Data ModelsModels for commonconfiguration and

operational state dataacross platforms

Streaming Telemetry

Scalable, secure, real-timemonitoring with

modern streaming protocols

RPCs and ToolsManagement RPC specsand implementations

Tooling to build configand monitoring stacks

penConfig

Projects

,


OpenConfigParticipantes

,


OpenConfigProtocolos


GPBJSONXML



penConfig

,


OpenConfigGitHub

Herramientas disponibles:( https://github.com/openconfig)

• public ⇒ Repositorio donde se publican los modelos de datosdefinidos por OpenConfig

• gNMI ⇒ gRPC Network Management Interface

• ygot (YANG Go Tools) ⇒ Generacion de estructuras Go paraun conjunto de modulos YANG

• gNOI ⇒ gRPC Network Operations Interface

• goyang ⇒ Analizador y compilador YANG para producirobjetos de lenguaje Go

• oc-pyang ⇒ Plugins OpenConfig para el validador pyang

,


Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


Caso de uso5G-VINNI

5G-VINNI5G Verticals Innovation Infrastructure

ICT-17-2018

,


5G-VINNIObjetivos

Construir un conjunto de instalaciones para 5G,extremo a extremo y abierta que permita:X Demonstrar la viabilidad de los KPIs de red definidos por

el 5G PPPX Ser accesible y utilizada por las industrias verticales en la

llamada ICT-19:

Realizar pruebas de investigacionValidar los KPIs principales en un entornomulti-usuario

Streaming TelemetryVALIDATED

,


5G-VINNINetwork Slices

,


5G-VINNIFramework de Validacion y Monitorizacion

Esta compuesto por ...

X Sistema de Validacion → Servicios de Validacion &Experimentacion

X Sistema de Monitorizacion → Monitorizar todos loscomponentes

,


5G-VINNIAgente de Monitorizacion - Objetivo

Users Prometheus

rafanaKafka Bus

gNMI client

Telemetry Service

penConfig

VNF A.1

NS A

penConfig

VNF B.1

NS B

penConfig

VNF C.1

NS C

,



Users

Kafka Bus

gNMI client

Telemetry Service

getInfo(ns, vnf, path)

subscribe(path, IP)

sendInfo

pushInfogetInfo

rafana

Prometheus

saveInfo

penConfig

VNF A.1

NS A

penConfig

VNF B.1

NS B

penConfig

VNF C.1

NS C

,



Users

Kafka Bus

rafana

gNMI client

Telemetry Service

changeConf

sendAlarm

Prometheus

sendAlarm

getInfo

penConfig

VNF A.1

NS A

penConfig

VNF B.1

NS B

penConfig

VNF C.1

NS C

,


5G-VINNIAgente de Monitorizacion - Estado

Docker Stack --> 5GVINNI_metrics

kafka-exporter container

host:12340

prometheus container

host:9090

grafana container

host:3000

kafka container

host:9292

gNMI container

host:80

network --> netMetrics

Git Repo

docker-compose.yml

gNMI --> Dockerfile sftejeria/kafka-exporter

grafana/grafana

wurstmeister/kafka

prom/prometheus wurstmeister/zookeeper

zookeeper container

$ docker stack deploy$ ./start.sh {IP} {gRPC port} {user} {password} {query path}

,


5G-VINNICliente gNMI

Modificacion del cliente gNMI definido enhttps://github.com/openconfig

Cambiar el formato de salida ⇒ Cumplir estilodefinido en YANG

× Inicialmente ⇒/interfaces/interface/Ethernet25/

state/counters/in-unicast-pkts

X Modificacion ⇒/interfaces/interface[name=Ethernet25]/

state/counters/in-unicast-pkts

,


5G-VINNICliente gNMI

El mensaje de salida se parsea siguiendo el formatoYANG ...module: openconfig-interfaces +--rw interfaces +--rw interface* [name] +--rw name +--rw config [Output Removed] +--ro state | +--ro name? | +--ro type | +--ro mtu? [Output Removed] | +--ro counters | +--ro in-octets? | +--ro in-pkts? | +--ro in-unicast-pkts? [Output Removed]

LeafLeaf & Key

Leaf

Leaf

Leaf

/interfaces/interface[name=Ethernet25]/ state/counters/in-unicast-pkts

Leaf Leaf

Leaf Leaf Leaf

Key

Client Output

,


5G-VINNICliente gNMI - Bus Kafka

... para crear dinamicamente un nombre de metricas:

[{'leaf': 'interfaces'}, {'leaf':'interface', 'key':[ { 'name':'name', 'value':'Ethernet25' } ]},

{'leaf': 'state'}, {'leaf': 'counters'}, {'leaf': 'in-unicast-pkts'}]

Parseo del mensaje

,


5G-VINNICliente gNMI - Bus Kafka

... para crear dinamicamente un nombre de metricas:

[{'leaf': 'interfaces'}, {'leaf':'interface', 'key':[ { 'name':'name', 'value':'Ethernet25' } ]},

{'leaf': 'state'}, {'leaf': 'counters'}, {'leaf': 'in-unicast-pkts'}]

Parseo del mensaje Generación de métricas

{ 'labels':{ 'interface_name':'Ethernet25' }, 'metrics_series':1, '-1':-1, 'metric_name':'in_unicast_pkts_counters_interfaces', 'metrics_data':'266138465'}

,


5G-VINNIGrafana

,


Indice

1. Introduccion


3. Motivacion


5. Caso de uso

6. Conclusiones

,


Conclusiones

• Streaming Telemetry como parte de lamonitorizacion de red → se debe Automatizar

• Los mecanismos PULL tradicionales ya no sonadecuados:

No escalanNo cumplen con requisitos de tiempo realProtocolo mas utilizado → SNMP

• Alternativa: Soluciones basadas en mecanismosPUSH• Streaming Telemetry → Concepto,

Operacion, Arquitectura

OpenConfig

• Caso de uso 5G-VINNI

,


Conclusiones

• Streaming Telemetry como parte de lamonitorizacion de red → se debe Automatizar• Los mecanismos PULL tradicionales ya no son

adecuados:No escalanNo cumplen con requisitos de tiempo realProtocolo mas utilizado → SNMP


Operacion, Arquitectura

OpenConfig


,


Conclusiones



• Alternativa: Soluciones basadas en mecanismosPUSH

• Streaming Telemetry → Concepto,Operacion, Arquitectura

OpenConfig


,


Conclusiones




Operacion, ArquitecturaOpenConfig


,


Conclusiones




Operacion, ArquitecturaOpenConfig

• Caso de uso 5G-VINNI,


Streaming TelemetryGORE 23

5G-VINNI

Sonia Fernandez Tejerıa

17 de Mayo, 2019

streaming telemetry 5g-vinni - esnog · streaming telemetry concepto streaming telemetry is a new...

Documents