informe gestión fuera de banda op108 claro es rev130116

7/25/2019 Informe Gestin Fuera de Banda Op108 Claro Es Rev130116

1/17

INFORME GESTIN

EQUIPOS RAD OP-108

CLARO EL SALVADOR


2/17

2

Acerca del documento.

Preparado por: Nelson HernndezESERTEL/ITEL Fecha: 07/01/2016

Juan Pablo MonznEIG/ITEL Fecha: 07/01/2016

Revisado por: Carlos DurandoEIG/ITEL Fecha: 08/01/2016

Revisado por: Mera SentarRAD DATACOMM Fecha: 10/01/2016

Acerca de los equipos usados.

Equipo ModeloRouter L 3 Router CISCOSwitch de Acceso L2 Catalyst 3560Convertidores de medio OP-108/U/ETH/FC/13L

OP-108L/BM/U/ETH/FC/13L

Generador de trfico ETH Anritsu MT 9090A


3/17

3

Contenido

Introduccin............................................................................................................................. 4

Objetivo............................................................................................................................... 4

Antecedentes ....................................................................................................................... 4

Pruebas realizadas para diagnosticar el problema:.......................................................................... 5

Prueba 1 - Replicacin de la incidencia...................................................................................... 5

Misma MAC ADDRESS en ambas VLAN. ............................................................................... 7

Resultados obtenidos del generador de trfico ANRITSU:.......................................................... 7

As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes................... 8

Perdida de PING a la gestin del OP-108............................................................................... 8

Prueba 2 - Solucin a implementar........................................................................................... 8

Diferentes MAC ADDRESS en las VLAN ................................................................................ 9

Resultados obtenido del generador Ethernet......................................................................... 10

Ping a la gestin .............................................................................................................. 10

Prueba 3 - Tiempo de recuperacin al momento de cambiar las MAC ADDRESS de Origen.............. 11

Prueba 4Conexin y desconexin de fibra, UTP y energa....................................................... 12

Conclusiones...................................................................................................................... 14

Recomendaciones............................................................................................................... 14

Anexos ................................................................................................................................. 15

Configuracin OP-108.......................................................................................................... 15

Cambio de MAC ADDRESS origen en ROUT ER PE CISCO (para la VLAN de gestin de los equipos

RAD) ................................................................................................................................ 17


4/17

4

Introduccin

ObjetivoEl presente informe explica la situacin relacionada al problema de interferencia entre el trfico del usuario

y el trfico de gestin en los equipos RAD OPT IMUX OP-108 y OP-108L al momento de habilitar la gestin

fuera de banda. Y a la vez propone una solucin tcnica para que sea analizada y considerada por CLARO

El Salvador.

AntecedentesActualmente CLARO El Salvador tiene cierta cantidad de enlaces punto a punto va fibra ptica para

cl ientes corporativos con servicios E1-PRI (DIDs) de telefona y servicios Ethernet por medio de los equipos

RAD OP-108 y OP-108L. A la fecha, estos enlaces estn siendo operados por CLARO con la funcionalidad

de gestin fuera de banda deshabilitada, debido a que el equipo OP-108 que se instala del lado central altener habil itados los puertos de gestin fuera de banda (MNG-ETH) y de trfico de usuario (USER-ETH),

ambos interconectados a los puertos del SWITCH CISCO de acceso de la red Metro Ethernet de CLARO,

ocurren las siguientes incidencias

1. En algunos enlaces se ve afectada la funcionalidad de gestin fuera de banda, bloquendose

dicho puerto o presentando un comportamiento errtico.

2. En otros enlaces se ha detectado que cuando se habilita el puerto de gestin fuera de banda del

OP-108 central, se bloquea el puerto de trfico de usuario, dado que el SW CISCO de la red metro

de CLARO detecta un loop proveniente del OP-108 central.

3. En resumen cuando los dos puertos Ethernet (MNG-ETH y USER-ETH) estn operativos en el

OP-108 central del enlace, bajo la implementacin actual, ocurre interferencia entre el trfico de

usuario y el trfico de gestin.

Por lo anterior, CLARO El Salvador opt por una solucin interina, que es la de deshabilitar en el SW

CISCO de acceso, el puerto asignado para la gestin del equipo OP-108. Con lo cual se logra que el trfico

de usuario no sea vea afectado, pero por otro lado se pierde la gestin fuera de banda del OP-108 central y

remoto; por lo tanto del enlace completo.

A continuacin el esquema de conexin utilizado se muestra en la figura 1, a continuacin:


5/17

5

NOTA: Este diagrama es nicamente un caso representativo, ya que puede variar segn los tipos de switch de

acceso, router PE, direcciones IP, etc.

ROUTER

CLIENTE

SERVICIO

ETHERNET

(IP/ID)

MPLS

SWITCHPORT MODE TRUNK

FO

SWITCHPORT MODE TRUNKFO

UTP

FO UTP

CISCO3750

LAYER 2

CISCO3600

LAYER 2

CISCO PE7609

LAYER 3

UTP

DATA MODE

ACCESS

VLAN X

MANAGEMENT

MODE ACCESS

VLAN Y

OP-108/U/ETH/FC/13L

IP: X.X.X.X

MASK: Y.Y.Y.Y

GTW: Z.Z.Z.Z


FA/ETH FA/ETH

USER-ETH MNG-ETH

Gi1

Gi1

Gi1 Gi1

RADview3.40

FA/ETH

Fig. 1a

Pruebas realizadas para diagnosticar el problema:

Prueba 1 - Replicacin de la incidenciaPara poder analizar ms a fondo las afectaciones antes mencionadas, se ha creado en el laboratorio de

nuestra empresa una maqueta de equipos para simular el escenario y duplicar la inc idencia, segn se

muestra la figura 1ba continuacin.


6/17

6

Para este escenario, se est utilizando una misma MAC ADDRESS de origen tanto para el trfico de

gestin como para el trfico de cliente. Esta es la MAC ADDRESS (00:17:C5:9A:00:0A) generada desde el

ROUT ER CISCO que presentan funcionalidad de CAPA 3. Este escenario simula la implementacin actual

en la red de CLARO ES.

VLAN 10 TRAFICO MAC ADDRESS

00:17:C5:9A:00:0A

ORIGEN, ROUTER PE

TRUNK

ACCESS V 5

Fa 0/6

ACCESS V 10

Fa 0/7

MNG-ETH

Fa/Eth

USER-ETH

Fa/Eth

OP-108/U/ETH/FC/13L

IP: 10.10.5.5

MASK: 255.255.255.0

GTW: 10.10.5.1

SWITCH DEACCESOCAPA 2

CATALYST3560

TRUNK

ACCESS V 5

FO

Ethernettraffic

GeneratorMT9090A

TRAFICO DE GESTION

TRAFICO DE SERVICIO CLIENTE

SE GENERA TRAFICOETHERNET

BIDIRECCIONAL A UNAVELOCIDAD DE 75MbpsCON PAQUETES DE 512

BYTES

Pto A

Pto B

PC GESTION

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:0A

ORIGEN, ROUTER PE

Gi/Eth

Gi/Eth

Fa/Eth

Fa/Eth

Fa/Eth

Gi/Eth

Gi/Eth

IP: 10.1.1.223

MASK: 255.255.255.0

GTW: 10.1.1.222

Fa/Eth


MISMA MAC ORIGEN, USADA PARA GESTION (INTERFACE VLAN 5) YSERVICIO (INTERFACE VLAN 10)

Fig. 1b

Se gener trfico Ethernet constante y bidireccional con throughput de 75 Mbps, y paquetes de 512 bytespor un tiempo de 30 minutos por medio del analizador, ANRITSU MT9090. El resultado obtenido de esta

prueba es que al iniciar la generacin del trfico de usuario, inmediatamente se pierde la conectividad a la

gestin del equipo OP-108 central, y a la vez se observa perdida eventual de paquetes de trfico de usuario

(recepcin del puerto A en el equipo ANRITSU). Es decir se comprueba la interferencia entre ambos

trficos. Tambin se comprob que dicha interferencia no ocurre cuando solo uno de los dos puertos est

conectado.


7/17

7

Misma MAC ADDRESS en ambas VLAN.

Fig. 1c

Resultados obtenidos del generador de trfico ANRITSU:A continuacin en la fig. 1d se muestran los resultados

Fig. 1d

De los resultados arriba mostrados se puede concluir lo siguiente, segn la relacin de las flechas:

El puerto A trasmiti un total 32248639 paquetes, de los cuales el puerto B recibi un total de 32248639

paquetes. Es decir se comprueba noocurre ninguna afectacin del trfico de usuario en este sentido.

El puerto B transmiti un total 32249082 paquetes, de los cuales el puerto A recibi un total de

32248985. Restando al total de paquetes enviados por el puerto B por los paquetes recibidos en el puerto

A se obtiene una diferencia de 97 paquetes perdidos. Es decirse compruebasiocurre afectacin deltrfico de usuario en este sentido.


8/17

8

As mismo en este caso se comprob la gestin del OP-108 tiene prdida de paquetes.

Perdida de PING a la gestin del OP-108

Fig. 1e

Prueba 2 - Solucin a implementarDe las pruebas anteriores se pudo observar, que cuando el equipo OP-108 recibe la misma MAC

ADDRESS de origen en los puertos para el trfico de usuario y para el trfico de gestin, se presenta la

incidencia. Esto fue consultado tambin con el fabricante RAD quien confirm que efectivamente es el

comportamiento esperado, dado que el chip set que utiliza el equipo OP-108 para las funciones de CAPA 2

opera en modo MAC bridging, por lo cual no es una condic in vlida para el OP-108 que se presenten las

mismas MAC origen en el puerto de trafico de usuario y el puerto de trafico de gestin, siendo la soluc in

recomendada que dichas MACs sean diferentes.

En vista de lo anterior, en la siguiente prueba se han configurado en el ROUTER CISCO, 2 MAC

ADDRESS de origen distintas, 1 para el trfico de gestin (00:17:C5:9A:10:C8) y otra para el trfico de

usuario (00:17:C5:9A:00:0A) . De nuevo se gener trfico bidireccional y constante con throughput de

75Mbps y paquetes de 512 bytes, por un tiempo de 1 hora y 30 minutos. A continuacin se muestra el

diagrama con los detalles para esta prueba.


9/17

9

VLAN 10 TRAFICO MAC ADDRESS00:17:C5:9A:00:0A

ORIGEN, ROUTER PE

TRUNK

ACCESS V 5

Fa 0/6

ACCESS V 10

Fa 0/7

MNG-ETH

Fa/Eth

USER-ETH

Fa/Eth

OP-108/U/ETH/FC/13L

IP: 10.10.5.5

MASK: 255.255.255.0

GTW: 10.10.5.1

SWITCH DEACCESO

CAPA 2CATALYST

3560

TRUNK

ACCESS V 5

FO

Ethernettraffic

GeneratorMT9090A

TRAFICO DE GESTION




BYTES

Pto A

Pto B

PC GESTION

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:C8

ORIGEN, ROUTER PE

Gi/Eth

Gi/Eth

Fa/Eth

Fa/Eth

Fa/Eth

Gi/Eth

Gi/Eth

IP: 10.1.1.223

MASK: 255.255.255.0

GTW: 10.1.1.222

Fa/Eth


DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACEVLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)

Fig. 1f

Luego de realizar estos cambios de MAC ADDRESS de origen se obtuvieron los siguientes resultados.

Diferentes MAC ADDRESS en las VLAN

Fig 1g


10/17

10

Resultados obtenido del generador Ethernet

Fig. 1h

De los resultados relacionados arriba se concluye que fueron recibidos exactamente la misma cantidad depaquetes que fueron transmitidos en los puertos A y B del generadorANRITSU, luego de cursar el trficode usuario bidireccionalmente a travs del enlace va los OP-108. Es decir no se observan ya paquetes

perdidos ni afectacin alguna en este trfico.

Ping a la gestin

Fig. 1h


11/17

11

Prueba 3 - Tiempo de recuperacin al momento de cambiar las M AC ADDRESS deOrigenPara esta prueba se inici utilizando el diagrama de la prueba 1 (Fig. 1b). Luego de generar trfico

bidireccional y constante con un throughput de 75Mbps y paquetes de 512 bytes, por un tiempo de 10

minutos y de observar cierta cantidad de paquetes perdidos en el servicio de trafico de cliente y no tener

respuesta de la gestin del equipo central OP-108, se procedi a realizar el cambio de MAC ADDRESS de

origen en el ROUTER CISCO, para la interface de VLAN 5. Se cambi de la Mac Address de00:17:C5:9A:00:0A a la 00:17:C5:9A:10:C8 , o sea la MAC origen correspondiente a la VLAN de gestin,segn indicado en el diagrama de la Fig. 1f.

Como resultados observados al realizar este cambio se tiene:

Al real izar el cambio de MAC ADDRESS, la gestin restablece y normaliza automticamente, sin

intervencin adic ional alguna en los equipos, en un tiempo corto de alrededor de 5 segundos.

En el trfico de usuario (del c liente) deja de ocurrir perdida de paquetes, tambin de manera

automtica y sin ninguna intervencin adic ional en los equipos

Luego de realizar el cambio de MAC ADDRESS en la VLAN de gestin, no es necesario realizar

un reinic io fsico o lgico en los equipos involucrados, el refrescamiento en las tablas de MAC de

todos los equipos sucede automticamente.

Luego de realizar el cambio de MAC ADDRESS, los SWITCH de acceso vern ambas MAC

ADDRESS en el mismo puerto (00:17:C5:9A:00:0A y 00:17:C5:9A:10:C8). Pero esto no generaconflicto o afectacin en los servicios.


12/17

12

Fig. 1h

Prueba 4Conexin y desconexin de fibra, UTP y energaEsta prueba consiste en realizar conexin y desconexin de la fibra ptica, los cables Ethernet UTP y la

energa en ambos equipos, OP-108 del enlace, luego de haber realizado el cambio de MAC ADDRESS

origen en la VLAN de gestin. Todos los servicios se recuperan automticamente y normalizan en un

tiempo corto. Durante la prueba se genera trfico bidireccional y constante con un throughput de 75Mbps y

paquetes de 512 bytes. Para ello utilizamos de nuevo el esquema de la prueba 2.

VLAN 10 TRAFICO MAC ADDRESS

00:17:C5:9A:00:0A

ORIGEN, ROUTER PE

TRUNK

ACCESS V 5

Fa 0/6

ACCESS V 10

Fa 0/7

MNG-ETH

Fa/Eth

USER-ETH

Fa/Eth

OP-108/U/ETH/FC/13L

IP: 10.10.5.5

MASK: 255.255.255.0

GTW: 10.10.5.1

SWITCH DEACCESOCAPA 2

CATALYST3560

TRUNK

ACCESS V 5

FO

Ethernettraffic

GeneratorMT9090A

TRAFICO DE GESTION




BYTES

Pto A

Pto B

PC GESTION

VLAN 5 GESTION MAC

ADDRESS 00:17:C5:9A:00:C8

ORIGEN, ROUTER PE

Gi/Eth

Gi/Eth

Fa/Eth

Fa/Eth

Fa/Eth

Gi/Eth

Gi/Eth

IP: 10.1.1.223

MASK: 255.255.255.0

GTW: 10.1.1.222

Fa/Eth


DIFERENTES MAC DE ORIGEN, UNA PARA GESTION (INTERFACEVLAN 5) Y OTRO PARA SERVICIO (INTERFACE VLAN 10)

Fig. 1i


13/17

13

Resultados obtenidos:

Equipo Desconexinde FO

Tiempo aproxnormalizacin

DesconexinUTP Gestin


DesconexinUTP Trafico


Desconexinde energa


OP-108 OK 10 Segundos OK 25 Segundos OK 25 Segundos OK 1 Minuto

OP-108L OK 10 Segundos N/A - OK 5 Segundos OK 10 Segundos

NOTA: Los tiempo de normalizacin tanto del trfico de gestin como del trfico de usuario, en el caso de

su desconexin fsica, puede variar dependiendo del proceso de auto negociacin con los puertos de los

switch de acceso adonde ellos se conectan. En el caso de los OP-108 se recomienda configurar siempre

todos sus puertos Ethernet forzados a Fast Ethernet.


14/17

14

Conclusiones1. Se comprob que el OP-108/U/ETH/FC/13L presenta una incidencia al rec ibir la misma MAC

ADDRESS de origen, generada desde el ROUT ER PE (CORE) de la red MPLS de CLARO dentro

de los paquetes del trfico de gestin y de trfico de usuario. Esto resulta en prdidas de

paquetes, bloqueos de los puertos, comportamiento errtico y eventual corte del trfico por los SW

CISCO de la red metro de CLARO al detectar un loop.

2. Lo anterior es congruente con la funcionalidad de capa 2 del chip set utilizado por el OP-108 de

MAC bridging, segn la cual no es vlido que se detecten en los dos puertos Ethernet del equipo

las mismas MAC origen.

3. Se comprob que al generar dos MAC ADDRESS de origen distintas (1 para la VLAN de gestin y

otra para la VLAN de trfico de cliente) el enlace con los equipos OP-108 opera correctamente, de

manera estable, y no se observan perdida de paquetes ni bloqueos de puertos.

4.

Al real izarse el cambio de MAC ADDRESS origen en la VLAN de gestin, no es necesario realizaralgn reinic io lgico o fsico de los equipos involucrados, y el refrescamiento en las tablas de MAC

de todos los equipos ocurre automticamente.

5. Al real izar desconexin y conexin de la energa, fibra o UTP, en los equipos OP-108 y OP-108L;

luego de haber generado el cambio de MAC ADDRESS de origen para la VLAN de gestin, se

observa que todos los servicios (gestin, trfico de cliente y E1) restablecen y normalizan sin

problema y en un tiempo razonablemente corto.

Recomendaciones1. Proceder a la brevedad posible a realizar estas mismas pruebas en el laboratorio de pruebas de

CLARO El Salvador (central Roma), ya con los equipos CISCO en si (tanto CORE PE ROUT ER)

como Switches metro, con el apoyo de personal de ingeniera y del NOC de CLARO El Salvador.

2. De resultar exitosas las pruebas anteriores, proceder con la implementacin de esta solucin en

un par de enlaces OP-108 a modo de prueba piloto ya en produccin. Y luego de un tiempo

prudencial de monitoreo, proceder a la implementacin general de la misma en la red de CLARO

El Salvador, de manera progresiva y controlada.

3. Para el efecto, solamente se requiere cambiar en los equipos CISCO PE ROUTER de CLARO,

que manejan el trfico de cada subred metro (islas), la MAC de la VLAN 89 asignada para la

gestin de los equipos RAD (no importando si tambin por medio de esta VLAN se gestionan otros

equipos). Es indispensable asegurarse esta MAC es nica y no se repite en ninguna otra VLAN ni

equipo. Dado que ni el fabricante RAD DATACOMM ni nuestra empresa somos especialistas en

los equipos CISCO, solicitamos esta propuesta de solucin sea validada por especialistas de

CLARO, adems de realizar las pruebas en el laboratorio Roma.

4. Esta solucin tiene la ventaja de que se puede implementar remotamente desde el NOC de

CLARO El Salvador, sin tener que visitar los nodos de claro, sitios de cl ientes, cambiar equipos de

ltima milla, etc.


15/17

15

Anexos

Configuracin OP-108Mediante el equipo OP-108 que se instala del lado central se puede gestionar tambin el equipo remoto

OP-108L. Para ellos debemos realizar las siguientes configuraciones.

Configuracin de IP ADDRESS y comunidades SNMP

Configuration>System>Management>Host

Configuracin de permisos de gestin

Esto se realiza con el objetivo de poder gestionar el equipo remoto.

Configuration>System>Management>Management Permission

Se selecciona la opcin MNG LOCAL ONLY, para que la gestin solo sea permitida por el puerto MNG-

ETH del OP-108 y as no generar conflic to entre los puertos MNG-ETH y USER-ETH.


16/17

16

Verificar que todos los accesos de gestin estn permitidos en el equipo

Configuration>System>Management>Management Access

Luego de haber configurado todo lo anterior, ya podremos tener acceso va WEB, TELNET y RADview a

ambos equipos OP-108.


17/17

Cambio de MAC ADDRESS origen en ROUTER PE CISCO (para la VLAN de gestinde los equipos RAD)

Para el funcionamiento correcto del equipo OP-108 es necesario que reciba direcciones MAC origendistintas desde de las VLAN (SVI/BDI) configuradas en los Switches L3 o routers. Cuando se utilicenSwitches L3 o routers Cisco ser necesario que se cambien las direcciones MAC de cada VLAN (SVI/BDI)ya que por defecto los equipos comparten la misma direccin MAC en todas las VLAN (SVI/BDI). Porconsiguiente para realizar este cambio es necesario utilizar el comandomac-addresspara poder realizar elcambio de la direccione MAC en la VLAN de gestin (SVI/BDI), asegurndose esta MAC es nica y no serepite en ninguna otra instancia.

A continuacin algunos ejemplos de configuraciones utilizando el comando mac address en SVI y BDI.

Switch#configure terminal

Enter configuration commands, one per line. End with CNTL/Z.Switch (config)#interface vlan 5Switch (configif)#macaddress 0017.C59A.10C8Switch (configif)#exitSwitch (config)#interface vlan 10Switch (configif)#macaddress 0017.C59A.000ASwitch (configif)#endSwitch #

Router#configure terminalEnter configuration commands, one per line. End with CNT L/Z.Router (config)#interface bdi 5

Router (configif)#macaddress 0017.C59A.10C8Router (configif)#exitRouter (config)#interface bdi 10Router (configif)#macaddress 0017.C59A.000ARouter (configif)#endRouter #

informe gestión fuera de banda op108 claro es rev130116

Documents