la red de la cantabria net al descubierto

Cantabria Net 2011

Sistemas de redDavid Cristóbal López “Osito”

10 al 13 de Noviembre de 2011

Índice

• Introducción• Montaje• Esquemas de red• Funcionamiento de una red• Funcionamiento de un switch• Seguridad y control• Portal cautivo• Problema CantabriaNet 2010• Preguntas - Dudas

INTRODUCCIÓN

Introducción

- Juventud Cantabria Net se celebra desde 2001

- Esta es su 11ª edición

- Empezó en el Astillero, trasladándose en 2008 al Palacio de Congresos de Santander

Introducción

Participantes• 600 participantes• Aprox. 50 personas de organización (logística)• Aprox. 20 técnicos (Servidores, redes, juegos)• Stands• Future Modding Tournament• Cámaras vigilancia

Introducción

Infraestructura eléctrica• 35.000m de cable de red UTP Cat. 6• 3.000m de cable eléctrico• 7 Armarios de cableado• 350 Magnetotérmicos y diferenciales• 245.000 W de potencia eléctrica• 50 m de fibra óptica• 1000Mbps de conectividad

Introducción

• 2 Switches Cisco 6509

- 1 Supervisora

- 8 Controladoras 48 bocas Gigabit Ethernet

384 bocas Gigabit cada switch

2 Conexiones 10Gb

Introducción

• 2 Switches Cisco 3560

Conexión de Telefónica de fibra 1Gb a internet

Introducción

• 1 Allot NetEnforcer 1440

Monitorización y filtrado en tiempo real 2Gbps

Introducción

1 Balanceador Ascenlink

Balanceador de líneas ADSL, como backup a la salida de internet, con 8 líneas

Introducción

• 2 Racks de Servidores

Utilizados para toda la infraestructura:

- Portal Cautivo, DHCP, Bases de datos

Introducción

• 2 Cámaras de vigilancia

Transmisión en tiempo real al público de imágenes de la party

Introducción

• Mainframe IBM 7040-681 "Regatta"- 64 GB RAM- 32 Procesadores POWER4 1,3 GHz, 5,6 MB shared L2

Cache, 128 MB L3 ECC cache.- 12 tarjetas de Red Gigabit Ethernet.

• Armario de discos EMC Clariion CX700- 8 canales de fiber-channel a 2 Gbps SW multimodo- 4 cajones con 15 discos de 146 GB Fiber-channel - 7 cajones con 15 discos de 300 GB Fiber-channel

Urtzi Larrieta

www.yggdrasil.tv

MONTAJE

Montaje

Cableado eléctrico estructurado

• Cada media fila lleva su propio magnetotérmico

• Cada fila lleva un térmico diferencial

Objetivo: Evitar un apagón general de la party en caso de cortocircuito o sobrecarga

Montaje

SAI de 6KVA

• Alimenta núcleo de comunicaciones

(Switches, NetEnforcer, balanceador)

• Autonomía de 1 hora aproximadamente

Objetivo: En caso de apagón, eliminar demoras en el arranque de los switches y comunicaciones (unos 20 min.)

Montaje

Redundancia de hardware de salida a internet

• Doble switch de salida a internet de Telefónica

• Configuración clonada de uno a otro

Objetivo: Si hay avería en el switch de salida, se cambian los cables y no hay interrupción de servicio

Montaje

Balanceador de líneas ADSL

• Balancea 8 líneas ADSL

• Encendido pero en espera, para no demorar

arranque

Objetivo: Si cae la salida por fibra, se utilizan las líneas ADSL para no estar sin internet

Montaje

Monitorización – filtrado de salida a internet

• Allot NetEnforcer, 2Gbps de velocidad

• Continuamente monitorizando, pero sin filtrar

Objetivo: En caso de saturación de la salida a internet por programas P2P o cualquier otra incidencia, filtrar por políticas para garantizar servicio

ESQUEMAS DE RED

Esquemas de red

Topología

Esquemas de red

Red General

Esquemas de red

Flujo de tráfico

Esquemas de red

Centro de comunicaciones

FUNCIONAMIENTO

DE UNA RED

Funcionamiento de una red

MODELO OSI


Capa 2

- Funciona en base a la dirección MAC

- Utilizado por los switches

- Tráfico ARP


Capa 3

- Funciona en base a la dirección IP

- Utilizado por los routers

- En LAN, se asocia a una MAC mediante la tabla ARP


Segmentación y VLAN

- Para evitar exceso de tráfico ARP, se crean VLANs

- Cada VLAN precisa de su propio direccionamiento IP

FUNCIONAMIENTO

DE UN SWITCH

Funcionamiento de un switch

Tablas ARP

- Funcionan en capa 2- Asignan MACs a bocas del switch- Se van rellenando dinámicamente- Las entradas tienen timeout- Las tablas son limitadas, en caso de llenarse,

elimina las entradas más antiguas


Funcionamiento

Origen 0000.0000.AAAA

Destino 0000.0000.BBBB

MAC Pto.

1.- El equipo con la MAC 0000.0000.AAAA manda un paquete para comunicarse con el equipo con la MAC 0000.0000.BBBB


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

2.- El switch anota en qué puerto está la MAC origen dentro de la tabla ARP


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

3.- El switch, al no saber en qué puerto está la MAC destino, manda el paquete por todos los puertos excepto por el que lo ha recibido


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

Origen 0000.0000.BBBB

Destino 0000.0000.AAAA

4.- El equipo con la MAC 0000.0000.BBBB responde a la petición mandando un paquete con su MAC de origen y la del equipo 0000.0000.AAAA de destino


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

0000.0000.BBBB G0/2

5.- El switch apunta la MAC 0000.0000.BBBB y la añade a la tabla ARP, en el puerto G0/2 que es donde ha recibido el paquete


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

0000.0000.BBBB G0/2

6.- El switch manda el paquete únicamente por el puerto G0/1 que es donde tiene registrado que está la MAC 0000.0000.AAAA


Funcionamiento

MAC Pto.

0000.0000.AAAA G0/1

0000.0000.BBBB G0/2

7.- A partir de este momento, la comunicación se realiza directamente, sin mandar paquetes a otros puertos, ya que el switch conoce la ubicación de ambas MACs

SEGURIDAD Y CONTROL

Seguridad y control

Spanning-tree Protocol - Definición

- Protocolo utilizado para evitar bucles en la red- Se basa en un switch root que es el que centraliza toda

la comunicación- Utiliza BPDUs para obtener la topología de la red y

notificar cambios

Seguridad y control

Spanning-tree Protocol - Ataques

- Un atacante puede monitorizar el tráfico de red y ver que le llegan BPDUs a su equipo

- Después, transmitir BPDUs modificadas, indicando que él es el switch root para redirigir el tráfico a su equipo para hacer un Man in the Middle

Seguridad y control

Spanning-tree Protocol - Defensa

spanning-tree guard root

Evita que en esa boca del switch lleguen peticiones para ser root, aunque permite BPDUs

spanning-tree bpdu filter enable

Filtra las BPDUs, evitando que se publiquen por el interfaz donde se ha aplicado el comando

spanning-tree bpduguard enable

En caso de llegar una BPDU por ese puerto, lo desactiva para evitar problemas

Seguridad y control

Cisco Discovery Protocol - Definición

- Protocolo utilizado para descubrimiento de equipos Cisco, versiones de IOS y demás información

- Utilizado para configuración de teléfonos VoIP

Seguridad y control

Cisco Discovery Protocol - Ataques

- Obteniendo uno de los paquetes de datos, se obtiene información precisa del hardware de red y topología

- Conociendo estos datos, pueden buscarse bugs conocidos en ese hardware y realizar un ataque

Seguridad y control

Cisco Discovery Protocol - Defensa

no cdp enable

Desactiva la publicación de CDP en esa boca del switch, para evitar obtención de los datos

Seguridad y control

Broadcast - Definición

- Sistema utilizado para enviar un mismo paquete de red a todos los equipos de la red

- Usado para resoluciones ARP, juegos en red, descubrimiento de equipos…

- Utiliza la IP de broadcast de la red o la MAC de broadcast FF:FF:FF:FF:FF:FF

Seguridad y control

Broadcast - Ataques

- Si un equipo manda demasiados paquetes de broadcast, puede saturar a los demás, ralentizando la red

- Los equipos utilizan continuamente este sistema, por lo que no puede eliminarse

Seguridad y control

Broadcast - Defensa

Segmentación con VLANs

Al segmentar la red con VLANs, se crean diferentes dominios de broadcast

Así, se evita que el broadcast de una VLAN llegue a los equipos de otra VLAN

Seguridad y control

DHCP - Definición

- El protocolo DHCP se utiliza para asignar automáticamente una IP a un equipo cuando se conecta a una red

- Se basa en un intercambio de paquetes: Discover, Offer, Request, ACK

Seguridad y control

DHCP - Ataques

- Un atacante puede dar IP a un equipo antes que el servidor oficial, creando un ataque Man in the Middle

- De esa manera, puede filtrar el tráfico y robar datos

Seguridad y control

DHCP - Defensa

DHCP snooping

El DHCP snooping impide que una boca configurada como no confiable mande paquetes Offer, evitando respuestas no autorizadas

Las bocas de los switches donde están conectados los servidores DHCP deben estar configuradas como confiables

Seguridad y control

DTP - Definición

- Dinamyc Trunking Protocol es un protocolo que gestiona de manera dinámica la creación de puertos troncales

- Intercambia paquetes DTP para comprobar si al otro lado del cable hay un hardware que necesita un modo trunk

Seguridad y control

DTP - Ataques

- Mediante la creación de un puerto en modo troncal, un atacante puede obtener información sobre VLANs, mensajes de control de la red, etc.

Seguridad y control

DTP - Defensa

Switchport mode access

Configurando todos los puertos no troncales como de acceso, se desactiva el DTP

Cualquier paquete recibido en esas bocas referente a DTP, será descartado

Seguridad y control

ARP - Definición

- ARP es un protocolo utilizado para funcionar en la capa 2 del modelo OSI

- Mediante la tabla ARP, el equipo asigna una IP a una MAC, para no tener que preguntar cada vez que se quiera conectar a un equipo remoto con el que ya ha establecido conexiones anteriores

Seguridad y control

ARP - Ataques

- MAC Floding: Saturando la tabla ARP de un switch con MAC falsas, conseguimos que mande tráfico a todas las bocas, al eliminar la MAC de su tabla

- ARP Spoofing: También podemos mandar paquetes falseando identidad, para que los equipos asignen una IP concreta a una MAC de nuestra elección

Seguridad y control

ARP - Defensa

Switchport port-security maximum address <número>

Marcando un límite de MACs aprendidas por cada boca, elilminamos riesgos de bombardeo de MAC flooding

Binding de IP-MAC

Estableciendo una relación IP-MAC de confianza para los servidores críticos, evitamos que, en caso de que alguien lance un paquete para cambiar la relación, afecte al funcionamiento de la red

Seguridad y control

Monitorización - Definición

- Monitorizar es la mejor manera de controlar la red y detectar fallos y problemas

- También nos permite obtener estadísticas de tráfico de cara a mejorar para futuras ediciones

- Para poder hacerlo, utilizamos Cacti, un programa open-source que se puede manejar vía web

Seguridad y control

Monitorización - Cacti

Seguridad y control

Mapeo - Definición

- Es importante tener cada puerto del switch relacionado con el puesto que conecta

- Así, en caso de tener un problema con un equipo en una boca, al momento sabemos el sitio físico donde está

- De esta manera, se reduce el tiempo de respuesta en caso de una incidencia

Seguridad y control

Mapeo – Mapa de bocas

PORTAL CAUTIVO

Portal cautivo

- Para poder controlar el acceso y facilitar el mapeo de usuarios, se decidió usar un portal cautivo, llamado Packet Fence

- El control se realiza por MAC mediante los sistemas de seguridad del hardware de red

- Utiliza el protocolo SNMP para las notificaciones

www.packetfence.org

Portal cautivo

Configuración general del switch

- Comunidad SNMP

- Recuperación de errores automática

Portal cautivo

Configuración de los puertos

- VLAN de acceso preparty- Seguridad en el puerto- MAC falsa fijada por configuración- Envío de traps SNMP cuando se añada una dirección

Portal cautivo

Configuración de Packet Fence

- URL de redirección- RADIUS- DHCP- DNS- Configuración de los switches

- VLANs- SNMP- IPs- Fabricante – Modelo- Puertos no gestionados (Trunks)

Portal cautivo

VLAN PARTYVLAN 20

Portal cautivo

Funcionamiento

1.- El equipo se conecta a la red, en una VLAN de acceso, y se notifica al switch automáticamente

G1/1

Puerto MAC VLAN

G1/1 001d.0001.0001

20

VLAN PARTYVLAN 20

Portal cautivo

Funcionamiento


2.- El switch detecta una MAC diferente a la configurada y lanza un aviso al servidor,

indicando la nueva MAC

G1/1

Puerto MAC VLAN

G1/1 001d.0001.0001

20

VLAN PARTYVLAN 20

Portal cautivo

Funcionamiento




3.- El switch sustituye la MAC previa por la actual del equipo conectado

G1/1

Puerto MAC VLAN

G1/1 0022.c4fa.bada 20

VLAN PARTYVLAN 20

Portal cautivo

Funcionamiento

G1/1

Puerto MAC VLAN

G1/1 0022.c4fa.bada 20





4.- El servidor registra esa MAC en ese puesto y le da una IP de rango privado

VLAN PARTYVLAN 20

Portal cautivo

Funcionamiento

G1/1

Puerto MAC VLAN

G1/1 0022.c4fa.bada 20






5.- El usuario abre un navegador y le pide usuario y password

VLAN PARTY

Portal cautivo

Funcionamiento

G1/1

Puerto MAC VLAN

G1/1 0022.c4fa.bada 12







6.- El servidor valida en base de datos el usuario, cambia en el switch la VLAN

VLAN PARTY

Portal cautivo

Funcionamiento

G1/1

Puerto MAC VLAN

G1/1 0022.c4fa.bada 12







6.- El servidor valida en base de datos el usuario, cambia en el switch la VLAN

7.- El servidor otorga una IP pública al equipo

Portal cautivo

Problemas detectados / solucionados

- Equipos que no finalizan el registro correctamente porque no cambia la VLAN el switch

- Consolas (Se registran manualmente)- Switches (Configuración a mano en el switch)- Equipos con IP fija (Pasar a DHCP)- Bloqueos en el servidor Packet Fence (Reinicio del servicio)

- Equipos que aleatoriamente utilizan otra MAC (Sobre todo MAC OS X Lion)

- Y los que lleguen….

PROBLEMA CANTABRIANET 2010

Problema CantabriaNet 2010

Síntomas detectados

- Demasiados paquetes rechazados- Interfaces rechazando hasta 3.000.000 de paquetes por hora- Interfaces sin tráfico propio rechazando paquetes

- Salida a internet saturada pero sin tráfico- La salida a internet (1Gbps) iba gradualmente bajando el ancho

de banda- No había tráfico útil (http, ftp, P2P)

- Aumento considerable de CPU en los switches- Subida hasta un 20% (Normalmente usan un 5%)

- Ralentización de la comunicación- Pings con 800ms de retardo o más


Síntomas detectados

- Sesiones finalizadas- Las sesiones del navegador se cortaban sin motivo aparente

- Reinicio sin efecto- Reiniciar los switches no solucionaba el problema

- Colas de tráfico sin problemas- Las colas de paquetes de los switches no daban problemas de

configuración

- Sin tráfico malicioso- No había indicios de ataque- No había avisos de virus de red- Todas las bocas estaban afectadas por igual


Intentos de solución

- Modificación de las colas de tráfico- Cambio en las colas de tráfico, filtrando tráfico crítico y

etiquetándolo

- Listas de acceso- Intento de filtrar mediante ACLs el tráfico “prescindible” y

potencialmente problemático

- Verificación de puertos del switch- Algunos puertos estaban a 10Mbps y podían estar ralentizando la

red

- Cambios en las VLANs de algunos puertos de prueba- Cambio a otra VLAN diferente hace que funcione bien, por lo que

el problema está en la propia VLAN de la party


Intentos de solución

- Captura con Wireshark- Se observa mucho tráfico TCP/IP (algo lógico en una party)

- Análisis paquete a paquete de la captura- Sesiones TCP/IP enteras de un equipo que no es el que ha

capturado


Solución

- Un equipo está saliendo con una MAC de multicast- Las MACs de multicast no se registran en tablas ARP- El tráfico multicast lo reciben todos los equipos de la red

- Localizar el equipo- Al no registrarse en la tabla ARP, no se puede localizar desde el

switch- La captura muestra MAC e IP- Se lanza un ataque de descubrimiento de equipo a esa IP, el

nombre de equipo no dice nada- Mediante el portal cautivo, tenemos relacionados IP, MAC y

usuario- ¡¡LOCALIZADO!! Fila X Puesto X


Solución - Actuación

- Se acude al puesto y se desconecta ese equipo- Deja de haber paquetes rechazados, se restablecen todos los

puertos, internet vuelve a ir correctamente y los pings vuelven a ser normales

- Se analiza el equipo- La dirección MAC es correcta en el adaptador de red pero

Windows la invierte al salir a la red- Ej: 1234.5678.9111 => 1191.7856.3412- Se revisa el equipo en busca de virus, no se detectan- Es un Windows descargado de internet ya “tuneado”- Se fuerza la MAC a salir correctamente y el equipo se reintegra

en la red sin dar problemas


Funcionamiento

Origen 0100.0000.AAAA

Destino 0000.0000.BBBB

MAC Pto.

1.- El equipo manda un paquete a otro equipo, con MAC destino 0000.0000.BBBB 0000.0000.BBBB G0/2


Funcionamiento

MAC Pto.

2.- El switch recibe el paquete. La MAC de origen, al ser una MAC de broadcast (8º bit a uno), no se guarda en la tabla ARP

0000.0000.BBBB G0/2


Funcionamiento

MAC Pto.

3.- El switch manda el paquete por la boca en la que tiene la MAC de destino 0000.0000.BBBB G0/2


Funcionamiento

MAC Pto.

Origen 0000.0000.BBBB

Destino 0001.0000.AAAA

0000.0000.BBBB G0/2

4.- El equipo 0000.0000.BBBB contesta al paquete con la MAC 0100.0000.AAAA


Funcionamiento

MAC Pto.

0000.0000.BBBB G0/2

5.- El switch recibe el paquete. Al ser una MAC de broadcast, automáticamente lo envía a todos los puertos excepto en el que lo ha recibido


Funcionamiento

MAC Pto.

0000.0000.BBBB G0/2

6.- De esta manera, todos los equipos reciben, aparte de los paquetes de red destinados a ellos, los destinados al equipo 0100.0000.AAAA, provocando saturación en los interfaces y pérdida de paquetes, ya que el switch, al no poder enviar tantos, descarta los últimos recibidos


Solución - Medidas

- El portal cautivo, a la hora de hacer el login del usuario, verifica que la MAC sea correcta (ni broadcast ni multicast)

- En caso de haber un problema, mueve ese equipo a una VLAN aislada y avisa al usuario que pase por control

- El equipo de la persona que generó el problema ha sido revisado nada más llegar a la party

¿Preguntas?¿Dudas?

"Quien pregunta lo que ignora puede pasar por tonto cinco minutos; pero quien jamás se atreve a formular pregunta alguna, será tonto

toda su vida". Proverbio chino

Glosario de términos utilizados en la presentación

Información obtenida de la Wikipedia

Formato PDF Formato ODT

GRACIAS

David Cristóbal López“Osito”

[email protected]

la red de la cantabria net al descubierto

Education