implementacja gigabitowego ethernetu na układach · pdf fileimplementacja gigabitowego...

Implementacja Gigabitowego Ethernetu na układach

FPGA dla eksperymentów fizycznych

Grzegorz Korcyl

INTERNATIONAL PHD PROJECTS IN APPLIED NUCLEAR PHYSICS AND INNOVATIVE TECHNOLOGIES This project is supported by the Foundation for Polish Science – MPD program, co-financed by the European Union within the European Regional Development Fund

Plan

1. Systemy akwizycji danych

2. Używana elektronika

3. Układy FPGA

4. Programowanie FPGA

5. Implementacja GbE

6. Podsumowanie



Elektronika oraz oprogramowanie do pozwalające

zmierzyć oraz zapisać sygnały z detektorów

DAQ Rzeczywisty eksperyment:

- Wiele detektorów

- Tysiące kanałów danych

- Tysiące pomiarów na sekundę

- Analiza danych na żywo



Eksperyment HADES

System 7 detektorów

80 000 kanałów danych

Do 55 000 przypadków na sekundę

520 płyt elektronicznych

550 FPGA

1050 optycznych nadajników

5km światłowodów

Gigabit Ethernet + TrbNet

Do 700 MBps danych zapisywanych

High Acceptance Di-Electron Spectrometer at GSI Helmholtzzentrum fur Schwerionenforschung, Darmstadt (DE)


2. Używana elektronika

Detectors Front-End Electronics Readout electronics

Concentrators

Trigger modules Event builders

●Detektory: ●Generuja analogowe sygnaly ●Tysiace kanałów

●Elektronika czołowa: ●Kształtowanie sygnałów ●Dyskryminacja

●Elektronika odczytu: ●Pomiar oraz cyfryzacja analogowych sygnałów ●Wstępna analiza ●Konstrukcja jednostek danych

●Koncenratory: ●Składanie jednostek danych ●Brama do sieci ●Transmisja danych kontrolnych

●Moduł wyzwalania: ●Generuje sygnał „migawki” ●Kontroluje działanie całego systemu

●Maszyny budujące: ●Składają części danych w pełne przypadki ●Zapisują dane na trwałych nośnikach


3. Układy FPGA

Field Programmable Gate Array

Programowalna logika

Rekonfiguracja

Równoległe przetwarzanie

Porty do komunikacji

Wbudowana pamięć

Przetwarzanie sygnałów na żywo

Rozwiązania CPU

3. Układy FPGA

Piny IO

Bloki logiczne (LUT, przerzutnik, multiplekser)

Połączenia pomiędzy blokami

Sprzętowe elementy (pamięć, moduły DSP, porty

komunikacyjne, etc.)


3. Układy FPGA



Projekt: Opis logiki wykonywanej przez FPGA – języki HDL

Plik mapujący piny na sygnały oraz określający wymagania

Budowa: Synteza – przetłumaczenie HDL na bramki logiczne wraz z

połączeniami, uproszczenie, optymalizacja

Place And Route – rozmieszczenie logiki wewnątrz układu FPGA

Bitgen – Wygenerowanie pliku konfiguracyjnego

Problemy: Błędy logiczne

Czasy propagacji sygnałów

Rozmiar zaprojektowanej logiki



+ =



Język VHDL (VHSIC Hardware Description Language)

Język opisu sprzętu

Ukierunkowany na przepływ danych

Teoretycznie przenośny pomiędzy platformami

Budowa:

Czasochłonna

Nie zawsze przewidywalna

Debugowanie:

Symulacje (pre i post PAR)

Analizator stanów logicznych

ChipScope, Reveal Analyzers



Motywacja:

Zebrane dane z detektorów trzeba przenieść do komputerów

Znany standard, tanie, sprawdzone urządzenia

Wsparcie producentów FPGA

Projekty:

Eksperyment HADES (GSI, Niemcy)

Eksperyment BELLE2 (KEK, Japonia)

Przyszły eksperyment PANDA (GSI, Niemcy)

Ogólny projekt TRBv3



Podstawowa implementacja dla HADESu:

Koncentrowanie danych z kilku źródeł

Konstrukcja pakietów UDP

Wybór komputera docelowego

Transmisja

Moduły:

Odbierający dane – interfejs z TrbNet

Konstrukcja pakietów oraz ramek (OSI 3 + 4)

Moduł transmitujący

Moduł dostępu do sprzętu (OSI 1 + 2)

Stan:

W użyciu od 2 lat

Prędkość transmisji do 50 MBps



Rozszerzona implementacja

Odbieranie pakietów - FullDuplex

Implementacja podstawowych protokołów

Transmisja do 118MBps

Logika niezależna od układu FPGA

Obsługa VLAN

Jumbo Frames

Frame Receiver Receive ControllerMain Controller

Transmit ControllerPacket Constructor

Frame ConstructorFrame Transmitter

Ethernet

GTP

SGM

II/G

bE

PC

SEm

bed

ded

MA

C

data

control

Type ValidatorProtocol

Prioritizer

Protocol Selector

DHCP

PING

ARP

DataRX Link Controller

FPG

A L

ogi

c



Zastosowanie – projekt 1

TRBv3

Płyta ogólnego zastosowania

5x Lattice ECP3 150

8x 3.2 Gbps SFP

4x 208 pin konektory – małe karty Addon

1x 106 pin konektor – regular Addon

Kontrola całej płyty poprzez Ethernet

…



TRBv3

Time-to-Digital Converter na FPGA

Dokładny pomiar czasu propagacji sygnału wewnątrz FPGA



Compute Node

ATCA

5x Xilinx Virtex4FX 75

8x 3.2 Gbps SFP

5x 2GB DDR2

Wysoka przepustowość oraz moc obliczeniowa do analizy danych na

żywo

PowerPC do implementacji wysoko poziomowych algorytmów



Compute Node

Rozwiązania CPU na FPGA

Hardware:

Procesory PowerPC wbudowane w urządzenia FPGA

Software:

Kompilowalne procesory RISC MircoBlaze jako logika FPGA

Możliwość uruchamiania programów napisanych w C

Możliwość uruchomienia systemu operacyjnego



Compute Node

Analiza danych oparta na wbudowanych w FPGA PowerPC

2GB SDRAM dla każdego z FPGA

6. Podsumowanie

Eksperymenty fizyczne wymagają nowoczesnych

rozwiązań w zakresie przetwarzania oraz transmisji

danych

Układy FPGA idealnie wpasowują się do stawianych

wymagań

Implementacja Gigabitowego Ethernetu rozszerza zakres

możliwości oferowanych przez elektronikę wyposażoną w

układy FPGa


implementacja gigabitowego ethernetu na układach · pdf fileimplementacja gigabitowego...

Documents