whitebox servers/switches & accelerationc0%cc%b0... · 2014. 6. 30. · quidam placerat...

Whitebox servers/switches & Acceleration

2014. 6. 24.㈜파이오링크 이경헌 ([email protected])

목 차

© PIOLINK, Inc. Optimizing Your Cloud Data Center. 2 KRnet 2014.

1. Whitebox switch 개요 2. Whitebox switch 제품동향

- Programmable Switch- Bare-metal Switch

3. Whitebox switch 기술동향- Open Hardware Platform- Open Software Platform

4. 국내연구동향- NFV 멀티서비스

5. 결론


Whitebox Switch 개요


Lorem ipsum dolor sit amet, ex decore praesent qui, quaeque accusam fierent usu no. Quidam placerat convenire ea eos. Usu corpora persequeris cu. Qualisque deseruisse elaboraret an per, graeco laoreet ad qui. Vim nostrud copiosae in, te cum euismod oportere reformidans, vim et aeterno intellegat. Te perfecto salutatus duo, eros adipiscing an nam, eos aliquip admodum id.

Impetus discere laboramus nec ne, quo id etiam veniam persecuti, cum falli intellegam vituperatoribus te. Quo graecis propriae ex. Indoctum molestiae cu mea. No nobis putant commune nam, vim ut ipsum nostro tractatos. Eu aliquip utroque omittantur cum. Diam nostrud eum no. In assum postea fuisset usu, cum minim viderer ad.

Vidit maluisset reformidans mel in, vis legimus neglegentur ei. Et debet interpretaris vis, ei mea regione tibique. Eirmod antiopam disputando sea ex, no quidam perpetua efficiantur ius, at per feugiat appetere. Primis vulputate ex duo.

Ex vel erat commune, no pri laoreet pertinacia philosophia. Has at amet modo autem. Ad has malorum saperet urbanitas. Te has mediocrem concludaturque. Mei ad choro abhorreant, usu laoreet commune cu. Vix dicam meliore dolores at.

Est in sadipscing appellantur, ei duo quidam mentitum argumentum. Te sit consetetur referrentur. Ius et dico graecis, ex has quis nostro vocibus. Mei no volutpat evertitur, ea mea noster facete. Ea suas diam mel, ei nec numquam epicuri, ius tamquam noluisse vulputate cu.

Whitebox switch 개요

통상적으로 내부 구조가 공개되어 있음을 의미

Whitebox Blackbox



























Whitebox switch 개요 - 산업별 Whitebox 정의

Whitebox Computer hardware- 브랜드 종속적이지 않은 하드웨어

• 도매상 , 소매상과 같은 소규모 빌더들이 만드는 PC• 표준 규격에 맞는 다양한 벤더들의 상품들을 조합

-XT, AT,ATX...XTX- 용도에 맞추어 고가의 부품과 저가의 부품을 조합- 운영체제 소프트웨어의 선택적 제공

Whitebox testing-내부 소스 코드를 직접 테스트 하는 기법-Blackbox testing 의 입 / 출력만 확인하는 기법과 비교

Whitebox in Software engineering- 내부 구조 열람 가능한 소프트웨어 서브시스템

Whitebox Cryptography- 내부가 구조가 열람 되어도 보안 유지되는 암호화 시스템



Whitebox 라 하여 전체가 열려있는것으로 인식되지만

Whitebox Blackbox

































일부만 열려 있어도 Whitebox 라 칭함

Whitebox Blackbox

































Whitebox server 는 널리 이용되는 용어-어느 수준까지 열려 있어야 whitebox server 라는 것이 암묵적으로 정해져 있음

Whitebox switch 를 정의하기 힘들다-어느 수준까지 열려야 whitebox 라 칭할 수 있는지 모호

•Whitebox switch 시장이 아직 성숙되어 있지 않음-Bare-metal switch 를 whitebox switch 라 많이 이야기함

•비용 절감 명분으로 관련 산업 발달하여 알려짐•그러나 bare-metal switch 는 whitebox switch 개념의 일부•Whitebox switch != bare-metal switch

Whitebox switch 가 요구되고 있는 이유-비용 및 효율성 문제

•특정 벤더의 독점 에서 탈피 가능- 열린 구조를 통하여 타 벤더의 호환 상품 이용 가능

•사용자 정의를 통한 비용 절감 및 효율성 향상

제품동향과 기술동향에 대한 분석 필요 !!


Whitebox switch 제품동향


Whitebox Switch 제품동향

Application

Network OS

Driver

Box

Silicon

TraditionalSwitch

ProgrammableSwitch

Customizable

OpenFlowSwitch

Bare-metalHardware

Network OS

Applications

Bare-metalSwitch

Controller

App

Customizable

Close

Open


Whitebox Switch 제품동향 – 비교 요소

비교 요소-User Programmable

• 최종 사용자의 소프트웨어 작성을 통한 기능 확장 가능 여부• 예를 들면 새로운 routing protocol 을 만들어 기능 확장

-Open API 사용 여부• 플랫폼 의존적 API 사용 할 경우 다른 스위치 혹은 컴퓨터에서 이용 불가함• 동일 코드를 여러 플랫폼에서 사용하기 위하여 플랫폼 비 의존적 API 사용 여부

-3rd party 응용 프로그램 탑재 가능• 제 3 의 단체가 개발한 응용 프로그램 바로 탑재 가능한지 여부

-collected(http://collected.org) 를 이용한 통계 관리 , -OpenFlow 앱을 통한 사용자 프로토콜 구현 .

-운영 체제와 하드웨어 독립 가능 여부•다른 벤더의 상품을 이용함으로써 비용 절감을 이끌어내기 위함•Network OS 타 제품으로 교체 가능 여부•Bare-metal hardware 타 제품으로 교체 가능 여부


Whitebox Switch 제품동향

Traditional switch-통상적 Multi-layer switch(Cisco..)

OpenFlow switch-OpenFlow 지원 switch: Controller 와 App. 을 모두 포함한 개념을 뜻함-HP, NEC, Noviflow..

Programmable switch-최종 사용자가 직접 프로그램을 개발하여 적재할 수 있는 switch-Arista EOS, Pluribusnetworks, Junos..

Bare-metal switch-Bare-metal hardware 와 그를 지원하는 Network OS 의 조합으로 이루어진 switch-Bigswitch, Cumulusnetworks, Pica8..


Programmable switch – Arista

Arista EOS(Extensible Operating System)-Core concept - Extensibility-Runs on unmodified linux kernel under a Fedora-based userland-Programmable

•Linux with x86-64•eAPI(JSON)•Python•XMPP•Advanced Event Manager•SQLite Databases



Arista EOS(Extensible Operating System)-SysDB (System Database)

•모든 상태 정보와 설정값 저장•스위치 기능 제어



Arista EOS(Extensible Operating System)-eAPI 를 통하여 외부 모듈에서 전체 기능 제어 가능-사용 예제

• https://github.com/aristanetworks

• https://github.com/arista-eosext

• 802.1X suite 사용자를 통하여 개발- http://ylb.jp/EOSdev/dot1X/dot1X_EOS451_setup.html


Programmable switch – Pluribusnetworks

Pluribusnetworks freedom server-switch line-Most programmable platform for L4-L7-Switching fabric 이 OS 와 integrated 되어 표준 API 로 이용 가능-Compute, Network, Storage, CPU-switch interconnect 강화



Pluribusnetworks freedom server-switch line-Switching fabric 을 하드웨어기반 가속기로 이용-Network Hypervisor: 네트워크 전체를 하나로 묶어 API 로 제어 (fabric-scale)



Pluribusnetworks freedom server-switch line-NDA 문제를 회피하기 위하여 Switching fabric SDK 직접 개발

•Pluribus’ hardware happens to be based on Broadcom‘s Ethernet switching chips, as practically everybody’s is these days. But Pluribus didn’t use Broadcom’s software development kit (SDK). Instead, the company developed its own switching software that’s chip-independent, says CTO Sunay Tripathi.

-http://www.sdncentral.com/news/pluribus-plucks-ceo-cisco/2013/11/


Programmable switch – Juniper networks

JUNIPER networks JunOS-JunOS SDK (https://developer.juniper.net/content/develop-overview/junos-sdk/getting-started.page?nodeId=hap8n17l)

•2007 년 공개•RE(Routing Engine) SDK

-Control Plane •Services SDK

-Data Plane

* Image from CREATING INNOVATIVE EMBEDDED APPLICATIONS IN THE NETWORK WITH THE JUNOS SDK

OO


Programmable switch

UserProgrammable

Open APIThird Party Application

OS/HWIndependent

Arista EOS

O △ O X

Pluribusnetworksfreedom server-switch

O △ O X

Juniper JUNOS

O X X X


Bare-metal switch

출처: Rob Sherwood, SDN Workshop, Jan 2014


Bare-metal switch – Bare-metal hardware

Bare-metal box vendor-Accton-Quanta-Penguin computing-Edge-corE-Agema

ASIC vendor-Broadcom-Intel-Mellanox-centec

Traditional switch vendor-Dell

•Cumulus Linux (Network OS) 적재 가능한 switch hardware 출시•S6000-ON, S4810-ON


Bare-metal switch – Network OS

통상적 운영체제는 스위치 하드웨어를 활용하기 위한 기능 및 완성도 부족-L2/L3 Protocol

• STP, PVSTP, ISIS, OSPF, PIM..-Hardware acceleration

•L2/L3 Packet switching•OpenFlow Packet processing•Access List•Quality Of Service

-Management•CLI•SNMP•HTTP

실망 에서 바로 사용 가능한 Network OS 시장 형성-Bigswitch: SwitchLight OS-Cumulus: Cumulus Linux-Pica8: PicOS

* Image from http://bigswitch.com/products/switch-light



Whitebox switch Network OS 벤더 - Bigswitch-Switch Light OS

•Complete SDN operating system for bare metal physical switches, based on Open Network Linux (ONL), an open source effort within the Open Compute Project.

-Open Network Linux•Open Network Linux (ONL) is a Linux distribution for bare metal switches. ONL builds an ONIE-compatible installer and a switch image which contains a complete Debian distribution with added drivers and configuration for running on bare metal switches.

* Image from http://bigswitch.com/products/switch-light



Whitebox switch Network OS 벤더 – Cumulus networks-ONIE-Cumulus Linux

•가장 많은 종류의 bare-metal hardware 지원•Broadcom switching ASIC 기반•OpenFlow ASIC 처리는 지원하지 않음



Whitebox switch Network OS 벤더 - pica8-Open vSwitch (OVS) Mode 와 Layer 2/ Layer3 Mode 전환 .

-L2/L3 는 XORP(www.xorp.org) 기반으로 작성•XORP-plus open source

-Quanta 관계사


Bare-metal switch

UserProgrammable


OS/HWIndependent

Bigswitchswitchlight OS

O △ O △

CumulusnetworksCumulus linux

O △ O △

PICA8PICOS

O △ O △


Whitebox Switch 제품동향 – 비교 정리

switch 의 whitebox 화는 이전에도 이루어지고 있었다 - 통일되지 않은 프로그래밍 모델 , 플랫폼 제한 , 기능 제한으로 널리 이용되지 못함

Bare-metal switch 는 아직 Whitebox server 수준으로 열려 있지 않다- BOX만 교체 가능

• 사용 가능한 하드웨어의 종류도 제한적-Bare-metal 은 Commodity 라 칭하기 어려움

• Reference 기반의 BOX 디자인 중심• Whitebox server 와 같은 수준의 customization 불가

-독점 주체 변화 예상•주장하는 바와 같이 벤더 독점이 완벽히 사라지지는 못할 것•IBM PC/AT 규격과 마찬가지로 특정 하드웨어 플랫폼의 지배 예상

Bare-metal box 이용시 가격을 낮출 수 있다고 주장하나 많은 논란 있음Whitebox switch 는 계속 변화 중 !

UserProgrammable


OS/HWIndependent

Traditional switch X X X X

Programmable switch O △ △ X

Bare-metal switch O △ O △


Whitebox switch 기술동향


기술동향 – Open Hardware & Data-plane

Open Hardware-OCP-ONP reference bare-metal hardware

Open Hardware Data-Plane-OCP-ONP: Open Compute SW Interface-Broadcom: OF-DPA-Mellanox: Open Ethernet

Open Software Data-Plane-Intel DPDK -Linaro opendataplane

Hardware 및 Software 의 Open 진행 중


기술동향 – OCP (Open Compute Project)

산업계 공동으로 더 효율적이고 경제적인 데이터 센터를 구축하기 위한 프로젝트 Open Compute Networking Project

(http://www.opencompute.org/projects/networking/)- The Open Compute Networking Project is creating a set of technologies that are disaggregated and fully open, allowing for rapid innovation in the network space. We aim to facilitate the development of network hardware and software – together with trusted project validation and testing – in a truly open and collaborative community environment.

-ONIE(Open Network Install Environment)

-Open Compute SW Interface

•Open Ethernet switch API

•Open Platform Control-Bare-metal hardware reference


기술동향 – OCP-ONP – Hardware Specs

Reference bare-metal hardware-Network OS 플랫폼 지원을 간소화 하기 위함-총 4 개 업체에서 reference 제공

•Intel •Broadcom•Mellanox•Accton

* Image from OF-DPA-PB100-R.pdf

Switching fabric

CPUCPU

InterconnectionData-plane processing

Intel FM6764 Intel x86 PCIe, XAUI Intel CPU

Broadcom Trident 2 AMD x86 PCIe, XAUI Optional XLP431

Mellanox Switch-X2 Intel x86 PCIe N/A

Accton Trident 2 Intel x86 PCIe N/A



Intel - OCP ONP Bare Metal Spec-Switching fabric : FM6764 (Fulcrum)-CPU Sub-system 에 XAUI interconnection 제공

* Image from Open Compute Network Project



Broadcom Open 1.0 Leaf and Spine Switch specification -Switching fabric : Trident II

-CAP(Control and Application Processor module) 와 DPP(Data Plane Processor module)로 구분

•Broadcom XLP432(MIPS), 4 XAUI 를 이용한 DPP (Optional)

•AMD G-T40N(x86)/Broadcom (XLP316) MIPS 기반의 CAP

* Image from Open Compute Network Project* Image from interfacemasters Niagara 2948-12XML-OCP Product Family datasheet



Mellanox MSX1400-OCP switch specification-Switching fabric : SwitchX-2-Intel Ivy Bridge




Accton AS5712-54X -Switching fabric : Trident II-Intel Atom C2000(Rangeley)



기술동향 – Open hardware data-plane

하드웨어 기반의 data-plane 의 abstraction layer-다른 업체의 switching fabric 을 이용하여도 이를 추상화한 Open API 이용하여 동일 제어 가능

-Broadcom: OF-DPA-Mellanox: Open Ethernet API-OCP: Open Compute SW Interface

Driver 수준 분리되어 타 업체의 참여를 유도 하고 있으나 , 두개 이상의 hardware data-plane 을 지원하는 API 는 아직 없음 .

Name Open Source Data-plane type

Broadcom OF-DPA Partial (No driver) OpenFlow

Mellanox OpenEthernet API Partial (Header only)

Legacy L2/L3

OCP-ONP Open Compute SW Interface Partial (Header only)

Legacy L2/L3


기술동향 – Open hardware data-plane – OF-DPA

Broadcom OF-DPA (https://github.com/Broadcom-Switch/of-dpa)

-OpenFlow Data Plane Abstraction

-OpenFlow 을 위한 data-plane

-switching fabric driver 분리

•Broadcom 사의 switching fabric 외의 다른 switching fabric 이용 가능

•StrataXGS 계열의 switching fabric 을 위한 driver 는 NDA 를 통하여 공개

-VLAN/L2/L2MC/IP/IPMC/FP 를 multi-table 로써 지원

•FP 를 제외한 나머지는 drop 및 goto next table action 만 가능

-제한적 기능 제공

* Image from OF-DPA-PB100-R.pdf


기술동향 – Open hardware data-plane – OpenEthernet

Mellanox OpenEthernet API (https://github.com/Mellanox/SwitchX-interfaces)

-Functions for switching fast path of switching fabric•COS•FDB•LAG•Port•Router•SPAN•MSTP•VLAN•ACL•Flow counter

-OCP-ONP Open Ethernet Switch API 와 유사

Images from http://www.mellanox.com/openethernet/


Open Ethernet Switch API (https://github.com/open-ethernet/OES)

-Functions for switching fast path of switching fabric•Bridge•COS•FDB•LAG•Port•Router•SPAN•STP•VLAN

-Mellanox Open Ethernet API 와 유사

* Image from Open Compute SW Interface 1.00

기술동향 – Open hardware data-planeOpen Compute SW Interface


기술동향 – Open software data-plane

Open software data-plane development kit -kernel data-plane 의 비효율성 극복

•Context Switching, Interrupt, TLB miss, Resource sharing 등 -플랫폼의 프로세서의 가속 기능을 이용하여 시스템 성능 극대화 목표


기술동향 – Open software data-plane

벤더별 Software Development Kit

Open-source 형태의 Software Development Kit

Name Open Source Open Platform

Intel DPDK Yes No

Linaro opendataplane Yes Yes

© PIOLINK, Inc. Optimizing Your Cloud Data Center. KRnet 2014.

Intel DPDK software architecture-The Environment Abstraction Layer

-The Memory Pool Manager

-The Buffer Manager

-The Queue Manager

-The Ring Manager

-Flow Classification

-Poll Mode Drivers

Optimized software data plane library-Multi-core optimized data structure

•Lock-free

•Multi-producer, multi consumer

-Core affinity•to optimize cache hit rate

•to reduce context switching overhead

-Disable interrupt(Polling)•to reduce interrupt overhead

-Cache alignment•to optimize cache hit rate

-Huge pages•to reduce TLB miss

-Prefetching•to reduce wait states

Up to 160MppsThird-party fast path on market

43

* Image from Intel Data Plane Development Kit Overview

기술동향 – Open software data-plane – Intel DPDK


기술동향 – Open software data-plane - Linaro

Linaro OpenDataPlane-모든 processor platform 에서 사용 가능한 software dataplane-아직 ARM SOC 에 중심-DPDK 유사


국내연구동향


국내연구동향 – NFV 개념의 멀티서비스

NFV 개념의 멀티서비스 맞춤형 스위칭 시스템 및 운영체제 개발-소프트웨어로 구현 / 제어되는 고성능 멀티서비스 맞춤형 스위칭 시스템 및 운영체제 개발을 목표

-Whitebox switch 개념 포함

•소프트웨어로 구현한 네트워크 기능이 범용 하드웨어를 이용하여 실행이 가능

•네트워크 기능을 동적으로 선택하여 적용할 수 있는 API

•범용 하드웨어에서 실행 가능한 네트워크 소프트웨어

•범용 하드웨어 기반 성능을 확장 가능하게 지원하는 시스템 구조



기존 Blackbox 장비의 문제점



●NFV 개념을 확장 적용한 소프트웨어 기반 스위칭 시스템 개발●SDN 기술의 확장적 접근을 통해 미들박스 스위치에 SDN 도입



●범용 서버 기반에서 고성능의 미들박스 서비스를 제공할 수 있는 스위칭 시스템 설계 및 구현



●목표 1: 범용서버 기반의 고성능 미들박스 운영체제 개발



●목표 2: 미들박스 운영체제 기반의 고성능 미들박스 서비스 개발



●목표 3: 범용 하드웨어 기반의 고성능 스위칭 플랫폼 개발


결론


결론

Whitebox switch 는 이전부터 있어 왔다-Programmable switch-그러나 널리 응용되지 못함

•기능 사용의 어려움•사용자 프로그램의 플랫폼 호환 불가 문제

현재 이야기 되고 있는 Whitebox switch 는 bare-metal switch 이다-Programmable switch 와 비교 하였을때 크게 다르지 않다

•Bare-metal hardware 교환이 유연하지 않은점- Network OS 가 지원하는 모델로 교환하여야 한다

•Bare-metal hardware 를 customize 하기 어려운점- Whitebox server 와 같이 하드웨어 수준의 customize 불가

현재는 SDN 이 부각되며 패러다임이 바뀌는 시기-주도권을 쥐기 위해서 경쟁적으로 Reference hardware/software 를 제시-높은 완성도의 Reference 로 인하여 진입 장벽이 낮아져 최소한의 기능만 제공하는 저가 제품이 시장에 다량 출시될 것 이라 예상

시장 경쟁력을 위하여 특화 기능이 필요 !!-NFV 개념의 멀티서비스 맞춤형 스위칭 시스템 -고성능 , 확장성 , 멀티서비스 제어 등


감사합니다 !

whitebox servers/switches & accelerationc0%cc%b0... · 2014. 6. 30. · quidam placerat...

Documents