tandem-x: zwei gegen den sam-fs-cache stephan schropp dlr oberpfaffenhofen
TRANSCRIPT
![Page 1: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/1.jpg)
TANDEM-X: Zwei gegen den SAM-FS-Cache
Stephan Schropp
DLR Oberpfaffenhofen
![Page 2: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/2.jpg)
www.DLR.de • Folie 2 > Stephan Schropp
Video TDM-X
![Page 3: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/3.jpg)
www.DLR.de • Folie 3 > Stephan Schropp
Systemübersicht
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
4 x 8 Gb/sSAN
8 x 4 Gb/sSAN
Tape Library
![Page 4: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/4.jpg)
www.DLR.de • Folie 4 > Stephan Schropp
Ursprünglichen Konfiguration der 6780
- Beschafft im Jahr 2009
- ~ 50 TB auf 15K FC - ~ 36 TB auf 7,2K SATA
- Je Tray: raid6 256KB 16 Disks
![Page 5: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/5.jpg)
www.DLR.de • Folie 5 > Stephan Schropp
Datenfluß Phase 1
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
Cossc + RawDem~1,5TB/d ≈ 20MB/s
CoSSC ~1TB/d ≈ 12MB/s
![Page 6: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/6.jpg)
www.DLR.de • Folie 6 > Stephan Schropp
Datenfluß Phase 1
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
Cossc~1TB/d ≈ 12MB/s
CoSSC ~1TB/d ≈ 12MB/s
Bandkopie ~1TB/d ≈ 12MB/s
Bandkopie 1+2~2TB/d ≈ 24MB/s
Summen Datenratefür CoSSC LUN
~3TB/d ≈ 36MB/s
![Page 7: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/7.jpg)
Bandkopie 1+246MB/s
www.DLR.de • Folie 7 > Stephan Schropp
Datenfluß Phase 1
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
Cossc~1TB/d ≈ 36MB/s
CoSSC 36MB/s
Summen Datenratefür CoSSC Lun
~82MB/s
![Page 8: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/8.jpg)
Bandkopie 1+233 - 96MB/s
www.DLR.de • Folie 8 > Stephan Schropp
Datenfluß Phase 1
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
Cossc~2 - 4TB/d
Cossc 50 - 140MB/s
Summen Datenratefür CoSSC Lunbis zu 236MB/s
![Page 9: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/9.jpg)
www.DLR.de • Folie 9 > Stephan Schropp
Datenfluß Phase 2
Aufnahme-Kachel aus Phase1
Aufnahme-Kachel aus Phase2
![Page 10: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/10.jpg)
Bandkopie 1+246MB/s
www.DLR.de • Folie 10 > Stephan Schropp
Datenfluß Phase 2
StorageTek SL3000 Base
Archiv ServerSAM-FS Cache
CoSSCProzessor
DEMProzessor
10Gb/sTransfer
Netz
Cossc~1TB/d ≈ 36MB/s
CoSSC + old CossCs
126 MB/s
Summen Datenratefür CoSSC Lun
~262MB/s
Staging90MB/s
Old Cosscs~2,5TB/d ≈ 90MB/s
![Page 11: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/11.jpg)
www.DLR.de • Folie 11 > Stephan Schropp
Verbesserungsmöglichkeiten
- Kleinere LUNs:
LSI empfiehlt 4 + 1, 4 + 2, 8 + 1 oder 8 + 2diese sind schneller, da von der HW besser unterstützt.
Praktische Tests zeigten, dass selbst ein 4 + 1 Raid5 die gleichePerformance ( ~ 200 MB/s ) erreichen kann, wie die bestehenden14 + 2 Raids.
Durch Striping über diese kleineren LUNs steigt dann die Gesamtperformance.
![Page 12: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/12.jpg)
www.DLR.de • Folie 12 > Stephan Schropp
Verbesserungsmöglichkeiten
- Kleinere LUNs
- Streifen zur Verteilung über alle Backend-Channels
![Page 13: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/13.jpg)
www.DLR.de • Folie 13 > Stephan Schropp
Verbesserungsmöglichkeiten
- Kleinere LUNs
- Streifen zur Verteilung über alle Backend-Channels
- Streifen an den zugehörigen Controller binden→ weniger Verkehr über Controller Backplane
![Page 14: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/14.jpg)
www.DLR.de • Folie 14 > Stephan Schropp
Verbesserungsmöglichkeiten
- Kleinere LUNs
- Streifen zur Verteilung über alle Backend-Channels
- Streifen an den zugehörigen Controller binden
- Angepasste DAU Sizes → Full Stripe Writes
![Page 15: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/15.jpg)
www.DLR.de • Folie 15 > Stephan Schropp
Verbesserungsmöglichkeiten
- Unangepasste DAU Sizes Alte Raid6 (14 + 2) Konfiguration mit std. SAM-FS DAU 64k
IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 38978 376296 0 0 415274 19587 Blocks 1234178 5953759 0 0 7187937 454437 Avg Blocks 31 15 0 0 17 23 IO Pct 9.38% 90.61% 0.00% 0.00% 100.00% 4.71%
IOs Stripes /IO Clusters /IO Reads 38978 39387 1.01 41151 1.05 Writes 376296 377675 1.00 381908 1.01
Write Full Partial RMW No Parity RMW2 FSWT Algorithms 2683 8172 65904 0 0 0
![Page 16: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/16.jpg)
www.DLR.de • Folie 16 > Stephan Schropp
Verbesserungsmöglichkeiten
- Angepasste DAU Sizes → Full Stripe Writesneues Raid5 ( 5 + 1 ) mit 128 KB Segment Size und QFS DAU 640K
IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 257059 5293719 0 0 5550778 2245 Blocks 714391397 4359131651 0 0 5073523048 1691767 Avg Blocks 2779 823 0 0 914 753 IO Pct 4.63% 95.36% 0.00% 0.00% 100.00% 0.04%
IOs Stripes /IO Clusters /IO Reads 257059 813420 3.16 3046417 11.85 Writes 5293719 8694700 1.64 22317642 4.21
Write Full Partial RMW No Parity RMW2 FSWT Algorithms 3406728 2073 7100 0 0 0
![Page 17: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/17.jpg)
www.DLR.de • Folie 17 > Stephan Schropp
Aktuelle Konfiguration
Jeder Streifen ist ein Raid5 mit jeweils- 5 + 1 FC Platten- einer Segment Size von 128KB- einer Kapazität von ~2TB- einem maximal Durchsatz von ~ 220MB/s
→ CoSSC Filesystem (grün):hat eine Kapazität von ~16TBkann max 1,6 GB/s durchsetzten
→ RawDEM Filesystem (hellblau):hat eine Kapazität von ~8TBkann max 0,8 GB/s durchsetzten
![Page 18: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/18.jpg)
www.DLR.de • Folie 18 > Stephan Schropp
Resultate
Auslastung und Durchsatz alte CoSSC LUN (14+2)
195MB/s + 64MB/s= 259 MB/s
![Page 19: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/19.jpg)
www.DLR.de • Folie 19 > Stephan Schropp
Resultate
Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1)
27MB/s + 18MB/s= 45 MB/s
![Page 20: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/20.jpg)
www.DLR.de • Folie 20 > Stephan Schropp
Resultate
Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1)
( 27MB/s + 18MB/s ) * 8= 360 MB/s
![Page 21: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/21.jpg)
www.DLR.de • Folie 21 > Stephan Schropp
Weg zur aktuellen Konfiguration
![Page 22: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/22.jpg)
www.DLR.de • Folie 22 > Stephan Schropp
Weg zur aktuellen Konfiguration
![Page 23: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/23.jpg)
www.DLR.de • Folie 23 > Stephan Schropp
Weg zur aktuellen Konfiguration
![Page 24: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/24.jpg)
www.DLR.de • Folie 24 > Stephan Schropp
Resultate
- Das StorageTek 6780 kann mit den beschriebenen Maßnahmen mindestens 2,6 GB/s durchsetzten (gemessen über 500GB Daten mit 2 Servern)
- Die Geschwindgkeit ist nun ausreichend hoch für das TANDEM-X Projekt
- Die Maßnamen mit dem höchsten Leistungssteigerungen waren:
- viele kleine LUNs- angepasste DAUs
![Page 25: TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen](https://reader038.vdocuments.mx/reader038/viewer/2022110117/55204d6f49795902118c0ad2/html5/thumbnails/25.jpg)
www.DLR.de • Folie 25 > Stephan Schropp
Danke,Ihr Stephan Schropp
TANDEM-X: Zwei zusammen mit dem SAM-FS-Cache