200G vs. 400G: Przyjrzenie się rozwojowi sieci centrów danych

Lu Hai

Starszy ekspert, Dział sieci centrów danych, Huawei

Internet łączy ponad cztery miliardy użytkowników na całym świecie i obsługuje nowe aplikacje cyfrowe, takie jak wirtualna rzeczywistość (VR) i rozszerzona rzeczywistość (AR), wideo 16K, autonomiczna jazda, sztuczna inteligencja (AI), 5G i Internet rzeczy (IoT). Ponadto, łącząc usługi online i offline w sektorze edukacyjnym, medycznym i biurowym, ma wpływ na każdy aspekt naszego życia.

Sieć centrów danych (DCN), jako infrastruktura do rozwoju usług internetowych, została przeniesiona z sieci GE i 10 GE do fazy połączenia 25 GE + 100 GE.

Połączenie międzysieciowe 100 GE: Architektura pełnego urządzenia stacjonarnego jest ceniona przez duże przedsiębiorstwa internetowe

W architekturze połączeń wzajemnych 25 GE + 100 GE sieć DCN realizuje dostęp na dużą skalę za pośrednictwem sieci trójwarstwowej. Pojedynczy klaster może zawierać ponad 100 000 serwerów.

Jak pokazano na poniższym rysunku, punkty wdrożeń (PoDs) w warstwach T1 i T2 można elastycznie rozbudowywać w podobny sposób jak bloki, a zatem konstruować na żądanie.

Źródło: https://techblog.comsoc.org/2019/03/18/facebooks-f16-achieves-400g-effective-intra-dc-speeds-using-100ge-fabric-switches-and-100g-optics-other-hyperscalers/

Wraz z ulepszeniem chipów przekazujących o dużej pojemności i zmniejszeniem kosztów optycznych połączeń wzajemnych 100 GE, przełączniki jednoukładowe są wykorzystywane do budowy sieci połączeń wzajemnych 100 GE. Jednoukładowe rozwiązanie do połączeń wielopłaszczyznowych zazwyczaj zawiera chipy o przepustowości 12,8 Tb/s. Pojedynczy chip zapewnia gęstość portów 128 x 100 GE, a pojedynczy PoD może łączyć się z 2000 serwerów.

Rysunek 1-1: Typowy 128-portowy przełącznik o wysokiej gęstości 100 GE o dużej gęstości

W porównaniu z tradycyjnym rozwiązaniem składającym się z urządzeń stałych i modułowych, rozwiązanie sieciowe z pełnymi urządzeniami stacjonarnymi zwiększa liczbę węzłów sieciowych i modułów połączeń optycznych między urządzeniami, co również zwiększa obciążenie operacyjne i konserwacyjne (O&M). Wprowadzono jednak wysokowydajny układ do przesyłania, aby skutecznie zmniejszyć koszt bitów portów DCN, co jest oczywiście atrakcyjne dla dużych przedsiębiorstw internetowych. Z jednej strony duże przedsiębiorstwa internetowe mogą szybko wprowadzić architekturę pełnego urządzenia stacjonarnego 100 GE, aby obniżyć koszty budowy sieci; z drugiej strony mogą wykorzystać swoje silne możliwości w zakresie badań i rozwoju (R&D) do poprawy automatycznego wdrażania i możliwości konserwacji sieci w celu radzenia sobie ze zwiększonym obciążeniem pracą O&M.

W rezultacie duże przedsiębiorstwa internetowe często korzystają z rozwiązania sieciowego 100 GE, a sieć w pełni stacjonarnych urządzeń stała się podstawą ewolucji architektury sieci 100 GE.

Kierunek rozwoju akceleracji sieci

Rozwiązanie połączeń wzajemnych 25 GE + 100 GE promuje ujednolicony wybór chipów i szybki rozwój, pokazując, w jaki sposób dywidendy technologiczne napędzają szybką ewolucję architektury sieci internetowych centrów danych (IDC). Wraz z wprowadzeniem jednoukładowych produktów sieciowych dostępnych jest już 100 GE dywidend z technologii międzypokoleniowej.

Biorąc pod uwagę nieunikniony wzrost przepustowości związany z ciągłym i szybkim rozwojem usług, przedsiębiorstwa stoją teraz przed wyborem: 200 GE czy 400 GE?

Sieci nigdy nie są izolowane, a ogólne środowisko branży decyduje o tym, czy technologie mogą się rozwijać i dojrzewać.

Najpierw przejrzyjmy aktualny stan branż 200 GE i 400 GE z perspektywy standardów sieciowych, serwerów i modułów optycznych.

Standardy 200 GE kontra 400 GE: Dojrzałe protokoły i standardy

Podczas ewolucji standardów Instytutu Inżynierów Elektryków i Elektroników (IEEE), prace nad standardem 200 GE rozpoczęły się po standardzie 400 GE.

Po zakończeniu ankiety dotyczącej oceny przepustowości I (BWA I), grupa robocza IEEE 802.3 ds. Ethernetu zainicjowała w 2013 r. projekt sformułowania standardu 400 GE. W 2015 r. IEEE ustanowiło projekt 802.3cd i rozpoczęło formułowanie standardu 200 GE w w celu dalszego rozszerzenia zakresu rynku i uwzględnienia specyfikacji serwerów 50 GE i przełączników 200 GE.

Ponieważ standardy 200 GE wywodzą się z ich odpowiedników 400 GE, specyfikacje jednomodowych modułów optycznych 200 GE zostały ostatecznie uwzględnione w projekcie 802.3bs. Do tego czasu ukończono główne projekty podwarstwy kodowania fizycznego (PCS), mocowania nośnika fizycznego (PMA) i zależności od nośnika fizycznego (PMD) dla 400 GE. Specyfikacje jednomodowych modułów optycznych 200 GE są ogólnie sformułowane na podstawie połowy tych dla 400 GE.

6 grudnia 2017 r. IEEE 802 zatwierdził standard IEEE 802.3bs 400 GE Ethernet, w tym specyfikacje jednomodowych modułów optycznych 400 GE Ethernet i 200 GE Ethernet, a standard został oficjalnie wydany. IEEE 802.3cd zdefiniował standard wielomodowych modułów optycznych Ethernet 200 GE, który został oficjalnie wprowadzony w grudniu 2018 r..

Rysunek 1-2: Kamień milowy standardu IEEE 802.3bs 400 GE

Jak opisano w poniższej tabeli, 400 GE obsługuje standardy wszystkich scenariuszy, w tym 100 m, 500 m, 2 km i długi dystans 80 km.

Serwer 50 GE kontra 100 GE: Serwer 100 GE stanie się głównym nurtem

Rysunek 1-3: Prognoza trendu wysyłek kart sieciowych i serwerów

Zgodnie z przewidywaniami firmy Crehan, od 2019 r. z powodzeniem dostarczano karty sieciowe (NIC) 50 GE i 100 GE. Cała branża była w kłopocie w kwestii modernizacji nowej generacji do 25 kart sieciowych GE w 2018 i 2019 r. Pomimo odwrócenia liczby dostaw w 2019 r. rynek serwerów 100 GE przekroczył 50 GE do 2020 r., ponieważ branża zyskała pełną pewność w 100 serwerach GE.

Dwóch głównych dostawców procesorów (CPU) – Intel i AMD – w trzecim kwartale 2020 r. wprowadzi na rynek układy Peripheral Component Interconnect Express (PCIe) 4.0, obsługujące 50 Gb/s operacji we/wy (I/O). W przypadku zaawansowanych aplikacji we/wy mogą osiągać prędkości 100 Gb/s i 200 Gb/s. Oczekuje się, że obaj dostawcy wprowadzą na rynek dodatkowe chipy w pierwszej połowie 2021 r., oferujące zwiększone prędkości we/wy o 100 Gb/s, które wzrosną do 400 Gb/s^[1] dla zaawansowanych aplikacji.

W kontekście przewidywania rozwoju chipów i dostaw serwerów 100 serwerów GE szybko stanie się głównym nurtem.

Moduł optyczny 200 GE vs. 400 GE: 400 GE zapewnia niższe koszty w dojrzałym przemyśle

Ponieważ serwery dostępowe do centrów danych ewoluują z 25 GE do 100 GE, należy wybrać 200 GE lub 400 GE dla obecnej sieci połączeń 100 GE?

Wraz z ewolucją serwerów centrów danych z 10 GE do 25 GE, a połączeniem sieciowym z 40 GE do 100 GE, przepustowość podwaja się, ale koszty połączeń i zużycie energii pozostają niezmienione, co oznacza, że rzeczywisty koszt i zużycie energii na połączenie Gb/s są skutecznie zmniejszane o połowę. W rezultacie 100 GE zastępuje 40 GE, aby stać się głównym rozwiązaniem w zakresie połączeń sieciowych w erze 25 GE.

Moduły optyczne 200 GE i 400 GE są różne. Tradycyjne moduły optyczne wykorzystują technologię transmisji sygnału bez powrotu do zera (NRZ), w której wysokie i niskie poziomy sygnału są używane do reprezentowania cyfrowych sygnałów logicznych 0 i 1, a jeden bit informacji logicznej może być przesyłany w każdym cyklu zegara. Zarówno moduły optyczne 200 GE, jak i 400 GE wykorzystują Pulse Amplitude Modulation 4 (PAM4), technologię modulacji wysokiego rzędu, która wykorzystuje do transmisji cztery poziomy sygnału. Dwa bity logicznej informacji – 00, 01, 10 i 11 – mogą być transmitowane w każdym okresie zegara.

W konsekwencji, przy tej samej szybkości transmisji, szybkość transmisji sygnału PAM4 jest dwukrotnie większa niż sygnału NRZ, podwajając wydajność transmisji i zmniejszając koszty transmisji. Z punktu widzenia składu modułów optycznych moduły 200 GE i 400 GE wykorzystują architekturę 4-liniową i charakteryzują się podobnymi kosztami projektowania modułów i zużyciem energii.

Ponieważ przepustowość modułu 400 GE jest dwukrotnie większa niż modułu 200 GE, koszt techniczny i zużycie energii modułu 400 GE są o połowę mniejsze niż w przypadku modułu 200 GE.

Oprócz projektowania architektury koszty modułów zależą również od skali wdrożenia. Zgodnie z danymi dostawy zewnętrznej firmy konsultingowej Omdia (pierwotnie znanej jako OVUM), układ modułów optycznych 200 GE i 400 GE dostarczonych przez ośmiu największych dostawców jest następujący.

Jak pokazano na poprzednim rysunku, 200 modułów GE podzielono na 100-metrowe moduły SR4 i 2 km moduły FR4. Wśród 200 modułów GE tylko 100 m modułów SR4 jest podzielonych na pięć typów. Ośmiu największych dostawców wdrożyło moduły o długości 100 m, 500 m i 2 km. W przeciwieństwie do tego branża 400 GE jest znacznie bardziej dojrzała, oferując klientom szeroki wachlarz możliwości.

Analiza ta dodatkowo udowadnia, że ​​technologia PAM4 zwiększa koszty techniczne i zużycie energii. W dziedzinie DCN, która jest wrażliwa zarówno na koszty, jak i zużycie energii, branża wymaga pilnej ewolucji od 200 GE do bardziej wydajnego i konkurencyjnego 400 GE.

Podsumowanie: Skoki prędkości 400 GE, ewolucja 200 GE może zostać porzucona

Sieci DCN zostały zaprojektowane z myślą o świadczeniu usług. Mając to na uwadze, szybko rozwijająca się konstrukcja cyfrowa będzie napędzać szybki wzrost 100 serwerów GE i umocni je jako główną opcję w 2020 roku. Pod względem kosztów komponenty optyczne centrum danych stanowią ponad połowę całkowitego kosztu urządzeń sieciowych. Wraz z wprowadzeniem PAM4 koszt pojedynczego bitu elementu optycznego 400 GE jest tańszy niż koszt modułu optycznego 200 GE. Obniżenie kosztów wdrożenia modułu optycznego bezpośrednio obniża ogólne koszty budowy sieci.

Ogólnie rzecz biorąc, 400 GE cieszy się dużą dynamiką, podczas gdy 200 GE może stać się tymczasowym rozwiązaniem lub nawet całkowicie zaniknąć.

Tryb sieci 400 GE: Sieć o dużej gęstości 400 GE wciąż się rozwija

Jako urządzenia dostępowe i łączące serwerów centrum danych, przełączniki zapewniają większą pojemność wraz ze wzrostem liczby wejść/wyjść serwera. Zdolność przełączania chipów przekazujących komponenty rdzenia podwaja się w każdym pokoleniu. Jednak wyzwanie polegające na podwojeniu pojemności chipów przekazujących jest znacznie większe niż podwojenie pojemności kart sieciowych, aby zapewnić wysoką przepustowość wielu podłączonych do nich serwerów.

Powyższy rysunek przedstawia wydajność, moc i obszar (PPA) procesu półprzewodnikowego. Operacyjna częstotliwość taktowania układu obniża wydajność o 20%, więc w celu poprawy wydajności należy dodać dodatkowy obszar i moc. Wraz ze wzrostem obszaru chipa przekazującego zwiększa się również zużycie energii, co ostatecznie prowadzi do wąskiego gardła w poborze mocy. Aby uniknąć wąskiego gardła, potrzebna jest bardziej zaawansowana technologia półprzewodnikowa.

Jako przykład użyto typowego 128-portowego przełącznika o stałej gęstości 100 GE. Przełącznik wykorzystuje proces 16 nm z chipem 12,8 Tb/s, a pobór mocy układu wynosi około 350 W. Maksymalny pobór mocy przełącznika z modułami optycznymi 100 GE wynosi 1998 W, a szacuje się, że maksymalny pobór mocy Urządzenie 25,6 Tb/s z 128 x 200 GE to 3000 W. W związku z tym pobór mocy całego urządzenia i wymagania dotyczące możliwości jednopunktowego rozpraszania ciepła przez chip wciąż rosną, co stawia wielkie wyzwania w projektowaniu sieci urządzenia.

Jeśli węzeł sieci 400 GE musi osiągnąć taką samą wydajność, jak 128-portowy węzeł sieci w sieci 100 GE, wydajność układu przekazującego musi osiągnąć 51,2 Tb/s. Jeśli przyszłe chipy 51,2 Tb/s będą nadal wykorzystywać technologię procesu 7 nm, szacowany pobór mocy chipów osiągnie 1000 W, co nie jest praktyczne w przypadku urządzeń stacjonarnych opartych na obecnym procesie rozpraszania ciepła.

W rezultacie chip przekazujący 51,2 Tb/s jest używany do budowy 128-portowego stałego przełącznika 400 GE o wysokiej gęstości, który opiera się na modernizacji do technologii chipowej 5 nm lub 3 nm. Technologia chipów 5 nm lub 3 nm zmniejsza pobór mocy chipa przekazującego do mniej niż 900 W. Jeśli stosuje się proces chipowy 5 nm lub 3 nm, chipy mogą być produkowane na dużą skalę i dostarczane w 2023 r..

Nadeszła era 400 GE, a urządzenia stacjonarne i modułowe 400 GE jawią się jako najlepszy wybór

Komercyjna dostawa chipów przełączników 400 GE o wysokiej gęstości (51,2 Tb/s) została opóźniona i obecnie dostępne są trzy opcje dla urządzeń sieciowych.

Opcja 1: Urządzenie stacjonarne o wysokiej gęstości 200 GE. 128 portów 200 GE jest dostępnych przy użyciu układu 25,6 Tb/s.

Opcja 2: Urządzenie stacjonarne 400 GE o niskiej gęstości. 4 porty 400 GE są dostępne przy użyciu układu 25,6 Tb/s.

Opcja 3: Przełącznik modułowy 400 GE o wysokiej gęstości. Wiele chipów jest ułożonych w stos, aby zapewnić wyższą gęstość portów 400 GE, a przełączniki modułowe 400 GE są dostarczane w celu spełnienia wymagań dotyczących gęstości portów 128 x 400 GE (lub nawet wyższych).

Urządzenia stacjonarne o dużej gęstości 200 GE: utracona szansa na 400 GE

100 serwerów GE wkrótce stanie się głównym nurtem, a połączenia optyczne 400 GE będą najbardziej opłacalne. Jednak biorąc pod uwagę obecną niedojrzałość chipu przekazującego 51,2 Gb/s (128 x 400 GE), przedsiębiorstwa, które wdrożyły architekturę 100 GE w pełni stacjonarnych urządzeń, niechętnie rozważają 200 GE. W związku z tym, jeśli zostanie wybrany 200 GE, bezpośrednia ewolucja do 400 GE prawdopodobnie zostanie porzucona. W rezultacie wielokrotne inwestycje dokonane w 200 GE powodują, że koszty połączeń optycznych stanowią ponad połowę całkowitych kosztów budowy DCN. W konsekwencji rozwiązanie 200 GE nie jest w stanie w pełni wykorzystać dywidend z technologii 400 GE.

Urządzenie stacjonarne 400 GE o niskiej gęstości: 75% zmniejszenie skali klastra serwerów

Jeśli do pracy w sieci używane są stałe przełączniki 64 x 400 GE, gęstość portów urządzeń T2 jest o połowę mniejsza niż 128 portów w architekturze sieci 100 GE, a liczba serwerów dostępowych w PoD jest również o połowę mniejsza niż w architekturze sieci 100 GE . Ponadto w warstwie T3 wykorzystywane są również urządzenia sieciowe 64 x 400 GE. W rezultacie liczba serwerów zostaje zmniejszona o połowę, a skala całego klastra serwerów zostaje zmniejszona do 25% pierwotnej skali. W trakcie opracowywania sieci DCN szybkość jest zwiększana przy jednoczesnym zapewnieniu rozmiaru istniejących klastrów serwerów. Urządzenia sieciowe 400 GE o niskiej gęstości portów znacznie zmniejszą skalę klastra serwerów, co może nie spełniać wymagań aplikacji usługowych.

Urządzenia modułowe 400 GE o wysokiej gęstości: najlepszy wybór potwierdzony przez ewolucję sieci

Przyjrzyjmy się historii ewolucji sieci 100 GE. Na wczesnych etapach rozwój usług przetwarzania w chmurze i technologii wirtualizacji zasobów obliczeniowych promował dojrzałość standardów branżowych 100 GE. 25 serwerów dostępowych GE stopniowo znalazło szerokie zastosowanie, a szybki wzrost połączeń optycznych 100 GE jeszcze bardziej obniżył koszty.

Gdy branża dojrzała i nadeszła era sieci 100 GE, wysokowydajne chipy przekazujące 100 GE pozostawały w tyle i nie można było ich uzyskać w początkowej fazie budowy sieci 100 GE (faza 1 na poniższym rysunku). Branża początkowo używała rozwiązania wielochipowego do budowy przełączników modułowych 100 GE o wysokiej gęstości, co zapewniło, że skala sieci spełniła oczekiwania przy jednoczesnej maksymalizacji korzyści technicznych sieci 100 GE.

Wraz ze wzrostem wydajności chipów i wprowadzeniem chipów 6,4 Tb/s i 12,8 Tb/s, sieć płynnie ewoluowała od przełącznika modułowego 100 GE do przełącznika stałego 100 GE (fazy 2 i 3 na poniższym rysunku).

Sieci 400 GE będą ewoluować w podobny sposób i chociaż obecnie niedostępna jest wydajność układów 51,2 Tb/s, wieloukładowe przełączniki modułowe 400 GE są lepszym wyborem.

Modułowe urządzenia 400 GE o wysokiej gęstości mogą być wdrażane w celu utrzymania lub nawet rozszerzenia skali sieci i zmniejszenia kosztów pojedynczych bitów. Znani dostawcy w branży już wprowadzili na rynek urządzenia modułowe 400 GE, które będą promować komercyjne wykorzystanie sieci 400 GE. Wraz z wprowadzeniem na rynek chipów przełączających 51,2 Tb/s, architektura 400 GE ze stałymi i modułowymi urządzeniami może płynnie ewoluować do architektury z pełnymi urządzeniami stacjonarnymi, stając się wreszcie główną architekturą sieci DCN w erze 400 GE.

[1] https://s21.q4cdn.com/600692695/files/doc_presentations/2019/05/2019-Intel-Investor-Meeting-Shenoy.pdf oraz https://wccftech.com/amd-zen-3-epyc-milan-and-zen-4-epyc-genoa-server-cpu-detailed