Future of Data: 400g optisk modul

 

 

Formfaktorkrigene, som ingen taler om ærligt

 

Gå ind i en hvilken som helst optisk netværkskonference, og du vil høre QSFP-DD versus OSFP-debatten indrammet som en teknisk sammenligning. Det er det ikke. Det er en politisk kamp, ​​der er klædt ud i spec-ark.

QSFP-DD vandt volumenkampen, før den første 400G-switch blev sendt. Bagudkompatibilitet med QSFP28-bure betød, at enhver netværksoperatør teoretisk kunne opgradere uden at rive eksisterende infrastruktur ud. Det "teoretisk" gør tunge løft-Jeg har set ingeniører bruge hele weekender på at prøve at få ældre switch-firmware til at genkende dobbelt-densitetsmoduler, der fysisk passer, men som ikke opfører sig elektrisk.

OSFP kom fra Aristas lejr med en ligetil tonehøjde: større modul, bedre termik, designet til 400G fra bunden i stedet for at tvinge otte baner ind i et bur bygget til fire. Den integrerede køleplade håndterer 15-20 watt uden at svede. QSFP-DD ved 12 watt? Allerede ved at skubbe termiske grænser i højdensitetsinstallationer.

Industrien valgte QSFP-DD alligevel. Kompatibilitet vinder. altid har.

Men her er, hvad formfaktorsammenligningsartiklerne aldrig nævner: termiske kapacitetsforskelle forværres dramatisk i skala. En 32-ports 400G-switch, der er fuldt befolket med QSFP-DD-moduler, spreder omkring 640 watt fra optikken alene. Det er før omskifteren ASIC, kontrolplan, ventilatorer, strømforsyninger. Vi taler om 1,5-2 kilowatt i alt i et 1RU chassis. Den luftstrømsteknik, der kræves for at holde disse moduler under overgangstemperaturgrænser, grænser til rumfartsdesign.

 

PAM4 gjorde alt sværere

 

Alle fejrer PAM4 for fordobling af spektral effektivitet. Ingen nævner det tekniske mareridt, det skabte.

NRZ var enkel. To spændingsniveauer. Signalet repræsenterer enten et et eller et nul. Dit øjendiagram har én åbning. Hvis det er rent, er du gylden.

PAM4 transmitterer to bits pr. symbol ved hjælp af fire amplitudeniveauer. Tre stablede øjenåbninger. Hvert øje er omtrent en-tredjedel af højden af ​​et tilsvarende NRZ-øje. Støjmarginerne kollapser. Pludselig har hver millimeter af PCB-spor betydning. Hver via skaber refleksion. Enhver impedansdiskontinuitet mellem værts-ASIC'en og det optiske modulbur bliver et pålidelighedsproblem.

Jeg brugte seks måneder på at fejlfinde en 400G-installation, hvor der opstod tilfældige CRC-fejl på bestemte porte. Grundårsagen? Et stik uden--specifikationer på værtskortet skabte lige nok returtab til at ødelægge det laveste PAM4-øje. Perfekt til 100G trafik. Katastrofal for 400G.

Branchens svar var obligatorisk FEC. Du kan ikke køre 400G PAM4-optik uden fremadrettet fejlkorrektion-den rå BER overstiger simpelthen brugbare tærskler. RS(544.514) tilføjer cirka 300 nanosekunders latenstid. Ikke enorm. Men fortæl det til HPC-klyngen, der kører MPI-job, hvor hvert mikrosekund af hale latency påvirker færdiggørelsestiden for opgaven.

 

 

Silicon Photonics skulle redde os

 

Tonehøjden for siliciumfotonik lyder perfekt på papiret. Udnyt årtiers fantastiske CMOS-investeringer. Integrer modulatorer, fotodetektorer og bølgeledere på en enkelt chip. Opnå stordriftsfordele, som diskrete InP- og GaAs-komponenter aldrig kunne. Strømforbruget falder 20-30%. Omkostningerne når til sidst paritet og underbyder derefter traditionelle tilgange.

Intel sendte over tre millioner 100G silicium fotoniske transceivere. Alibaba implementerede 400G DR4 silicium fotoniske moduler på tværs af deres cloud-netværk fra 2020. Teknologien virker.

Men siliciumfotonik har en beskidt hemmelighed: lyskilderne kan stadig ikke være silicium.

Du har brug for en ekstern laser-typisk en indiumphosphid-matrice-enten bundet til silicium-PIC'en eller koblet via fiber. Den hybride integration tilføjer produktionskompleksitet. Udbyttet lider. Den omkostningsfordel, som alle lovede, bliver ved med at blive skubbet endnu en generation ud.

De virksomheder, der fordobler siliciumfotonik til 400G, omfatter nogle meget kloge mennesker, der laver meget dyre væddemål. Ciscos opkøb af Luxtera og Acacia beløb sig til 3,26 milliarder dollars. Det er ikke R&D-budgetpenge. Det er strategisk infrastrukturinvestering.

Markedsandelsdata fortæller en mere kompliceret historie. Ifølge LightCounting repræsenterer siliciumfotoniske moduler stadig under 10% af de samlede 400G-forsendelser på trods af mange års hype. Traditionelle EML-baserede transceivere dominerer DR4- og FR4-applikationer. Teknologiovergangen sker langsommere end pressemeddelelserne antydede.

 

Hvad Spec Sheets skjuler om rækkevidde

 

IEEE-navnekonventionen for 400G-optik virker nyttig, indtil du prøver at købe moduler.

400G-SR8: 100 meter over multimode fiber. Otte parallelle baner ved 850nm. Fin til inden for-rackforbindelser. Forfærdeligt for noget andet.

400G-DR4: 500 meter over single-mode fiber. Fire parallelle baner ved 1310nm. Arbejdshesten for de fleste datacenterforbindelser.

400G-FR4: 2 kilometer, enkelt-tilstand, CWDM-bølgelængder multiplekset på ét fiberpar. Bruger dyre eksternt modulerede lasere.

400G-LR4: 10 kilometer. Samme bølgelængdeskema som FR4, men med optisk forstærkning for at udvide rækkevidden.

Simpelt nok. Bortset fra producenter spiller hurtigt og løst med disse betegnelser konstant.

Jeg har set "DR4-kompatible" moduler, der rammer 500 meter under laboratorieforhold og fejler på 300 meter med et egentligt fiberanlæg, der har lidt forhøjet stiktab. Specifikationen siger 500 meter med 7dB linkbudget. Matematikken fungerer perfekt under forudsætning af uberørte forbindelser overalt. Virkeligheden inkluderer snavsede konnektorer, ufuldkomne splejsninger og fiberkørsler, der tog en lidt længere vej gennem loftet, end kabelstyringstegningerne viste.

Den 2 km lange FR4 rækkevidde lyder tilstrækkelig, indtil du forbinder bygninger på en campus og opdager, at din fibersti måler 2,3 kilometer. Nu har du brug for LR4-moduler til tre gange prisen, eller du bliver kreativ med forstærkning, eller du accepterer, at dette link faktisk ikke virker.

 

DR4 Versus FR4-beslutningen

 

Denne har faktisk betydning for rigtige implementeringer, og ingen forklarer det godt.

DR4 bruger fire parallelle fibre til transmission og fire til modtagelse. I alt otte fibre. MPO-12 stik med fire ubrugte positioner. Maksimal rækkevidde 500 meter. Strømforbrug typisk 8-10 watt. Modulomkostninger omkring 60 % af tilsvarende FR4.

FR4 bruger bølgelængdedelingsmultipleksing til at placere alle fire baner på et enkelt fiberpar. Duplex LC-stik. Maksimal rækkevidde 2 kilometer. Strømforbrug typisk 10-12 watt. Premium-priser, fordi EML-lasere ikke er billige.

Fibertopologien bestemmer alt.

Greenfield datacenter med struktureret kabling, du angiver? Parallel fiber giver mening. Kør MPO-stamkabler mellem rækkerne. Brug DR4 overalt. Lavere optikomkostninger opvejer den ekstra fiber.

Brownfield miljø med eksisterende duplex fiber anlæg? FR4 eller du trækker nyt kabel.

Blandet miljø med nogle parallelle kørsler og noget duplex legacy-anlæg? Velkommen til kompatibilitetsmareridtet. Du ender med begge modultyper, forskellige stikstile og mindst ét ​​kabinet, hvor nogen brugte den forkerte patch-ledning og brugte fire timer på at fejlfinde "link down"-advarsler.

 

Breakout-spørgsmålet

 

Et 400G-DR4-modul indeholder fire 100G-baner. Hver bane fungerer uafhængigt ved det optiske lag. Dette muliggør breakout-tilslutning af én 400G switch-port til fire separate 100G-enheder ved hjælp af en breakout-fibersamling.

Økonomien lyder overbevisende. Én 400G port. Fire 100G servere. Intet behov for yderligere switch-porte.

Virkeligheden er mere kompliceret.

Switch ASIC'er understøtter ikke altid vilkårlige breakout-konfigurationer. Nogle platforme kræver specifik firmware. Andre tillader kun breakout på visse portgrupper. Nogle få implementerer breakout i hardware, men softwarestakken afslører ikke konfigurationsmuligheden.

Værre: breakout-kabler skaber støttemareridt. Er problemet 400G-modulet, breakout-samlingen eller en af ​​de fire 100G-enhedsporte? Fejlfinding kræver udskiftning af kabler, test af hvert ben uafhængigt og beder om, at problemet kan reproduceres.

Jeg har set organisationer standardisere på native 100G overalt, specifikt for at undgå breakout-kompleksitet. Optikken koster mere. Switchporttætheden lider. Men den operationelle enkelhed vinder.

 

 

Virkelighed for strømforbrug

 

Hvert 400G modul datablad viser strømforbrug. Tallene er teknisk nøjagtige og praktisk talt ubrugelige.

En QSFP-DD DR4 kan typisk specificere 8,5 watt. Det er modulet, der trækker fra omskifterens 3,3V-skinne under normale driftsforhold. Det inkluderer ikke den ekstra strøm, som switchen ASIC bruger til at køre de otte 50G PAM4-baner. Det tager ikke højde for den termiske styring overhead-mere kraftfulde blæsere, ekstra luftstrøm, måske supplerende køling.

Ved 32 porte pr. switch stiger forskellen mellem 8-watt og 12-watt moduler til 128 watt. Det er ikke trivielt, når du planlægger strømfordeling til en hel række stativer.

Skiftet fra 100G til 400G firedobler ikke strømforbruget pr. port-effektivitetsgevinsten fra integration og DSP-forbedringer hjælper. Men den samlede effekt pr. switch steg absolut. Datacentre, der planlagde elektrisk og køleinfrastruktur omkring 100G tætheder, opdager kapacitetsbegrænsninger, når de opgraderer til 400G ved fuld befolkning.

 

Kompatibilitet er ikke binær

 

Leverandører elsker at hævde "kompatibel med alle større switch-platforme." Denne udtalelse er teknisk forsvarlig og praktisk talt vildledende.

Optisk modulkompatibilitet afhænger af mere end fysisk pasform og elektrisk signalering. DOM (Digital Optical Monitoring) protokoller varierer mellem leverandører. CMIS-implementeringer (Common Management Interface Specification) har tilstrækkelig fleksibilitet til, at to "kompatible" implementeringer muligvis ikke fungerer rent sammen. Nogle switche kontrollerer leverandør-id-koder og nægter helt at tænde ugenkendte moduler.

Det grå marked for "kompatibel" 400G-optik eksploderede, netop fordi mærke-navnemoduler koster 3-5 gange mere end tredjepartsalternativer. Nogle af disse alternativer fungerer upåklageligt. Andre forårsager subtile problemer, der kun viser sig under specifikke trafikmønstre eller efter at have løbet i uger.

Jeg har personligt testet tredjeparts-400G DR4-moduler, der bestod hver eneste overensstemmelsesmåling i laboratoriet og derefter afstedkom ukorrigerbare FEC-fejl ved 2 % af trafikken under produktionsbelastning. Temperaturen inde i modulet under vedvarende høj-båndbredde oversteg, hvad de optiske komponenter kunne klare. Modulet virkede. Indtil det ikke gjorde det.

 

Hvad 800G betyder for 400G

 

800G-overgangen er allerede i gang. Hyperscalere implementerer 800G i dag. Resten af ​​branchen følger efter inden for 18-24 måneder.

Dette forælder ikke 400G-modulerne vil sendes i årevis-men det ændrer økonomien.

800G bruger otte 100G baner i stedet for 400Gs otte 50G baner. Samme PAM4-modulation, højere symbolrate pr. bane. Fysikken bliver sværere. Termiske kuverter skubber mod 20-25 watt pr. modul. OSFP's fordel med termisk frihøjde bliver mere relevant ved disse effektniveauer.

Endnu vigtigere er det, at 800G-moduler kan bryde ud til dobbelte 400G-konfigurationer. Et 800G-2xDR4-modul giver to uafhængige 400G-links. Til miljøer med blandede 400G- og 800G-krav forenkler denne breakout-funktion lagerstyring.

De datacenteroperatører, jeg taler med, holder for det meste på 400G for blad-spine-forbindelse, mens de evaluerer 800G for GPU-klyngeforbindelser, hvor båndbreddetætheden betyder mest. AI-træningsarbejdsbelastningen med alle-til-kommunikationsmønstre understreger virkelig 400G-links på måder, som traditionel nord-sydtrafik aldrig gjorde.

 

Den co-pakkede optikhorisont

 

Alle i branchen ved, at CPO kommer. Optiske transceivere integreret direkte med switch ASIC'er. Ingen pluggbare moduler overhovedet. Strømforbruget falder fra 15 picojoule pr. bit til måske 5, potentielt under 1 picojoule, efterhånden som teknologien modnes.

NVIDIA har annonceret CPO-planer for 2025/2026-hardware. Meta og Microsoft har demonstreret prototyper. OIF standardiserer grænseflader.

Spørgsmålet er ikke, om CPO sker. Det er, om det sker hurtigt nok til at have betydning for din nuværende planlægningscyklus.

Min læsning: pluggbar optik dominerer gennem mindst 2028 for de fleste implementeringer. CPO vises muligvis i hyperscaler-tilpassede builds tidligere. Driftsfleksibiliteten af ​​varme-udskiftelige moduler-evnen til at erstatte en fejlbehæftet optik uden at lukke en switch ned-betyder enormt meget for miljøer uden N+1 redundans overalt.

Planlæg 400G og 800G, der kan tilsluttes i dag. Budget for CPO-evaluering om tre år. Lad ikke leverandørens køreplansdias fremskynde tidslinjer, som fremstillingsvirkeligheden ikke kan understøtte.

 

Praktisk vejledning, der rent faktisk hjælper

 

For nybyggeri: standardiser på DR4 med parallel fiberinfrastruktur. Omkostningsbesparelserne i forhold til FR4 er sammensat på tværs af tusindvis af moduler. Planlæg strøm og køling for 10 watt pr. modul, selvom spec-ark lover 8.

For opgraderinger: kontroller din eksisterende fiberfabrik besat. Kend det faktiske målte tab på hvert segment. Oplev 400 meter DR4 grænseoverskridelser, før din optik ankommer.

For AI-klynger: 800G er allerede det rigtige svar. Båndbreddekravene retfærdiggør præmien. Gå ikke et halvt-trin til 400G, hvis dine arbejdsbyrder vil vokse ud af det på 18 måneder.

For alle: Test tredjepartsoptik grundigt- før volumenimplementering. Omkostningsbesparelserne er reelle. Det samme er fiaskoerne. Valider med dine specifikke switch-platforme under realistisk belastning, før du forpligter dig til lagerbeholdning.

Teknologien virker. Tyve millioner 400G- og 800G-moduler blev sendt i 2024 af en grund. Men overgangen fra 100G kræver opmærksomhed på detaljer, som spec-ark og marketingmateriale bekvemt udelader. Fysikken er ligeglad med din tidslinje for implementering.