400G optiske moduler i moderne netværk

 

Form Factor Wars Ingen vandt

 

QSFP-DD og OSFP kom ud af standardprocessen som to søskende, der ikke kunne blive enige om andet end at de begge ville have 400G. Industrien havde brug for otte elektriske baner på 50 Gbps hver, og to forskellige konsortier besluttede at løse det problem på to forskellige måder.

QSFP-DD vandt kompatibilitetsargumentet. Den passer til eksisterende QSFP28-bure, hvis du skeler hårdt nok og ikke har noget imod den anden række af stifter. Bagudkompatibilitet betyder noget, når du har titusindvis af udstationerede havne og en CFO, der stiller skarpe spørgsmål om strandede aktiver.

OSFP vandt det termiske argument. Det lidt større hus og den integrerede køleplade betyder, at du faktisk kan sprede de 15-20 watt disse moduler trækker uden at tilberede tilstødende porte. Jeg har set linjekort, hvor hjørne-QSFP-DD-portene konsekvent kører 8 grader varmere end de midterste, fordi luftstrømsdesignet antog 100G strømkonvolutter.

Ingen af ​​dem vandt rigtigt. De fleste hyperscalere blev QSFP-DD for at gøre lagerbeholdningen enkel. De fleste telekominstallationer gik OSFP, fordi deres sammenhængende moduler havde brug for den termiske frihøjde. Alle andre valgte, hvad end deres switch-leverandør sendte og gik videre.

QSFP112-varianten fortjener omtale, fordi den forvirrer alle. Fire baner på 100G hver-samme 400G samlet, færre baner, nyere SerDes. Det betyder noget for NIC-forbindelsen, hvor du vil have server-til-TOR-links uden DSP-gearkassekompleksiteten. Det betyder mindre end leverandører hævder andre steder.

 

PAM4 ændrede alt (og brød et par ting)

 

Her er, hvad ingen forklarer tilstrækkeligt, når de sælger dig på 400G: PAM4-signalering bytter støjimmunitet for båndbreddeeffektivitet, og den afvejning er ikke gratis.

NRZ-kodning brugte to signalniveauer. Høj eller lav. En eller nul. Din modtager skulle bare skelne mellem disse to tilstande, og øjendiagrammet gav dig komfortable marginer. PAM4 bruger fire niveauer-00, 01, 10, 11-hvilket betyder, at din modtager nu skal skelne mellem tre grænseoverskridelser med en tredjedel af spændingsadskillelsen. Den teoretiske 9,54dB SNR-straf er slet ikke teoretisk. Det dukker op i dine præ-FEC BER-tællere hver eneste dag.

DSP'en inde i et 400G-modul udfører heroisk arbejde, der kompenserer for dette. Feed-fremadudligning, beslutningsfeedbackudligning, ur og datagendannelse-alt sammen med 53,125 GBaud pr. bane. Når det virker, er det usynligt. Når det ikke virker, får du byger af korrigerbare fejl præget af lejlighedsvise ukorrigerbare, og held og lykke med at finde ud af, om problemet er dit modul, din fiber, din vært eller den kosmiske baggrundsstråling.

 

 

Bølgelængdevarianter: Mere end bare rækkevidde

 

Rækkeviddespecifikationerne fortæller kun en del af historien.

400G-SR8 bruger 850nm VCSEL'er på tværs af otte parallelle fibre, målrettet 100 meter over OM4. Det er billigt. Det er multimode. Det kræver et MPO-16-stik med otte TX- og otte RX-fibre. Indenfor et stativ eller mellem tilstødende stativer fungerer dette fint. I det øjeblik nogen spørger om at køre det "bare lidt længere", minde dem om, at modal spredning ved 850nm ikke forhandler.

400G-DR4 fungerer ved 1310nm over fire parallelle single-mode fibre, normeret til 500 meter. MPO-12-stikket bruger de ydre otte fibre og efterlader fire ubrugte-et faktum, der forvirrer kabelinstallatører nogenlunde én gang pr. installation. DR4 er blevet arbejdshesten for løv{12}}rygsøjleforbindelser i single-mode anlæg, fordi 500 meter dækker de fleste datacentergeometrier med plads til overs.

400G-FR4 bruger CWDM4-bølgelængder (1271, 1291, 1311, 1331nm) multiplekset på et enkelt fiberpar via duplex LC. To kilometer rækkevidde. Det er her, 400G begynder at føles økonomisk for campusforbindelser, fordi du ikke trækker otte{11}}fiber MPO-stammer mellem bygninger.

400G-LR4 strækker den samme CWDM4-tilgang til 10 kilometer med højere affyringskraft og bedre modtagere. Prishoppet fra FR4 til LR4 overrasker stadig indkøbsafdelinger, der ikke har opdateret deres mentale model fra 100G-LR4-priser.

 

Den sammenhængende elefant

 

400G-ZR fortjener sin egen sektion, fordi den repræsenterer en fundamentalt anderledes teknologi klædt i samme formfaktor.

Alt, hvad jeg har beskrevet indtil videre, bruger direkte-detektionsoptik. Lys går ind, fotodiode konverterer det, DSP renser det. Kohærent optik koder information i både amplitude og fase på tværs af to polariseringer samtidigt, og brug derefter en lokal oscillator og sofistikeret digital signalbehandling til at gendanne alt ved modtageren. Resultatet: 400 Gbps over 120+ kilometer uforstærket fiber i et pluggbart modul.

OIF 400ZR-standarden specificerer 16QAM-modulation ved 60 GBaud med dobbelt polarisering. Den sammenkædede FEC (blød-beslutning indre Hamming, hård-beslutning ydre trappe) giver omkring 10,8 dB nettokodningsforstærkning. Det hele trækker 15-20 watt og genererer varme, der ville få et QSFP-DD-modul til at græde.

Jeg har set ZR-moduler installeret i switche, der ikke var designet til den termiske belastning. Switch-chassiset rapporterede normale temperaturer, fordi dets indsugningssensorer målte kølig luft. Modulet rapporterede 73 grader, fordi det var klemt mellem to andre ZR-moduler med utilstrækkelig luftstrøm. Linket fungerede-næppe-med forhøjede FEC-korrektioner, som ingen lagde mærke til, før den før-FEC BER nåede forbi tærsklen, og pakker begyndte at falde.

ZR+- og MZR-varianter skubber rækkevidden længere på bekostning af interoperabilitet. Leverandør--specifikke forbedringer til lancering af strøm, modtagerfølsomhed og FEC-algoritmer kan udvide links til over 400 km, men du køber en løsning i stedet for en vare.

 

 

Tredjepartsspørgsmålet.-

 

Jeg har haft denne samtale omkring seks hundrede gange.

"Kan vi bruge tredjeparts 400G-optik-?"

Teknisk set ja. MSA-specifikationerne eksisterer netop for at muliggøre interoperabilitet mellem flere-leverandører. En kompatibel QSFP-DD fra producent X bør opføre sig identisk med en fra producent Y. IEEE-standarderne definerer de optiske og elektriske parametre. CMIS (Common Management Interface Specification) standardiserer, hvordan værten taler til modulet.

Rent praktisk kommer det an på.

Ciscos godkendelsesmekanismer har udviklet sig fra den stumpe "fejl-deaktiver porten"-tilgang på ældre platforme til mere sofistikeret leverandørverifikation, der logger advarsler, men som ikke nødvendigvis deaktiverer funktionalitet. Den tjeneste ikke-understøttede-transceiverkommando forbliver escape-lugen. Arista har en tendens til at være mere eftergivende, men vil afvise at understøtte problemer, der kan stamme fra tredjepartsmoduler. Junipers holdning varierer efter platform og softwareversion på måder, der kræver konsultation af deres kompatibilitetsmatricer.

Jeg kører uden tøven-partsoptik i laboratoriemiljøer. For produktionsstier med indtægtstrafik kl. 02.00, når noget fejler? Jeg vil gerne være i stand til at ringe til TAC og få dem til rent faktisk at hjælpe i stedet for straks at afbøje til at "erstatte med understøttede transceivere."

Omkostningsmatematikken ændrer denne beregning for hyperskalere, der køber moduler i titusindvis og ansætter optikingeniører, der kan karakterisere og kvalificere leverandører uafhængigt. Det er en anden matematik for virksomheder, der køber hundredvis af moduler gennem distributionskanaler med begrænsede tekniske ressourcer.

 

Termisk virkelighed

 

Et 400G QSFP-DD-modul trækker et sted mellem 10 og 15 watt afhængigt af variant og leverandør. Et 400G sammenhængende ZR-modul trækker 15-20 watt. Et 800G QSFP-DD800-modul-allerede implementeret i AI-klynger, trækker 18-25 watt.

Sæt 64 af disse i en 2RU-switch, og du har 640 watt fra optikken, før du tager højde for switch-ASIC, hukommelse, blæsere og strømforsyninger. Det termiske designproblem har flyttet sig fra "tilstrækkelig" til "kritisk" på en enkelt generation.

Jeg så et termisk kamera feje en fuldt-belastet 400G-switch under en kvalifikationstest. De hotteste moduler var ikke dem, du ville forvente. Hjørnepositioner, modvind af ASIC-udstødningen, løb varmere end frontplade-centermoduler, der fik frisk luft. Standard DDM-temperaturaflæsningerne viste en 17 graders spredning på porte, der angiveligt var identiske.

Modulspecifikationerne lover drift fra 0 grader til 70 grader, men ydeevnekurverne ser ikke ens ud ved 70 grader, som de gør ved 25 grader. Lasertærskelstrømmen stiger. Hældningseffektiviteten falder. Bølgelængdedrift-og for CWDM4- og DWDM-systemer betyder bølgelængdedrift krydstale med tilstødende kanaler.

Luft-kølede systemer nærmer sig deres grænser. Væskekøling til switches forbliver eksotisk, men stadig mere nødvendig for AI/ML-klynger, hvor GPU'er og optik konkurrerer om det samme termiske budget.

 

 

Test af realiteter

 

IEEE-standarderne definerer overholdelsespunkter. De garanterer ikke, at dit specifikke link virker.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) er PAM4-ækvivalenten til OMA (Optical Modulation Amplitude), men mere kompliceret. Den forsøger at karakterisere senderkvaliteten på en måde, der forudsiger modtagerens ydeevne. Målingen kræver referencemodtagere og matematiske transformationer, der varierer mellem testudstyrsleverandører på måder, der forårsager uendelige diskussioner i standardudvalget.

Før-FEC BER-test er vigtigere end nogensinde før. "Fingeraftrykket" af dine bitfejl-tilfældig versus bursty, ensartet fordelt versus koncentreret i specifikke PAM4-symboler-afgør, om din FEC faktisk kan rette dem. Ægte tilfældige fejl spiller godt med Reed-Solomon-koder. Burst-fejl fra urgendannelsesproblemer eller DSP-fejl kan overvælde FEC, selv når den rå BER ser acceptabel ud.

Jeg har lært at kræve præ-FEC-statistik fra hvert 400G-link, ikke kun post-FEC. Et link, der viser 0,00 post-FEC BER, mens du kører pre-FEC BER ved 2×10⁻⁴ ser godt ud, indtil du indser, at der næsten ikke er nogen margen tilbage. Tilføj et lidt snavset stik eller en aldrende laser, og det link vil vælte over FEC-klippen uden varsel.

 

Forurening af stik

 

Ved 400G bliver forureningsproblemet akut. Det modulerede øje har mindre margin. Partikler, der ville have været usynlige ved lavere hastigheder, dæmpes nu nok til at have betydning.

Single-mode fiberkerner er 9 mikrometer på tværs. Et MTP/MPO-12-stik bærer otte aktive fiberstier (fire TX, fire RX) plus fire ubrugte. Hver parringscyklus risikerer forurening. Hver forurenet endeflade risikerer tab af indsættelse, som tærer på dit linkbudget.

Den krævede rengøringsdisciplin er ikke-forhandlingsbar, men følges sjældent konsekvent. Rengøringsmidler med ét-klik, tørservietter med statiske problemer, våd rengøring med isopropylalkohol, der skal tørres af med det samme i stedet for at få lov til at fordampe-enhver metode har tilhængere og kritikere. Det er alle enige om: efterse med et fiberskop inden tilslutning, og hvis det er snavset, skal du rense det og efterse igen.

Jeg så et implementeringsteam brænde en hel eftermiddag ved at fejlfinde et intermitterende 400G-DR4-link. Flere modulbytte. Konfigurationsgennemgange. Til sidst brød inspektionsomfanget ud og fandt byggeaffald på skotadapteren, som ingen havde tænkt sig at kontrollere. Tyve sekunder med et rengøringsværktøj fiksede, hvad fire timers fejlfinding ikke kunne.

 

 

Hvad alt dette betyder for planlægningen

 

Hvis du implementerer nyt datacenterstof i dag, er 400G basislinjen for ryglag og i stigende grad for blad-ryg-uplinks. Omkostningerne pr. bit er faldet til, hvor 4×100G breakout fra et 400G-modul ofte er billigere end individuelle 100G-moduler. DR4 til alt over 30 meter inde i en bygning. FR4 til campusforbindelser. LR4 eller ZR, hvis du når mellem websteder.

Hvis du er en virksomhed, der overvejer din første 400G-implementering, er skifteplatformene modnet, modulets forsyningskæde er stabiliseret, og prissætningen kræver ikke længere executive sign-af hver indkøbsordre. Start med en opfriskning af-bladene, bevis, at din kabelinfrastruktur kan håndtere den snævrere forureningstolerance, og forstå, at dine administrationsværktøjer skal begynde at indsamle FEC-statistikker, før du rent faktisk har brug for dem.

Hvis du er en hyperscaler, der læser dette, er du allerede forbi 400G for GPU-klynger og spekulerer på, hvordan 1.6T rent faktisk vil implementere. Held og lykke med de termiske problemer; Jeg læser dine papirer om to år.

Selve modulerne er blevet bemærkelsesværdigt pålidelige. Problemerne lever alle andre steder: forurenede stik, fejlkonfigurerede FEC-tilstande, termiske designs, der antog gårsdagens strømkonvolutter, og støtteorganisationer, der stadig lærer at fejlfinde PAM4-signalintegritetsproblemer. De uglamorøse grundprincipper-renser dine stik, måler dine temperaturer, forstår dit FEC-budget-betyder mere end specifikationsarkets debatter nogensinde vil gøre.