Viitorul datelor: Modul optic de 400 g

 

 

Războiul factorului de formă despre care nimeni nu vorbește sincer

 

Intrați în orice conferință de rețea optică și veți auzi dezbaterea QSFP-DD versus OSFP încadrată ca o comparație tehnică. Nu este. Este o luptă politică îmbrăcată în fișe de specificații.

QSFP-DD a câștigat lupta pentru volum înainte ca primul switch 400G să fie livrat. Compatibilitatea anterioară cu cuștile QSFP28 a însemnat că fiecare operator de rețea ar putea, teoretic, să facă upgrade fără a distruge infrastructura existentă. Acest lucru „teoretic” face eforturi grele-I-am văzut pe ingineri petrecând weekend-uri întregi încercând să facă ca firmware-ul de comutator vechi să recunoască modulele cu dublă-densitate care se potrivesc fizic, dar care se comportă greșit din punct de vedere electric.

OSFP a venit din tabăra lui Arista cu o prezentare simplă: modul mai mare, termice mai bune, proiectat pentru 400G de la zero, în loc să forțeze opt benzi într-o cușcă construită pentru patru. Radiatorul integrat suportă 15-20 de wați fără a transpira. QSFP-DD la 12 wați? Deja depășește limitele termice în implementările de înaltă densitate.

Industria a ales QSFP-DD oricum. Compatibilitatea câștigă. Întotdeauna are.

Dar iată ceea ce articolele de comparare a factorului de formă nu menționează niciodată: diferențele de capacitate termică se agravează dramatic la scară. Un comutator 400G cu 32-porturi complet populat cu module QSFP-DD disipează aproximativ 640 de wați numai din optică. Asta înainte de comutatorul ASIC, planul de control, ventilatoare, surse de alimentare. Vorbim de 1,5-2 kilowați în total într-un șasiu de 1RU. Ingineria fluxului de aer necesară pentru a menține aceste module sub limitele temperaturii de joncțiune limitează designul aerospațial.

 

PAM4 a făcut totul mai greu

 

Toată lumea sărbătorește PAM4 pentru dublarea eficienței spectrale. Nimeni nu menționează coșmarul ingineresc pe care l-a creat.

NRZ a fost simplu. Două niveluri de tensiune. Semnalul reprezintă fie un unu, fie un zero. Diagrama dvs. de ochi are o singură deschidere. Dacă este curat, ești auriu.

PAM4 transmite doi biți per simbol folosind patru niveluri de amplitudine. Trei deschideri pentru ochi stivuite. Fiecare ochi are aproximativ o-treime din înălțimea unui ochi NRZ echivalent. Marjele de zgomot se prăbușesc. Dintr-o dată, fiecare milimetru de urmă de PCB contează. Fiecare via creează reflecție. Fiecare discontinuitate a impedanței dintre ASIC-ul gazdă și carcasa modulului optic devine o problemă de fiabilitate.

Am petrecut șase luni depanând o implementare 400G în care au apărut erori aleatorii CRC pe anumite porturi. Cauza principală? Un conector ușor în afara--specificelor de pe placa gazdă a creat o pierdere de returnare suficientă pentru a deteriora cel mai mic ochi PAM4. Perfect pentru trafic 100G. Catastrofal pentru 400G.

Răspunsul industriei a fost FEC obligatoriu. Nu puteți rula optica 400G PAM4 fără corectarea erorilor înainte-BER-ul brut depășește pur și simplu pragurile utilizabile. RS(544,514) adaugă aproximativ 300 de nanosecunde de latență. Nu imens. Dar spune-i asta clusterului HPC care rulează joburi MPI în care fiecare microsecundă de latență afectează timpul de finalizare a jobului.

 

 

Silicon Photonics trebuia să ne salveze

 

Tonul pentru fotonica cu siliciu sună perfect pe hârtie. Profitați de zeci de ani de investiții fabuloase CMOS. Integrați modulatoare, fotodetectoare și ghiduri de undă pe un singur cip. Obțineți economii de scară pe care componentele discrete InP și GaAs nu le-au putut niciodată. Consumul de energie scade cu 20-30%. Costurile ajung în cele din urmă la paritate, apoi subminează abordările tradiționale.

Intel a livrat peste trei milioane de transceiver fotonici de siliciu 100G. Alibaba a implementat module fotonice de siliciu 400G DR4 în rețeaua lor cloud începând cu 2020. Tehnologia funcționează.

Dar fotonica cu siliciu are un secret murdar: sursele de lumină încă nu pot fi siliciu.

Aveți nevoie de un laser extern-de obicei o matriță de fosfură de indiu-fie legată la PIC de siliciu, fie cuplată prin fibră. Această integrare hibridă adaugă complexitate de producție. Randamentele suferă. Avantajul de cost pe care l-au promis toată lumea continuă să fie împins încă o generație.

Companiile care se dublează pe fotonica cu siliciu pentru 400G includ niște oameni foarte inteligenți care fac pariuri foarte scumpe. Achizițiile Cisco de Luxtera și Acacia au totalizat 3,26 miliarde de dolari. Nu sunt bani de la bugetul de cercetare și dezvoltare. Aceasta este o investiție strategică în infrastructură.

Datele despre cotele de piață spun o poveste mai complicată. Potrivit LightCounting, modulele fotonice de siliciu reprezintă încă sub 10% din totalul livrărilor de 400G, în ciuda anilor de hype. Transceiverele tradiționale bazate pe EML-domină aplicațiile DR4 și FR4. Tranziția tehnologică are loc mai lent decât sugerau comunicatele de presă.

 

Ce ascund fișele de specificații despre Reach

 

Convenția de denumire IEEE pentru optica 400G pare utilă până când încercați să cumpărați module.

400G-SR8: 100 de metri pe fibră multimodală. Opt benzi paralele la 850 nm. Bine pentru conexiunile din-rack. Teribil pentru orice altceva.

400G-DR4: 500 de metri pe fibră mono-mod. Patru benzi paralele la 1310nm. Calul de muncă pentru majoritatea interconectărilor centrelor de date.

400G-FR4: 2 kilometri, un singur-mod, lungimi de undă CWDM multiplexate pe o pereche de fibre. Utilizează lasere scumpe modulate extern.

400G-LR4: 10 kilometri. Aceeași schemă de lungimi de undă ca FR4, dar cu amplificare optică pentru a extinde raza.

Destul de simplu. Cu excepția producătorilor joacă rapid și liber cu aceste denumiri în mod constant.

Am văzut module „compatibile cu DR4” care ating 500 de metri în condiții de laborator și eșuează la 300 de metri cu o instalație de fibră reală care are pierderi ușor crescute de conector. Specificația spune 500 de metri cu un buget de legătură de 7 dB. Matematica funcționează perfect presupunând conexiuni curate peste tot. Realitatea include conectori murdari, îmbinări imperfecte și linii de fibră care au parcurs un drum puțin mai lung prin tavan decât indicau desenele de gestionare a cablurilor.

Distanța FR4 de 2 km sună adecvată până când conectezi clădiri dintr-un campus și descoperi că traseul tău de fibră măsoară 2,3 kilometri. Acum ai nevoie de module LR4 la trei ori mai mare decât costul, sau devii creativ cu amplificarea, sau accepți că această legătură nu va funcționa de fapt.

 

Decizia DR4 versus FR4

 

Aceasta contează de fapt pentru implementări reale și nimeni nu o explică bine.

DR4 folosește patru fibre paralele pentru transmitere și patru pentru recepție. Opt fibre în total. Conector MPO-12 cu patru poziții neutilizate. Atinge maximă 500 de metri. Consumul de energie este de obicei de 8-10 wați. Modulul costă aproximativ 60% din echivalentul FR4.

FR4 utilizează multiplexarea prin diviziune a lungimii de undă pentru a pune toate cele patru benzi pe o singură pereche de fibre. Conector LC duplex. Atinge maximă 2 kilometri. Consumul de energie este de obicei de 10-12 wați. Prețuri premium, deoarece laserele EML nu sunt ieftine.

Topologia fibrei determină totul.

Centru de date Greenfield cu cablare structurată pe care o specificați? Fibra paralelă are sens. Rulați cablurile trunchiului MPO între rânduri. Folosiți DR4 peste tot. Costurile optice mai mici compensează fibra suplimentară.

Mediu dezafectat cu o fabrică de fibre duplex existentă? FR4 sau trageți un cablu nou.

Mediu mixt cu câteva rulări paralele și unele fabrici moștenite duplex? Bun venit în coșmarul compatibilității. Veți ajunge cu ambele tipuri de module, stiluri diferite de conector și cel puțin un dulap în care cineva a folosit cablul de corecție greșit și a petrecut patru ore depanând alertele „link down”.

 

Întrebarea Breakout

 

Un modul 400G-DR4 conține patru benzi de 100G. Fiecare bandă funcționează independent la nivelul stratului optic. Acest lucru permite conectarea-a unui port switch 400G la patru dispozitive 100G separate, folosind un ansamblu de fibră breakout.

Economia sună convingătoare. Un port 400G. Patru servere 100G. Nu este nevoie de porturi suplimentare de comutare.

Realitatea este mai complicată.

Switch-urile ASIC nu acceptă întotdeauna configurații arbitrare de breakout. Unele platforme necesită firmware specific. Alții permit breakout doar pe anumite grupuri de porturi. Câteva implementează breakout în hardware, dar stiva de software nu expune opțiunea de configurare.

Mai rău: cablurile de rupere creează coșmaruri de sprijin. Problema este modulul 400G, ansamblul breakout sau unul dintre cele patru porturi de dispozitiv 100G? Depanarea necesită schimbarea cablurilor, testarea fiecărui picior independent și rugăciunea ca problema să fie reproductibilă.

Am văzut organizații care standardizează pe 100G nativ peste tot pentru a evita complexitatea erupțiilor. Optica costa mai mult. Densitatea portului de comutare are de suferit. Dar simplitatea operațională câștigă.

 

 

Realitatea consumului de energie

 

Fiecare fișă de date a modulului de 400G enumeră consumul de energie. Cifrele sunt precise din punct de vedere tehnic și practic inutile.

Un QSFP-DD DR4 poate avea 8,5 wați tipic. Acesta este modulul care provine din șina de 3,3 V a comutatorului în condiții normale de funcționare. Nu include puterea suplimentară pe care o consumă comutatorul ASIC pentru a conduce acele opt benzi PAM4 50G. Nu ține cont de gestionarea termică-ventilatoare mai puternice, flux de aer suplimentar, poate răcire suplimentară.

La 32 de porturi per switch, diferența dintre modulele de 8 wați și 12 wați ajunge la 128 de wați. Acest lucru nu este banal atunci când planificați distribuția energiei pentru un întreg rând de rafturi.

Trecerea de la 100G la 400G nu dublează consumul de energie per port-, câștigurile de eficiență din integrare și îmbunătățirile DSP ajută. Dar puterea agregată per comutator a crescut absolut. Centrele de date care au planificat infrastructura electrică și de răcire în jurul densităților de 100G descoperă constrângeri de capacitate atunci când fac upgrade la 400G la întreaga populație.

 

Compatibilitatea nu este binară

 

Vânzătorilor le place să pretindă „compatibil cu toate platformele majore de comutare”. Această afirmație este susceptibilă din punct de vedere tehnic și practic induce în eroare.

Compatibilitatea modulelor optice depinde de mai mult decât de potrivirea fizică și de semnalizare electrică. Protocoalele DOM (Digital Optical Monitoring) variază între furnizori. Implementările CMIS (Common Management Interface Specification) au suficientă flexibilitate încât două implementări „conforme” s-ar putea să nu interacționeze în mod curat. Unele comutatoare verifică codurile de identificare a furnizorului și refuză să lumineze în întregime modulele nerecunoscute.

Piața gri pentru optica 400G „compatibilă” a explodat tocmai pentru că modulele cu nume de marcă-cost de 3-5x mai mult decât alternativele terțe. Unele dintre aceste alternative funcționează impecabil. Alții provoacă probleme subtile care se manifestă doar sub anumite modele de trafic sau după rularea timp de săptămâni.

Am testat personal module-terțe 400G DR4 care au trecut fiecare măsurătoare de conformitate în laborator și apoi au generat erori de FEC necorectabile la 2% din trafic sub sarcina de producție. Temperatura din interiorul modulului în condiții de funcționare susținută-cu lățime de bandă mare a depășit ceea ce puteau suporta componentele optice. Modulul a funcționat. Până nu a făcut-o.

 

Ce înseamnă 800G pentru 400G

 

Tranziția 800G este deja în curs. Hyperscalers implementează 800G astăzi. Restul industriei va urma în 18-24 de luni.

Acest lucru nu depășește 400G-modulele vor fi livrate ani de zile-dar schimbă economia.

800G folosește opt benzi de 100G în loc de cele opt benzi de 50G ale lui 400G. Aceeași modulație PAM4, rata de simbol mai mare pe bandă. Fizica devine mai grea. Plicurile termice împing spre 20-25 wați pe modul. Avantajul spațiului termic al OSFP devine mai relevant la aceste niveluri de putere.

Mai important, modulele 800G se pot transforma în configurații duble 400G. Un modul 800G-2xDR4 oferă două legături 400G independente. Pentru mediile cu cerințe mixte de 400G și 800G, această capacitate de breakout simplifică gestionarea stocurilor.

Operatorii de centre de date cu care vorbesc sunt în mare parte la 400G pentru conectivitate leaf-coloana vertebrală, în timp ce evaluează 800G pentru interconexiunile cluster GPU unde densitatea lățimii de bandă contează cel mai mult. Sarcinile de lucru de antrenament AI cu toate-la-modele de comunicare subliniază cu adevărat legăturile 400G în moduri în care traficul tradițional nord-sud nu a făcut-o niciodată.

 

Orizontul Optics Co-Packaged

 

Toată lumea din industrie știe că vine CPO. Transceiver-uri optice integrate direct cu comutatoare ASIC. Fără module conectabile deloc. Consumul de energie scade de la 15 picojoule pe bit la poate 5, potențial sub 1 picojoule pe măsură ce tehnologia se maturizează.

NVIDIA a anunțat planuri CPO pentru hardware-ul 2025/2026. Meta și Microsoft au demonstrat prototipuri. OIF standardizează interfețele.

Întrebarea nu este dacă se întâmplă CPO. Este dacă se întâmplă suficient de repede pentru a conta pentru ciclul tău de planificare curent.

Citirea mea: optica conectabilă domină cel puțin până în 2028 pentru majoritatea implementărilor. CPO poate apărea mai devreme în versiunile personalizate hyperscaler. Flexibilitatea operațională a modulelor-interschimbabile la cald-abilitatea de a înlocui o optică defectă fără a închide un comutator-contează enorm pentru mediile fără redundanță N+1 pretutindeni.

Planificați astăzi 400G și 800G conectabile. Bugetul pentru evaluarea CPO în trei ani. Nu lăsați diapozitivele foii de parcurs ale furnizorilor să accelereze cronologie pe care realitatea de producție nu le poate suporta.

 

Îndrumări practice care ajută cu adevărat

 

Pentru construcții noi: standardizați pe DR4 cu infrastructură de fibră paralelă. Economiile de costuri față de compusul FR4 în mii de module. Planificați puterea și răcirea pentru 10 wați per modul, chiar dacă fișele de specificații promit 8.

Pentru upgrade-uri: auditați-vă instalația de fibre existente în mod obsesiv. Cunoașteți pierderea efectivă măsurată pe fiecare segment. Descoperiți încălcările limitei DR4 de 400 de metri înainte de a vă ajunge optica.

Pentru clusterele AI: 800G este deja răspunsul corect. Cererile de lățime de bandă justifică prima. Nu treceți pe jumătate-la 400G dacă volumul dvs. de lucru îl va depăși în 18 luni.

Pentru toată lumea: testați optica-terților înainte de implementarea volumului. Economiile de costuri sunt reale. La fel și eșecurile. Validați-vă cu platformele dvs. de comutare specifice sub sarcină realistă înainte de a angaja dolari de inventar.

Tehnologia funcționează. Douăzeci de milioane de module 400G și 800G au fost livrate în 2024 dintr-un motiv. Dar tranziția de la 100G necesită atenție la detalii pe care fișele de specificații și materialele de marketing le omit în mod convenabil. Fizicii nu îi pasă de cronologia de implementare.