Abstrakt
Da kunstig intelligens (AI) udvikler sig hurtigt, står traditionelle datacenternetværk over for store udfordringer, når de bærer AI-trafik. Høj båndbreddeudnyttelse og et lille antal elefantstrømme kan gøre konventionel belastningsbalancering pr.-flow ineffektiv, hvilket resulterer i overbelastning og pakketab, der markant øger AI-modeltræning og færdiggørelsestider. Denne hvidbog undersøger en dynamisk intelligent routing-teknologi, der kombinerer-realtidsbevidsthed med intelligent-beslutningstagning. Den bruger sti-kvalitetsmåling, BGP udvidet-attributsynkronisering, dynamisk vægtet-omkostningsmultipath (WCMP), unormal-stifjernelse og
Automatisk belastningsbalancering på flowet-niveau (ALB) for at forbedre trafikplanlægningen i AI-miljøer. Designet bruger også virtualisering til at give isolering af flere-lejere og tilbyder applikationsscenarier og planlægningsvejledning til effektive, stabile og intelligente AI-datacenternetværk.
Introduktion: Netværksudvikling i AI Æra
Hvorfor traditionelle netværk kæmper med kunstig intelligens Trafik
I traditionelle datacenternetværk muliggør et stort antal små flows pr.-flow belastningsbalancering for at opnå acceptabel distribution og undgåelse af overbelastning, selv uden-realtidsbevidsthed om netværksforhold. AI-trafik er meget anderledes: Båndbreddeudnyttelsen er ekstrem høj, og trafikken domineres ofte af kun få elefantstrømme. Hashkollisioner kan derfor placere flere store strømme på samme sti, mens andre stier forbliver underudnyttede. Når først pakketab opstår, kan færdiggørelsestiden for hele AI-arbejdsbyrden stige betydeligt. Af denne grund fokuserer industrien i stigende grad på optimerede belastnings-balanceringsalgoritmer for AI-stoffer, så trafikken fordeles mere jævnt på tværs af flere stier.
Figur 1. Sammenligning af AI-elefant-flowtrafik og traditionel lille-flowtrafik.
Kombinerer dynamisk bevidsthed med intelligent beslutningstagning-
Dynamisk intelligent routing er en bevidsthedsbaseret-belastningsbalancering-teknologi. Den bruger banekvalitet, der registreres af kontakter i stoffet til at justere lokalt banevalg og understøtter dynamisk vægtet belastningsbalancering. Teknologien er bygget på BGP og definerer en ny udvidet-fællesskabsattribut.
Multi-dimensionelle,-præcisionsmålinger bruges til at evaluere stikvaliteten, og resultatet spredes gennem BGP for at guide efterfølgende trafikvideresendelse. Dette forbedrer netværkets-brede belastningsfordeling og reducerer applikationens responstid [1].
Figur 2. Dynamisk bevidsthed, beslutning og eksekveringsarbejdsgang.
Kerneteknologier: Intelligent trafikplanlægning
Mainstream-netværksbelastningsbalanceringsmetoder- inkluderer:
- Per-flow ECMP: Den mest almindelige tilgang, baseret på en fem-tuple hash. Det fungerer godt, når der er mange flows og bevarer pakkerækkefølgen, men hashkollisioner kan give dårlig balancering, når flowtællingerne er lave, som i AI-træning [1].
- Flowlet-baseret balancering: Afhænger af korrekt konfiguration af inter-flowlet-gabet. Nøjagtig konfiguration er vanskelig, når den globale ventetid på sti-niveau er ukendt [1].
- Per-pakke ECMP: Giver fremragende teoretisk balance, men kan skabe omfattende pakkeombestilling hos modtageren [1].
Den dynamiske intelligente routing-tilgang, der bruges af XingRongyuan CX-N Series RoCE-switche (SONiC-baseret) kombinerer pr-flow ECMP og Flowlet-baseret balancering. Den introducerer dynamisk WCMP (Weighted Cost Multipath) og Flowlet-baseret ALB (Auto Load Balancing) [1].
Stikvalitetsmåling
Systemet evaluerer netværksstikvaliteten ved hjælp af faktorer, der i høj grad påvirker AI-klyngestrukturer, herunder båndbreddeudnyttelse, køudnyttelse og videresendelsesforsinkelse.
Statistiske tællere
Båndbredde og køudnyttelse måles gennem ASIC-hardwaretællere med nøjagtighed på hundrede-millisekunders niveau. ASIC registrerer port-videresendelse og kø-videresendelsestællere i realtid. SONiC-kontrolplanet læser tællerne gennem SAI-grænsefladen med sub-sekunds præcision og gemmer dem i Redis. Routing-kontrolprocessen evaluerer grænsefladekvaliteten ved hjælp af disse tællere og annoncerer resultatet gennem BGP. For at begrænse kontrol-flybelastningen sendes annoncer i øjeblikket med intervaller på andet{10}}niveau, med et vægtet gennemsnit anvendt på flere prøver; nyere prøver får højere vægt.
I-Band Telemetri
Videresendelses-forsinkelsesmåling er baseret på INT (In-band Network Telemetry) og kan nå præcision på nanosekund-niveau. HDC (High Delay Capture) fanger pakker, der oplever høj latenstid inde i ASIC. Når en pakke overstiger en brugerdefineret-forsinkelsestærskel, sender switchen de første 150 bytes af den originale pakke sammen med metadata, inklusive indgående port, udgående port og latens, til en samler. I dette design fungerer CPU'en som HDC-opsamleren og -analysatoren, hvilket muliggør høj-præcisions-videresendelse-forsinkelsesmålinger og mere nøjagtig sti{10}}kvalitetsevaluering.
Figur 3. Sti-kvalitetsudbredelse og WCMP-installation.
Teknologien bruger en ny BGP udvidet-fællesskabsattribut, Path Bandwidth Extended Community, til at angive den samlede kvalitet af en sti til en destination. Den høje-byte i det udvidede-typefelt er 0x00, og den lave-byte er 0x05. I værdifeltet repræsenterer underfeltet Global Administrator AS-nummeret. Stikvalitet er kodet i fire bytes ved hjælp af IEEE flydende{10}}point-format og udtrykt i GB/s.
Når NIC1 kommunikerer med NIC2, annoncerer NIC2 først sin IP-adresse til Leaf2. Leaf2 annoncerer adressen til Spine sammen med linkets-kvalitetsværdi mod NIC2 ganget med Leaf2 downlink-vægten. Spine tilføjer sin egen vægtede linkkvalitet og overfører den akkumulerede værdi til Leaf1. Leaf1 opsummerer stikvaliteten og installerer ruter, der guider videresendelse. I et to-blads-Spine-stof klassificeres porte som Leaf-uplinks, Leaf-downlinks og Spine-porte med konfigurerbare beregningskoefficienter for hver klasse.
Dynamisk WCMP
Belastningsbalancering fordeler trafik på tværs af flere links. I AI-miljøer er dette essentielt for at opbygge et tabsfrit Ethernet-stof med minimalt pakketab, latens og gennemløbsforringelse. ECMP er den konventionelle mekanisme i datacentre. WCMP udvider ECMP ved at distribuere
trafik forholdsmæssigt på tværs af links. I dynamisk intelligent routing justeres WCMP-vægte i realtid i henhold til stikvalitet. For eksempel, hvis der er to veje mellem NIC1 og NIC2, kan systemet beregne et 3:7-forhold. Efterhånden som trafikken ændrer sig, spredes opdaterede sti-kvalitetsoplysninger gennem BGP til hver Leaf-switch, hvor dynamiske WCMP-ruter genereres for at guide videresendelsen.
Unormal stifjernelse
Når en stis samlede kvalitet falder under en aftalt tærskel, anses stien for ubrugelig til AI-arbejdsbelastningen og fjernes fra videresendelse. De resterende stier fortsætter med at føre trafik gennem dynamisk WCMP. Når stien vender tilbage til normal, gendannes den. Selvom dette midlertidigt kan efterlade noget kapacitet ubrugt, forhindrer det mere alvorlig overbelastning og pakketab [1].
Intelligent belastningsbalancering (ALB)
ALB leverer Flowlet-baseret belastningsfordeling. ASIC'en måler belastning og latens på forskellige porte i realtid og dirigerer hver Flowlet til linket med lavere belastning eller lavere forsinkelse. Dette tilføjer en mere detaljeret-planlægning oven i traditionel ECMP. ALB understøtter også port-failover og omfordeler automatisk trafik, når et udgående link mislykkes [1].
Virtualisering
Front-netværk har ofte behov for support af flere-lejere, så forskellige GPU-ressourcer kan allokeres til forskellige brugere. Løsningen bruger VRF (Virtual Routing and Forwarding) til at isolere lejere, med én VRF tildelt hver bruger. GPU--relaterede undernet placeres i brugerens VRF, og PRE ACL'er i ASIC klassificerer indgående trafik, så hver brugers trafik kun videresendes inden for den tilsvarende VRF [1].
Applikationsscenarier
1. Hvordan dynamisk WCMP absorberer trafikstigninger
Til et stof med 256 x 400G GPU-porte kan en to- Clos-arkitektur designes med et 1:1 downlink-til-uplink-konvergensforhold for at opretholde høj gennemstrømning, høj båndbredde og symmetrisk kapacitet. Egnede produktmodeller omfatter XingRongyuan CX864E-N eller CX732Q-N [1]. Under konventionel ECMP kan et lille antal AI-elefantstrømme hash til den samme Spine, hvilket forårsager uplink-overbelastning eller pakketab. Dynamic WCMP justerer løbende trafikfordelingen i henhold til-realtidsstikvalitet, hvilket reducerer trafikstigninger og undgår overbelastning [1].
2.Flowlet-Belastningsbalance på niveau
I det samme 256 x 400G GPU-stof er ikke alle enheder eller arbejdsbyrder bedst tjent med dynamisk WCMP. Switchen kan dynamisk vælge Flowlet-baseret ALB. ALB måler belastningen og latensen af links i ECMP-gruppen og sender flowet til links med lavere udnyttelse eller forsinkelse. Hvis en grænseflade bliver overbelastet, eller dens videresendelsesforsinkelse stiger, undgår ASIC automatisk denne udgang, indtil forholdene vender tilbage til normale [1].
AI netværksplanlægning og design
AI-tjenester omfatter generelt tre faser: dataindsamling og forbehandling, modeltræning og AI-inferens. Hver fase stiller forskellige krav til netværket.
1. Dataindsamling og forbehandling
Et globalt-netværk til træning af dataindsamling og forbehandling skal levere-i stor skala, elastiske offentlige IP- og båndbredderessourcer, så massive rådatasæt kan indsamles effektivt fra det globale internet. Designet skal sikre sikker og stabil transmission og samtidig forbedre dataaggregering og præbehandlingsydelse [2].
1.1 VPC-segmentering
VPC-design til cloud-baseret dataindsamling bør følge principperne for mindste-privilegier, lagdelt isolering, sikkerhedskontrol og elastisk skalerbarhed. Enten flere VPC'er eller flere undernet inde i en enkelt VPC kan bruges [2].
- Segmentér efter servicetrin: Implementer dataindsamling, forbehandling, lagring, træning og inferens i separate undernet eller VPC'er. Placer samlingsindgangspunkter i et DMZ VPC eller offentligt undernet; placere forbehandling og midlertidige data i en dedikeret behandlings-VPC; placere følsomme rådata og AI-træning i en høj-sikkerheds-VPC uden direkte offentlig adgang.
- Isoler efter sikkerhedsniveau: Opret høj-, medium- og lav-sikkerheds-VPC'er eller undernet, og brug sikkerhedsgrupper, netværks-ACL'er og private tilslutningsmuligheder til at styre tvær-VPC- og kryds-undernettrafik.
- Lsolat efter lejer eller projekt: Tildel separate VPC'er til forskellige lejere eller projekter for at isolere ressourcer, netværk og data.
1.2 Udgående dataindsamlingsnetværk
NAT-gateway: Brug en pulje af EIP'er og SNAT gennem en NAT-gateway, så indsamlingsprogrammer kan få adgang til internettet fra tilfældigt udvalgte offentlige IP-adresser.
Selvbygget- proxy: Implementer proxyservere, der vedligeholder tilknytninger mellem indsamlingsprocesser og offentlige IP-adresser, og distribuer en enkelt indsamlingsanmodning på tværs af flere proxyer.
IP-tjenesteudbyder: Opret forbindelse til en IP-tjenesteudbyder over det private cloud-netværk for lavere omkostninger, kontrolleret sikkerhed og stabil kvalitet [2].
1.3 På tværs af-regionsdatasammenlægning og forbehandling
Vælg OSS-regionen i henhold til forbehandlings-klyngeplanen, og opret en data-aggregerings-VPC i samme region. Opret en Transit Router (TR) i hver region, tilslut lokale VPC'er, og sammenbind TR'erne, så regionale indsamlings VPC'er kan få direkte adgang til det centrale OSS. Tjenester såsom PAI-iTAG, MaxCompute og Flink kan derefter udføre datamærkning og forbehandling i OSS-regionen [2].
2. Modeltræningsnetværk
Model--træningsnetværket er tæt integreret med indsamlings- og forbehandlingsnetværket for at danne en global struktur, der forbinder cloud-datacentre, kantnoder og-lokale IDC'er.
Høj-hastighedsforbindelse giver lav-latens, høj-databevægelse, mens båndbredde, sikkerhedspolitikker, adgangskontrol og katastrofegendannelse skal designes fra ende til anden [2].
- I-region tværs-klyngeberegningspulje: En Transit Router forbinder flere VPC'er inden for samme region. Server ENI'er forbinder til VPC-switche og kan konfigureres til den nødvendige gennemstrømning og RDMA.
- Cross-cloud compute pool: Dedikerede kredsløb forbinder en IDC eller en anden sky til en samme-region VPC. Alibaba Cloud VBR'er forbinder på Layer 3 til peer-enheden med BGP, BFD og hurtig failover for hurtig konvergens.
Global beregningspulje: Links på tværs af-regioner mellem TR'er leveres i henhold til spidsbelastning mellem-regionstrafik, med valgfri inter-region QoS for at skabe en samlet beregningspulje på tværs af regioner [2].
3. Global Inference-Servicenetværk
Et globalt inferensnetværk udvælger implementeringsmodeller i henhold til de ressourcer og cloudtjenester, der er tilgængelige i hver region, og giver effektiv servicedistribution og adgang [2].
- Model- eller agentimplementering: Brug Model Studio MaaS-implementering, PAI-EAS- eller Function Compute PaaS-implementering eller IaaS-implementering på EGS, ACK, ACS eller Lingjun bare-metalinfrastruktur i kundens VPC.
- Tjenestedistribution: Opret en slutning-distributions-VPC og tilslut private netværk ved hjælp af VPC-peering, tilhørende cloud-tjeneste-VPC'er eller PrivateLink. Implementer ALB eller forbedret ALB som adgangspunkt og proxy-anmodninger til forskellige modeller eller agenter.
- Serviceadgang: Lokale internetbrugere kan få direkte adgang til forbedret ALB; fjernbrugere kan bruge Global Accelerator (GA); interne eller eksterne Alibaba Cloud-virksomhedsbrugere kan oprette forbindelse privat via PrivateLink.
Konklusion og Outlook
Denne hvidbog forklarer de udfordringer, som IDC-netværk står over for i AI-æraen, og hvordan dynamisk intelligent routing kan løse dem. Dynamisk bevidsthed, intelligent beslutningstagning-, WCMP-, ALB- og VRF-virtualisering forbedrer effektiviteten af belastnings-balancering, reducerer overbelastning og pakketab og fremskynder AI-træning og inferens. Planlægningssektionen lægger vægt på VPC-segmentering, indsamlings-udgangsdesign, aggregering og forbehandling på tværs af-regioner, modeltræning og levering af global slutning. Efterhånden som AI fortsætter med at udvikle sig, vil datacenternetværk blive stillet over for strengere krav. Dynamisk intelligent routing vil fortsætte med at blive bedre til edge AI, fødereret læring og andre komplekse scenarier. Fremtidige IDC-netværk vil lægge større vægt på-beregningsnetværkskonvergens, energieffektivitet og automatiserede operationer, hvilket skaber et mere intelligent, effektivt og pålideligt grundlag for den digitale økonomi.
Referencer
Bruger-leveret teknisk kildedokument.
Alibaba Cloud AI Network hvidbog. Åbnet den 27. maj 2026.
https://help.aliyun.com/zh/cloud-netværk-godt-arkitektoneret-design/alibaba-cloud-ai-netværk-hvidt-papir