SPONSORED POST: La piattaforma Context Memory Storage mira a migliorare l’economia dell’inferenza AI su larga scala.
Con il passaggio delle organizzazioni da interazioni AI semplici a conversazioni più lunghe, ragionamenti complessi e agenti autonomi, le esigenze infrastrutturali stanno cambiando. L’elaborazione di quantità sempre maggiori di contesto esercita una notevole pressione sulla capacità di memoria, rendendo fondamentale garantire che gli acceleratori siano riforniti di dati, oltre alla mera potenza di calcolo.
Una sfida specifica riguarda la cache key-value (KV), che memorizza le informazioni generate durante l’inferenza, consentendo ai modelli di riutilizzare precedenti calcoli, invece di elaborare ripetutamente lo stesso contesto. Man mano che le finestre di contesto si espandono e le interazioni multi-turno diventano più impegnative, queste cache crescono in modo significativo.
La memoria GPU e quella di sistema offrono un accesso rapido ma sono costose e limitate nella capacità. Al contrario, lo storage tradizionale offre maggiore capacità, ma i suoi percorsi dati più lunghi, mediati dalla CPU, possono introdurre latenza, facendo sì che preziose risorse degli acceleratori attendano i dati.
Huawei è convinta che affrontare questo gap richieda un approccio differente allo storage.
Avvicinare la memoria di contesto al calcolo
Durante l’evento HUAWEI CONNECT 2026 tenutosi a Shanghai, Huawei ha presentato il suo OceanStor M900 Context Memory Storage, progettato per supportare l’inferenza AI all’interno di datacenter iperscalabili e della sua infrastruttura Ascend SuperPoD.
La piattaforma introduce quello che Huawei definisce un livello dedicato di Context Memory Storage, estendendo la cache KV oltre la memoria degli acceleratori e di sistema in un pool di storage condiviso e multi-tier. Utilizzando l’interconnessione ad alta velocità UnifiedBus di Huawei, OceanStor M900 consente lo sharing delle risorse di cache KV attraverso un cluster, con una capacità dichiarata fino a 64PB e un contesto sostanzialmente maggiore disponibile per NPU.
Il disco innovativo ASU integra anche le funzioni di CPU, networking e controller di storage. Combinato con le semantiche KV native, questo consente alle NPU di accedere ai dati della cache memorizzati in un unico passaggio, evitando la conversione dei protocolli convenzionali e il forwarding tramite CPU.
Secondo Huawei, questo approccio riduce la latenza di accesso a 60 microsecondi, potenzialmente raddoppiando il throughput dei token e dimezzando il tempo per il primo token nei carichi di lavoro tipici di codifica AI.
Anche il costo e la durata fanno parte dell’offerta. La tecnologia di storage adattativa a conoscenza KV di Huawei gestisce il posizionamento dei dati in base ai cicli di vita della cache, con un’affidabilità dichiarata fino a 24 scritture al giorno per drive, ovvero 16 volte quella di SSD convenzionali. L’azienda sostiene che questo possa ridurre nel tempo i costi di sostituzione e manutenzione.
La rilevanza più ampia di OceanStor M900 risiede nell’approccio di Huawei all’infrastruttura AI. Piuttosto che considerare lo storage come un componente di supporto separato, l’azienda sta posizionando memoria, networking e calcolo come elementi sempre più interconnessi delle prestazioni di inferenza.
Con il crescere dei carichi di lavoro AI agentici, quanto efficientemente l’infrastruttura trattiene, condivide e recupera il contesto potrebbe diventare tanto importante quanto la rapidità con cui i suoi acceleratori possono elaborarlo.
Sponsored by Huawei
