Hewlett Packard Enterprise (HPE) ha riservato un nuovo utilizzo per il suo sistema di storage Alletra Storage MP X10000: gestire lo stato di inferenza che, in assenza di una cache specifica, verrebbe espulso dalla memoria GPU costosa e successivamente ricalcolato. Durante i test condotti in collaborazione con Kamiwaza, utilizzando GPU NVIDIA H200 e la piattaforma AI Kamiwaza, la soluzione ha mostrato performance fino a 20 volte più rapide nel tempo di risposta e un throughput di inferenza efficace 17 volte superiore rispetto all’assenza di un sistema di cache offload.
Le GPU in questione non sono diventate più intelligenti, ma hanno potuto evitare di eseguire compiti ripetitivi. I risultati di questo approccio spostano quindi la decisione sull’archiviazione nel dibattito più ampio sull’economia dell’AI. La questione dei costi dei modelli di AI è stata ampiamente discussa, ma è fondamentale anche considerare il costo legato all’impiego di acceleratori costosi per processare ripetutamente lo stesso contesto.
I tuoi agenti hanno un problema di ripetizione
I flussi di lavoro agentici elaborano ripetutamente documenti, istruzioni di sistema e storie di conversazione. Diversi agenti sono coinvolti nella consultazione dell’informazione: uno ne recupera il contenuto, un altro lo valuta, un terzo verifica il risultato, rendendo necessario tornare su materiale già elaborato. Alcuni livelli di ripetizione sono inevitabili, ma ricalcolare tutto non è necessario.
La cache KV (chiave-valore) ha il compito di mantenere lo stato intermedio dell’attenzione, permettendo a richieste compatibili di riutilizzare calcoli già effettuati. Mantenere disponibile questa cache riduce il lavoro necessario prima che il modello produca la prossima risposta. Tuttavia, la memoria GPU non è illimitata e ha costi elevati.
Contesti lunghi e sessioni concorrenti competono per la memoria GPU. Quando la cache riutilizzabile viene espulsa e successivamente necessaria, il motore di inferenza deve ricostruirla, portando a un aumento del lavoro da parte della GPU e tempi di attesa senza un insight aggiuntivo. HPE Alletra MP X10000 offre quindi un livello condiviso per la cache espulsa, mentre l’RDMA per S3 accelera il percorso dei dati di archiviazione. L’obiettivo è recuperare contesti riutilizzabili anziché costringere la GPU a calcolare nuovamente i dati.
Venti volte più veloce, con il denominatore annesso
I test validati da Kamiwaza hanno utilizzato GPU NVIDIA Nemotron 70B e più di 30 agenti concorrenti in situazioni di inferenza multi-agente con contesti estesi. Questo è rilevante perché rappresenta un carico di lavoro reale in cui la pressione su memoria e contesti ripetuti rende il riutilizzo di cache prezioso. Diversi agenti che consultano materiale sovrapposto creano nuove possibilità rispetto a richieste brevi e poco collegate.
Tuttavia, questi guadagni straordinari sono specifici per il carico di lavoro. La lunghezza del contesto, la concorrenza, i tassi di successo della cache e il sovraccarico di trasferimento determinano il ritorno. Venticinque volte più veloce è risultato di un test, non una garanzia universale. Gli acquirenti dovrebbero esaminare questi confronti con attenzione: stesso carico di lavoro, con e senza offload della cache KV, e sufficiente concorrenza per rappresentare le condizioni produttive.
Il costo delle informazioni errate
Il riutilizzo della cache affronta la questione dei calcoli ripetuti, ma non può risolvere un sistema di recupero che alimenta il modello con metà dell’archivio documentale dell’azienda per rispondere a una singola domanda. HPE promuove l’integrazione dell’X10000 con il Data Fabric per un accesso governato ai dati distribuiti. Il nodo di intelligenza dei dati dell’X10000 genera metadati, classificazione ed embeddeding durante l’ingestione per aiutare le applicazioni a recuperare contesti rilevanti.
Questo approccio porta la preparazione dei dati più vicina al punto in cui i dati vengono acquisiti, anziché lasciare a ciascun team di lavoro la creazione di un ulteriore pipeline di preparazione. La logica economica è semplice: un recupero più preciso può significare meno materiale irrilevante nelle richieste e meno tentativi di ottenere risposte utili. Gli archivi delle aziende sono raramente carenti di documenti; distinguerli dalla politica corrente rispetto a sei versioni precedenti o una presentazione intitolata “FINAL_final_v7” rappresenta sfide più interessanti.
La governance è cruciale anche quando gli agenti recuperano informazioni e agiscono su di esse. Il contesto pertinente deve essere sempre autorizzato. L’accesso più rapido a contenuti non autorizzati non rappresenta un progresso. Questo offre a HPE due leve economiche: migliorare ciò che entra nell’inferenza e riutilizzare i calcoli dove possibile.
Oltre la semplice funzione di cache
Il mercato del cache offload sta diventando affollato. I punti di forza di HPE risiedono nella combinazione di questa funzionalità con preparazione e governance dei dati, non solo guadagnando un’altra spunta su una lista di funzionalità. La verifica pratica per le organizzazioni che cercano di ottenere maggior valore dalle loro AI è quanto agevolmente operano insieme preparazione dei dati, governance e riutilizzo della cache come un sistema unico.
Le domande chiave sono: le applicazioni possono trovare informazioni rilevanti e autorizzate senza copie e preparazioni inutili? Il motore di inferenza riesce a trattenere e recuperare i contesti riutilizzabili in modo efficiente? La combinazione riesce a sostenere una produttività utile mentre aumentano le dimensioni delle finestre di contesto e il numero di agenti coinvolti?
Acquirenti e utenti dovrebbero chiedere tassi di successo della cache, tempo per il primo token e throughput sostenuto sui loro carichi di lavoro. È fondamentale anche esaminare la qualità del recupero e se il sistema riesce a completare il compito previsto. Un errore più veloce rimane comunque un errore, nonostante la sua attrattiva in un grafico di benchmark.
Il costo per terabyte è sempre rilevante, così come il costo di fare in modo che una GPU ripeta la stessa lettura per la settima volta. Per ulteriori informazioni, visita la pagina web di HPE Alletra Storage MP X10000.
Articolo fornito da HPE
