Aiven, fornitore europeo di servizi di database open source con sede in Finlandia, ha annunciato di aver ridotto dell’80% i costi interni legati ai token dell’intelligenza artificiale, adottando modelli a pesi aperti e sviluppando un gateway per facilitare agli sviluppatori la sostituzione dei modelli secondo necessità.
Negli ultimi anni, l’azienda ha ampliato la sua offerta, passando dall’hosting di database open source a soluzioni di machine learning. In un’intervista rilasciata a The Register, Ville Lehto, VP della strategia di Aiven, ha sottolineato che non è semplice creare un’infrastruttura AI open source in grado di operare su diverse piattaforme cloud. Tuttavia, per dare ai propri sviluppatori accesso a modelli di linguaggio di grandi dimensioni (LLM), Aiven mirava a gestire i costi dei token e a controllare il proprio destino nell’uso dell’intelligenza artificiale.
Con il crescente dibattito sulla “token-maxxing”, i programmatori hanno iniziato a cercare modi per ridurre i costi utilizzando una combinazione di modelli, comprese alternative più economiche provenienti dalla Cina e modelli a pesi aperti, che presentano costi inferiori rispetto ai modelli avanzati di aziende come OpenAI e Anthropic. I modelli a pesi aperti hanno parametri di apprendimento pubblicamente disponibili e possono essere eseguiti localmente o ospitati a un costo inferiore. Tra questi, spiccano la famiglia Llama di Meta, la famiglia Qwen di Alibaba Cloud, DeepSeek della Cina, il Medium 3.5 di Mistral AI e Gemma di Google.
Lehto ha fatto notare che un numero ridotto di utenti è particolarmente attivo nell’uso intensivo di token e che gran parte della spesa potrebbe essere ottimizzata sfruttando modelli a pesi aperti. Aiven si è trovata di fronte alla scelta di gestire budget rigorosi sui token o cercare un modo più efficiente di utilizzarli. Scegliendo la seconda opzione, ha implementato un gateway interno per facilitare l’uso dei modelli a pesi aperti da parte degli sviluppatori.
“Ci siamo proposti di rendere tutto il più fluido possibile. Possiamo offrire ai nostri dipendenti diversi modelli a pesi aperti, sia occidentali che asiatici, e confrontarli con i modelli avanzati”, ha affermato Lehto. L’azienda ha osservato un calo della spesa di circa l’80% tra i propri utenti più pesanti.
È importante notare, tuttavia, che la prestazione dei modelli a pesi aperti e di quelli avanzati varia, rendendo necessario l’uso di altri parametri, come il costo per operazione. Aiven ha costruito il proprio gateway attorno al framework open source LiteLLM, ospitandolo e integrando nuove funzionalità come la gestione dei budget e degli accessi. I modelli vengono eseguiti su GPU noleggiate e Aiven li ospita autonomamente.
Nonostante l’adozione dei modelli a pesi aperti, Aiven continua a utilizzare i modelli avanzati per la pianificazione delle attività. “Per quanto riguarda l’esecuzione concreta, utilizziamo molto i modelli a pesi aperti. La maggior parte del lavoro viene svolto con questi ultimi, mentre i modelli avanzati vengono utilizzati per le parti più critiche della pianificazione”, ha spiegato Lehto.
Aiven prevede di offrire il suo gateway anche come servizio ai clienti, aiutandoli a gestire i costi dei token rendendo più semplice la sostituzione dei modelli a pesi aperti nei loro flussi di lavoro. “La nostra storia nel mondo dell’open source ci rende naturale offrire questo servizio, che si adatta alle esigenze aziendali”, ha concluso Lehto.
Tra i clienti di Aiven figurano aziende come la tedesca Conrad, la britannica Dojo, specializzata nei pagamenti, il fornitore di cyber sicurezza Sophos e l’azienda di comunicazioni Avaya. Aiven si inserisce, dunque, tra i fornitori che si stanno attivando per aiutare le organizzazioni a ridurre i costi associati all’uso dell’intelligenza artificiale.
