Open Source Summit Japan 2025: Trasformazione dell'architettura

Mentre la corsa ai "modelli più grandi" nel mondo dell'intelligenza artificiale sta cedendo il passo a un silenzio critico, il futuro del settore è stato riassunto in una sola frase all'Open Source Summit Japan 2025:  "Il futuro dell'IA agentica non sarà definito dalla scala del modello, ma dall'architettura del sistema." 1 

Questa determinazione è l'indicatore più concreto del fatto che l'attenzione si è spostata dal semplice addestramento dei modelli all'infrastruttura che li supporta e ne consente la scalabilità. Il summit tenutosi a Toranomon Hills, Tokyo, ha dimostrato come giganti come Google, Fujitsu e Honda abbiano adottato l'open source come "fondamento strategico" e, in qualità di ingegnere DevOps, ho avuto l'opportunità di esaminare in loco le nuove norme all'intersezione tra il mondo dell'intelligenza artificiale e quello delle infrastrutture.
Questo articolo analizza l'interconnessione tra il mondo dell'intelligenza artificiale e quello delle infrastrutture, basandosi su fotografie che ho scattato personalmente all'evento, sulle sessioni tecniche a cui ho partecipato e sui dati raccolti dal programma ufficiale della Linux Foundation.

Le discussioni tecniche che si sono distinte nel programma del convegno e le presentazioni che ho esaminato in loco si sono raggruppate attorno ai seguenti assi principali in termini di gestione delle infrastrutture moderne:

A. Architettura di sistema e disaggregazione hardware

• Analisi dettagliata dell'hardware: Come illustrato nella sessione "Dynamic GPU Provisioning" di Fujitsu, si va oltre la tradizionale struttura dei server, raggruppando CPU, GPU e memoria in un pool dinamico (Resource Pool) rimuovendole dai case fisici.2 
• Fabbriche di intelligenza artificiale: Trasformazione dei data center in strutture di produzione in grado di rispondere alle esigenze variabili dei carichi di lavoro dell'intelligenza artificiale, anziché in server farm statiche.

B. Operazioni Agentiche

• Gestione autonoma dell'infrastruttura: Come abbiamo visto nelle dimostrazioni sul palco, la transizione dalla struttura di strumenti come Terraform che "si arrestano in caso di errore" a strutture basate su "Agenti" in grado di analizzare l'errore e produrre una soluzione.3 
• Ciclo di feedback continuo: Monitoraggio continuo non solo dell'implementazione dei modelli di intelligenza artificiale, ma anche delle loro prestazioni nell'ambiente reale.5 

C. Governance e sicurezza dei dati

• Accesso vettoriale federato: Secondo gli schemi architettonici condivisi da NTT e da altri relatori, le strutture che elaborano i dati in loco provenienti da fonti distribuite combinano i risultati anziché trasferirli a un data lake centrale.6 
• Politica come codice: Decisioni dinamiche di accesso ai dati al momento della richiesta da parte di motori come OPA (Open Policy Agent). 6 

D. Carichi di lavoro critici e speciali

• Orchestrazione del server di gioco: Come mostrato nella presentazione di Agones del team Open Source di Google, la gestione di server di gioco con stato su scala globale avviene su Kubernetes.7 
• Linux di livello spaziale: Gestione dei bracci robotici sulla ISS tramite software open source, come illustrato nella presentazione di GITAI.8 

A. Architettura di sistema e disaggregazione hardware

Liberazione dell'hardware: CoHDI

Una delle sessioni tecniche più significative della conferenza è stata il discorso intitolato "Provisioning dinamico delle GPU in Kubernetes" presentato da Jin Hase e Tsubasa Watanabe del team Fujitsu. Il diagramma architettonico mostrato sul palco spiegava il CoHDI (Infrastruttura disaggregata componibile) il progetto si svolgerà come segue:

• Pool di risorse disaggregato: CPU, GPU, memoria e schede di rete vengono rimosse dai case dei server fisici e raccolte in un pool comune.
• Switch Fabric PCIe/CXL: Questi componenti sono collegati tra loro tramite interruttori ad alta velocità.
• Integrazione Kubernetes: Come si può osservare nel diagramma, Kubernetes richiede l'hardware come se stesse creando un Pod, e il sistema assembla istantaneamente questo hardware per creare server "Composed Baremetal".2 

Perché, dunque, CoHDI Importante? Questa architettura ha il potenziale per aumentare l'efficienza di utilizzo della GPU dal 30% all'80%.

Orchestrazione dell'infrastruttura: Crossplane 2.0

Un'altra importante presentazione all'evento ha mostrato la Crossplane 2.0 architettura. Il monitoraggio continuo delle definizioni dichiarative su Git da parte del ciclo di controllo Crossplane e la loro trasformazione in risorse reali su AWS, Azure o Google Cloud hanno supportato la visione di un'infrastruttura "auto-riparante". Inoltre, Crossplane 2.0 Ora è possibile eseguirlo in tutti gli ambienti Kubernetes, non solo per i servizi cloud, come in Crossplane v1. Grazie a questa tecnologia, ogni sviluppatore può installare tecnologie semplici senza bisogno di assistenza. È stata una presentazione impressionante, in quanto ha mostrato la direzione che prenderanno i processi DevOps. 4 

AgentOps: Si tratta di un motore di feedback continuo che mira a colmare il divario tra realtà e simulazione, unendo le fasi di sviluppo (ciclo interno) e di applicazione (ciclo esterno) degli agenti di intelligenza artificiale. Questa struttura è definita come una disciplina di ingegneria delle piattaforme di IA che combina set di dati preparati offline con osservazioni provenienti dall'ambiente reale in un unico ecosistema, consentendo l'individuazione degli errori e l'integrazione di dati del mondo reale nei processi di test.5 

Umano contro agente: Annie Talvasto ha sostenuto nel suo intervento che le macchine rimarranno incomplete nei processi DevOps finché non disporranno delle informazioni presenti negli esseri umani. Ad esempio, ha menzionato che un sistema può essere gestito in modo incompleto anche in assenza di una semplice comunicazione via Slack con un collega. Ha spiegato dettagliatamente nella sua presentazione che tutte queste informazioni dovrebbero essere fornite prima agli operatori. 3 

Open Source nello spazio: la ISS e la robotica

Nelle foto scattate durante la sessione sui sistemi critici per la sicurezza, sono presenti immagini della Stazione Spaziale Internazionale (ISS) e GITAI Il braccio robotico si rifletteva sul maxi-schermo. Vedere Linux utilizzato in un ambiente dove non ci si può permettere di commettere errori nel vuoto dello spazio è stata la prova dell'affidabilità dell'open source.8 

Accesso unificato ai vettori tra le organizzazioni e OPA: Nelle grandi organizzazioni, i dati sono solitamente archiviati in diversi reparti o aziende partner, in differenti database vettoriali. Raccogliere questi dati in un unico centro è difficile a causa di obblighi di legge, sicurezza dei dati e diritti di proprietà. La presentazione si propone di fornire un'integrazione virtuale senza copiare i dati.

• vLLM: Viene utilizzato per trasformare metadati complessi provenienti da diverse fonti di dati in riepiloghi concisi e significativi in ​​linguaggio naturale. Svolge inoltre un ruolo di motore di inferenza ad alte prestazioni nei processi di comprensione delle query degli utenti e di elaborazione dei risultati.
• Decisioni politiche: Responsabile della governance e dell'autorizzazione dei dati. Quando un utente avvia una query, OPA verifica in fase di esecuzione se l'utente dispone dell'autorizzazione per accedere a tale origine dati.
• Dettagli Milvus: Funge da "catalogo semantico". Memorizza in formato vettoriale i metadati tecnici e commerciali delle fonti di dati in tutte le organizzazioni. Quando arriva una query, esegue una prima fase di ricerca per determinare quale organizzazione potrebbe possedere i dati pertinenti.

Questa presentazione dimostra come sia possibile creare un'infrastruttura di ricerca sicura e "intelligente" tra organizzazioni senza spostare i dati in una posizione centrale, combinando la scalabilità delle funzionalità di ricerca di Milvus, la potenza di elaborazione del linguaggio di vLLM e la flessibilità delle politiche di sicurezza di OPA.6 

Ingegneria del contesto: Il relatore Kevin Noel sostiene che l'era in cui bastava "scrivere una domanda e aspettare una risposta" sia finita e che, al contrario, siamo entrati nell'era dell'ingegneria del contesto.

• I LLM sono apolidi: Le modelle non ricordano nemmeno la frase precedente, a meno che non gliela si ricordi.
• Creazione dello Stato: Affinché un'intelligenza artificiale fornisca la risposta corretta, è necessario presentarle tutte le informazioni in modo corretto in quel preciso momento (just-in-time). Questa è l'arte di combinare conversazioni precedenti, informazioni provenienti da documenti e output di strumenti.

La presentazione mostra che, per una risposta efficace basata sull'intelligenza artificiale, è necessario combinare i seguenti elementi:

• RAG (Informazioni rilevanti): Informazioni ricavate da documenti o database interni.
• Gestione della memoria: Preferenze passate dell'utente e cronologia delle conversazioni a breve termine.
• Strumenti esterni: Dati provenienti da API o strumenti di calcolo.
• Comandi di sistema: Regole principali che determinano la natura e il compito dell'intelligenza artificiale.

È impossibile testare manualmente una struttura così complessa (RAG + Memoria + Strumenti). Il relatore propone la seguente soluzione:

• Valutazione automatica: Dobbiamo fare in modo che l'intelligenza artificiale produca migliaia di coppie "domanda-risposta" (dati sintetici) utilizzando i dati a nostra disposizione.
• Scenari realistici: Dobbiamo misurare la robustezza del sistema creando utenti sintetici che pongono domande errate o incomplete, proprio come gli utenti reali.

Costo e velocità: possiamo valutare il successo del sistema (accuratezza, irrilevanza, allucinazione) in pochi minuti con set di dati sintetici, invece di test che richiederebbero settimane agli esseri umani. 10 

Orchestrazione del server di gioco (Agones): Nella diapositiva intitolata "Come funziona Agones" dal team Google Open Source, è stato condiviso un diagramma di flusso sull'infrastruttura del Incursori ARC gioco. In questo diagramma, si vede chiaramente che dopo il matchmaking, i giocatori venivano assegnati a Pod chiamati "Agones Game Server" e questi server venivano gestiti con una strategia di "binpacking" (compressione) su scala globale. Ciò ha permesso agli sviluppatori di dedicare più tempo allo sviluppo del gioco senza doversi preoccupare dell'infrastruttura. Dimostra anche quanto sia importante il ruolo di Kubernetes come open source nell'industria dei videogiochi.7 

Velocità nella distribuzione del modello: La presentazione ha mostrato che i modelli sono ora conservati in registri compatibili con OCI come le immagini Docker e collegati (montati) direttamente al Pod come un disco grazie a Modello CSI DriverCiò elimina la necessità di copiare gigabyte di dati. Per queste operazioni viene utilizzato il registro OCI di Harbor.8 

Prestazioni di inferenza: Secondo gli appunti e le immagini che ho preso dalla sessione vLLM, la tecnologia PagedAttention è stata la chiave delle prestazioni. Questa tecnologia gestisce la memoria della GPU con la logica della memoria virtuale nei sistemi operativi, superando il collo di bottiglia della "Key-Value Cache" e moltiplicando il throughput. La presentazione menziona anche che DeepSpeed, sviluppato da Microsoft, aumenta l'efficienza della GPU di 4-6 volte, garantendo prestazioni elevate anche su hardware datato. Viene sottolineato che, grazie a ciò, aumenta il numero di token prodotti per ogni commissione. 9 

Conclusione: Dopo aver partecipato all'Open Source Summit Japan 2025, ritorno con una visione che ha completamente cambiato la mia prospettiva sulla mia professione, non solo con nuove conoscenze tecniche in tasca.

Uno degli aspetti che più mi ha colpito durante l'evento è stata l'ampiezza dell'area di copertura software open source (OSS). Oggi, il fatto che la potenza dell'open source sia considerata affidabile anche nei progetti tecnologici più critici e avanzati dell'umanità, come il Stazione spaziale internazionale (ISS), non solo nei siti web o nelle applicazioni mobili, mi ha ricordato ancora una volta la responsabilità e il potenziale del lavoro che svolgiamo.

Il momento più indimenticabile del summit, per me, è stato ascoltare dal vivo Linus Torvalds, uno degli architetti del mondo del software moderno e il creatore di Linux e Git. Ascoltare direttamente il suo approccio alla tecnologia e la sua visione mi ha permesso di comprendere l'enorme filosofia che si cela dietro gli strumenti di base che utilizziamo.

La lezione più importante che ho imparato da questo vertice è questa: Il mondo del software è un oceano infinito, aperto allo sviluppo in qualsiasi momento e in costante movimento. Far parte di questo ecosistema significa non solo scrivere codice, ma anche imparare continuamente e contribuire alla community. Questo dinamismo della mia professione mi motiva incredibilmente. Ora è il momento di continuare il mio lavoro con ancora più determinazione e rapidità, ispirati da questa energia! 👨‍💻✨

Il mio viaggio in Giappone è stato la concretizzazione di una curiosità nata grazie alla vivace cultura della lettura e della condivisione delle conoscenze promossa a Galaksiya. La mia principale motivazione nella scelta di questa destinazione era immergermi in una cultura e in un patrimonio culinario che percepivo come profondamente diversi – quasi un mondo a parte – dai nostri. Volevo uscire dalla mia zona di comfort e sperimentare cosa significasse essere un "estraneo" in una terra di così grandi contrasti, dove ogni rituale e ogni sapore sembrava appartenere a una dimensione diversa.

Tuttavia, mentre esploravo i vasti viali illuminati al neon di Tokyo e i tradizionali ristoranti nascosti nei vicoli stretti, ho avuto una profonda rivelazione. Sebbene la presentazione meticolosa del cibo e il silenzio austero delle strade mi sembrassero inizialmente estranei, ho presto scoperto un'essenza universale al di sotto di quella superficie. In piedi all'ombra di un moderno grattacielo e osservando qualcuno trovare un momento di pace in un antico santuario, ho capito che l'espressione della sincerità umana è la stessa lì come nella nostra patria. È stato un potente promemoria del fatto che, a prescindere dalla geografia, l'umanità converge sugli stessi valori fondamentali: gentilezza, lavoro, famiglia e spirito di condivisione.

Assistere alla profonda cultura del rispetto e all'"armonia invisibile" che permea una società che opera con una precisione così incredibile ha trasformato le mie osservazioni in una lezione più ampia sull'umanità. Vivere questa profondità culturale, unita a una visione così unica, mi ha aiutato a comprendere che il mondo non è plasmato solo dalle strutture, ma anche dallo spirito e dalla disciplina umana. Torno da questo viaggio con una consapevolezza indimenticabile di come siamo tutti "uno", anche dall'altra parte del mondo, e, naturalmente, con alcune preziose fotografie che catturano l'anima della città.
 

Ci vediamo alla prossima tappa.

Emre İZMİR

Ingegnere DevOps senior
Impressioni dall'Open Source Summit Japan 2025, Tokyo.
 

1. Il futuro dell'IA agentiva non sarà definito dalla scala del modello... Presentazione della sezione AI_dev dell'Open Source Summit, 8-10 dicembre 2025, Tokyo, Giappone. Disponibile all'indirizzo: https://ossjapan2025.sched.com/type/AI_dev

2. Provisioning dinamico delle GPU in Kubernetes con infrastruttura disaggregata componibile - Jin Hase e Tsubasa Watanabe, Fujitsu Limited. Open Source Summit Japan 2025, Cloud & Containers Track. Disponibile all'indirizzo: https://github.com/CoHDI

3. LLM in modalità Autopilot: Esecuzione di agenti IA su Kubernetes - Annie Talvasto, Waovo/Upbound. Open Source Summit Japan 2025. Disponibile all'indirizzo: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Orchestrazione dell'infrastruttura con Crossplane 2.0 - Presentazione Upbound. Open Source Summit Japan 2025. Disponibile su:(https://ossjapan2025.sched.com/event/29FnY)

5. Dal laboratorio alla vita reale: valutazione pratica dei sistemi di intelligenza artificiale - Sharon Dashet e Vincent Caldeira, presentazione Red Hat, Tokyo, Giappone. Disponibile su: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Recupero vettoriale federato e recupero basato su policy - Hiroki Ito e Shusuke Takahashi, NTT. Open Source Summit Japan 2025, AI_dev Track. Disponibile all'indirizzo: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Discorso di apertura: Qual è il futuro di Agones? Governance su scala planetaria - Ben Huston, Senior Principal Architect, Google Cloud. Open Source Summit Japan 2025, AI_dev Track. Disponibile all'indirizzo: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: uno standard aperto per il packaging, la distribuzione e l'esecuzione di LLM in un ambiente cloud nativo. - Wenbo Qi e Chenyu Zhang, presentazione di Ant Group. Open Source Summit Japan 2025. Disponibile all'indirizzo: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Discorso di apertura: Stato dell'Unione - Jim Zemlin, Direttore Esecutivo, Presentazione della Linux Foundation. Open Source Summit Japan 2025. Disponibile all'indirizzo: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Strategie pratiche di dati sintetici per sistemi RAG/Agentici - Kevin Noel, Uzabase - Presentazione Edge US. Open Source Summit Japan 2025. Disponibile su: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us