Open Source Summit Japan 2025: Transformation der Architektur

Während der Wettlauf um „größere Modelle“ in der Welt der künstlichen Intelligenz einer kritischen Stille weicht, wurde die Zukunft des Sektors auf dem Open Source Summit Japan 2025 in einem einzigen Satz zusammengefasst: „Die Zukunft der agentenbasierten KI wird nicht durch die Modellgröße, sondern durch die Systemarchitektur bestimmt.“ ¹

Diese Erkenntnis ist der deutlichste Hinweis darauf, dass sich der Fokus von reinem Modelltraining hin zur Infrastruktur verlagert hat, die diese Modelle unterstützt und skaliert. Der Gipfel in Toranomon Hills, Tokio, hat gezeigt, wie Giganten wie Google, Fujitsu und Honda Open Source als strategische Grundlage nutzen, und als DevOps-Ingenieur hatte ich die Gelegenheit, die neuen Standards an der Schnittstelle von künstlicher Intelligenz und Infrastruktur vor Ort zu untersuchen.
Dieser Artikel analysiert die Wechselwirkungen zwischen der Welt der künstlichen Intelligenz und der Infrastruktur. Dabei werden Fotos, die ich persönlich auf der Veranstaltung aufgenommen habe, die technischen Sitzungen, die ich besucht habe, sowie Daten aus dem offiziellen Programm der Linux Foundation herangezogen.

Die im Konferenzprogramm und in den von mir vor Ort untersuchten Präsentationen besonders hervorgehobenen technischen Diskussionen ließen sich im Hinblick auf das moderne Infrastrukturmanagement in folgende Hauptachsen einteilen:

A. Systemarchitektur und Hardware-Disaggregation

• Hardware-Disaggregation: Wie in Fujitsus Session „Dynamic GPU Provisioning“ detailliert beschrieben, geht man über die traditionelle Serverstruktur hinaus und sammelt CPU, GPU und Speicher in einem dynamischen Pool (Ressourcenpool), indem man sie aus physischen Gehäusen entfernt.2 
• KI-Fabriken: Umwandlung von Rechenzentren in Produktionsanlagen, die auf die variablen Anforderungen von KI-Workloads reagieren können, anstatt statische Serverfarmen zu sein.

B. Agentische Operationen

• Autonomes Infrastrukturmanagement: Wie wir in den Bühnendemonstrationen gesehen haben, geht der Übergang von der Struktur von Tools wie Terraform, die „im Fehlerfall stoppen“, hin zu „Agentenbasierten“ Strukturen, die den Fehler analysieren und eine Lösung generieren können.3 
• Kontinuierliche Feedbackschleife: Kontinuierliche Überwachung nicht nur des Einsatzes von Modellen der künstlichen Intelligenz, sondern auch ihrer Leistungsfähigkeit in der realen Umgebung.5 

C. Datenverwaltung und -sicherheit

• Föderierter Vektorzugriff: Den von NTT und anderen Referenten vorgelegten Architekturskizzen zufolge kombinieren Strukturen, die Daten vor Ort in verteilten Quellen verarbeiten, die Ergebnisse, anstatt sie zu einem zentralen Datenspeicher zu transportieren.6 
• Richtlinie als Code: Dynamische Entscheidungsfindung beim Datenzugriff zum Zeitpunkt der Abfrage durch Systeme wie OPA (Open Policy Agent). 6 

D. Kritische und spezielle Arbeitslasten

• Spielserver-Orchestrierung: Wie in der Agones-Präsentation des Google Open Source-Teams gezeigt wurde, ist die Verwaltung zustandsbehafteter Spielserver auf globaler Ebene auf Kubernetes möglich.7 
• Weltraumtaugliches Linux: Die Steuerung von Roboterarmen auf der ISS mit Open-Source-Software wurde in der Präsentation von GITAI vorgestellt.8 

A. Systemarchitektur und Hardware-Disaggregation

Befreiung der Hardware: CoHDI

Eine der bemerkenswertesten technischen Sitzungen der Konferenz war der Vortrag mit dem Titel „Dynamische GPU-Bereitstellung in Kubernetes“, gehalten von Jin Hase und Tsubasa Watanabe vom Fujitsu-Team. Das auf der Bühne gezeigte Architekturdiagramm erläuterte das CoHDI-Projekt (Composable Disaggregated Infrastructure) wie folgt:

• Disaggregierter Ressourcenpool: CPU, GPU, Arbeitsspeicher und Netzwerkkarten werden aus den physischen Servergehäusen ausgebaut und in einem gemeinsamen Pool gesammelt.
• PCIe/CXL Switch Fabric: Diese Komponenten sind über Hochgeschwindigkeitsschalter miteinander verbunden.
• Kubernetes-Integration: Wie im Diagramm zu sehen ist, fordert Kubernetes Hardware an, als würde es einen Pod erstellen, und das System stellt diese Hardware sofort zusammen, um "Composed Baremetal"-Server zu erstellen.2 

Warum ist CoHDI also wichtig? Diese Architektur hat das Potenzial, die GPU-Nutzungseffizienz von 30 % auf 80 % zu steigern.

Infrastruktur-Orchestrierung: Crossplane 2.0

Eine weitere wichtige Präsentation der Veranstaltung stellte die Crossplane 2.0- Architektur vor. Die kontinuierliche Überwachung deklarativer Definitionen in Git durch den Crossplane-Kontrollkreislauf und deren Umwandlung in reale Ressourcen auf AWS, Azure oder Google Cloud unterstützten die Vision einer „selbstheilenden“ Infrastruktur. Zudem konnte Crossplane 2.0 nun in allen Kubernetes-Umgebungen ausgeführt werden, nicht mehr nur für Cloud-Dienste wie in Crossplane v1. Dank dieser Technologie konnte jeder Entwickler einfache Technologien selbstständig installieren. Die Präsentation war beeindruckend und zeigte eindrucksvoll, wohin die Reise für DevOps-Prozesse gehen wird.

AgentOps: Es handelt sich um eine kontinuierliche Feedback-Engine, die die Kluft zwischen Entwicklung (innerer Regelkreis) und Anwendung (äußerer Regelkreis) von KI-Agenten schließen soll. Diese Struktur ist als eine Disziplin im Bereich KI-Plattform-Engineering definiert, die offline aufbereitete Datensätze mit Beobachtungen aus der Live-Umgebung in einem einzigen Ökosystem kombiniert. Dies ermöglicht die Fehlererkennung und die Einbindung realer Daten in Testprozesse.⁵

Mensch vs. Agent: Annie Talvasto argumentierte in ihrem Vortrag, dass Maschinen in DevOps-Prozessen unvollständig bleiben, solange ihnen die Informationen des Menschen fehlen. Sie erwähnte beispielsweise, dass ein System unvollständig verwaltet werden kann, wenn selbst kurze Mitteilungen von Kollegen fehlen. In ihrer Präsentation führte sie detailliert aus, dass all diese Informationen zunächst den Agenten zur Verfügung gestellt werden sollten.

Open Source im Weltraum: ISS und Robotik

Auf den Fotos, die während der Sitzung zu sicherheitskritischen Systemen aufgenommen wurden, spiegelten sich Bilder der Internationalen Raumstation (ISS) und des GITAI- Roboterarms auf der Großleinwand. Die Tatsache, dass Linux in einer Umgebung eingesetzt wird, in der im Vakuum des Weltraums keine Fehler erlaubt sind, bewies die Zuverlässigkeit von Open Source. 8

Einheitlicher Vektorzugriff über Organisationsgrenzen hinweg und OPA: In großen Organisationen werden Daten üblicherweise in verschiedenen Abteilungen oder Partnerunternehmen in unterschiedlichen Vektordatenbanken gespeichert. Die Zusammenführung dieser Daten an einem zentralen Ort gestaltet sich aufgrund von rechtlichen Bestimmungen, Datensicherheit und Eigentumsrechten schwierig. Die Präsentation zielt darauf ab, eine „virtuelle Integration“ ohne Datenkopie zu ermöglichen.

• vLLM: Es dient dazu, komplexe Metadaten aus Datenquellen in aussagekräftige und kurze Zusammenfassungen in natürlicher Sprache umzuwandeln. Außerdem fungiert es als leistungsstarke Inferenzmaschine beim Verstehen von Benutzeranfragen und der Verarbeitung von Ergebnissen.
• Politische Entscheidungen: Verantwortlich für Datenverwaltung und -autorisierung. Wenn ein Benutzer eine Abfrage initiiert, prüft OPA zur Laufzeit, ob der Benutzer die Berechtigung zum Zugriff auf diese Datenquelle besitzt.
• Milvus-Details: Es fungiert als „semantischer Katalog“. Es speichert die technischen und geschäftlichen Metadaten von Datenquellen aller Organisationen in Vektorform. Bei einer Anfrage führt es eine erste Suche durch, um die Organisation zu ermitteln, die die relevanten Daten möglicherweise besitzt.

Diese Präsentation beweist , wie eine sichere und „intelligente“ Suchinfrastruktur zwischen Organisationen eingerichtet werden kann, ohne Daten an einen zentralen Ort zu verschieben, indem die skalierbare Suchfunktion von Milvus, die Sprachverarbeitungsleistung von vLLM und die flexiblen Sicherheitsrichtlinien von OPA kombiniert werden.⁶

Kontextgestaltung: Referent Kevin Noel argumentiert, dass die Ära des einfachen "Schreibens einer Aufgabenstellung und Wartens auf eine Antwort" vorbei sei und wir stattdessen in die Ära der Kontextgestaltung eingetreten seien.

• LLM-Absolventen sind staatenlos: Modelle erinnern sich nicht einmal an den vorherigen Satz, es sei denn, man erinnert sie daran.
• Staatsgründung: Damit eine künstliche Intelligenz die richtige Antwort geben kann, müssen ihr alle Informationen im jeweiligen Moment korrekt präsentiert werden (just-in-time). Dies ist die Kunst, vergangene Gespräche, Informationen aus Dokumenten und Tool-Ausgaben miteinander zu verknüpfen.

Die Präsentation zeigt, dass die folgenden Komponenten für eine erfolgreiche Reaktion der künstlichen Intelligenz kombiniert werden müssen:

• RAG (Relevante Informationen): Informationen aus internen Dokumenten oder Datenbanken.
• Speicherverwaltung: Bisherige Präferenzen des Nutzers und kurzfristiger Gesprächsverlauf.
• Externe Tools: Daten, die von APIs oder Berechnungstools stammen.
• Systembefehle: Grundregeln, die den Charakter und die Aufgabe der künstlichen Intelligenz bestimmen.

Eine manuelle Prüfung einer so komplexen Struktur (RAG + Speicher + Werkzeuge) ist unmöglich. Der Sprecher schlägt folgende Lösung vor:

• Automatische Auswertung: Wir müssen künstliche Intelligenz dazu bringen, anhand der vorhandenen Daten Tausende von „Frage-Antwort“-Paaren (synthetische Daten) zu erzeugen.
• Realistische Szenarien: Wir müssen die Robustheit des Systems messen, indem wir synthetische Benutzer erstellen, die wie echte Benutzer falsche oder unvollständige Fragen stellen.

Kosten und Geschwindigkeit: Wir können den Erfolg des Systems (Genauigkeit, Irrelevanz, Halluzination) innerhalb von Minuten mit synthetischen Datensätzen bewerten, anstatt Tests durchzuführen, die bei Menschen Wochen dauern würden. 10

Spielserver-Orchestrierung (Agones): In der Präsentation „So funktioniert Agones“ des Google Open Source-Teams wurde ein Flussdiagramm der Infrastruktur des Spiels ARC Raiders vorgestellt. Darin war deutlich zu erkennen, dass Spieler nach dem Matchmaking sogenannten „Agones Game Servern“ zugewiesen wurden. Diese Server wurden global mithilfe einer Bin-Packing-Strategie (Komprimierung) verwaltet. So konnten sich die Entwickler voll und ganz auf die Spielentwicklung konzentrieren, ohne sich um die Infrastruktur kümmern zu müssen. Dies unterstreicht die wichtige Rolle von Kubernetes als Open-Source-Software in der Spieleindustrie.

Geschwindigkeit bei der Modellverteilung: Die Präsentation zeigte, dass Modelle nun in OCI-kompatiblen Registries wie Docker-Images gespeichert und dank des Model CSI-Treibers direkt wie eine Festplatte in den Pod eingebunden werden. Dadurch entfällt das Kopieren von Gigabytes an Daten. Für diese Vorgänge wird die OCI-Registry von Harbor verwendet.

Inferenzleistung: Laut meinen Notizen und Visualisierungen aus der vLLM-Session war die PagedAttention-Technologie der Schlüssel zur Leistung. Diese Technologie verwaltet den GPU-Speicher mit der virtuellen Speicherlogik des Betriebssystems, überwindet so den „Key-Value-Cache“-Flaschenhals und vervielfacht den Durchsatz. Die Präsentation erwähnt außerdem, dass DeepSpeed ​​von Microsoft die GPU-Effizienz um das 4- bis 6-Fache steigert und selbst auf älterer Hardware hohe Leistung ermöglicht. Dadurch erhöht sich die Anzahl der pro Gebühr generierten Token.

Fazit: Vom Open Source Summit Japan 2025 kehre ich mit einer Vision zurück, die meine Sichtweise auf meinen Beruf grundlegend verändert, und nicht nur mit neuem technischem Wissen in der Tasche.

Einer der Punkte, der mich während der gesamten Veranstaltung am meisten beeindruckt hat, war die Bandbreite des Anwendungsbereichs von Open-Source-Software (OSS) . Dass heute selbst bei den kritischsten und fortschrittlichsten Technologieprojekten der Menschheit, wie der Internationalen Raumstation (ISS) , auf die Leistungsfähigkeit von Open Source vertraut wird – und nicht nur bei Websites oder mobilen Anwendungen –, hat mir einmal mehr die Verantwortung und das Potenzial unserer Arbeit vor Augen geführt.

Der unvergesslichste Moment des Gipfels war für mich der Live-Vortrag von Linus Torvalds, einem der Architekten der modernen Softwarewelt und dem Schöpfer von Linux und Git. Seine Herangehensweise an Technologie und seine Vision aus erster Hand zu erleben, ermöglichte es mir, die tiefgründige Philosophie hinter den grundlegenden Werkzeugen, die wir verwenden, zu verstehen.

Die wichtigste Erkenntnis dieses Gipfels war für mich: Die Softwarewelt ist ein unendlicher Ozean, der jederzeit für neue Entwicklungen offensteht und sich ständig weiterentwickelt. Teil dieses Ökosystems zu sein bedeutet nicht nur, Code zu schreiben, sondern auch ständig dazuzulernen und einen Beitrag zur Community zu leisten. Diese Dynamik meines Berufs motiviert mich ungemein. Jetzt ist es an der Zeit, mit dieser Inspiration noch entschlossener und zügiger weiterzuarbeiten! 👨‍💻✨

Mein Besuch in Japan war die Verwirklichung einer Neugierde, die ihren Ursprung in der lebendigen Lesekultur und dem Wissensaustausch bei Galaksiya hatte. Meine Hauptmotivation für die Wahl dieses Reiseziels war der Wunsch, in eine Kultur und ein kulinarisches Erbe einzutauchen, die ich als grundlegend anders – fast wie eine andere Welt – als unsere eigene empfand. Ich wollte meine Komfortzone verlassen und erleben, wie es sich anfühlt, in einem Land so großer Gegensätze ein „Außenseiter“ zu sein, wo jedes Ritual und jeder Geschmack einer anderen Dimension anzugehören scheint.

Doch während ich Tokios riesige, neonbeleuchtete Boulevards und die traditionellen, versteckten Lokale in engen Gassen erkundete, machte ich eine tiefgreifende Erkenntnis. Obwohl mir die sorgfältige Präsentation der Speisen und die andächtige Stille der Straßen zunächst fremd erschienen, entdeckte ich bald eine universelle Essenz darunter. Als ich im Schatten eines modernen Wolkenkratzers stand und jemanden beobachtete, der an einem alten Schrein einen Moment der Ruhe fand, wurde mir bewusst, dass der Ausdruck menschlicher Aufrichtigkeit dort derselbe ist wie in unserer Heimat. Es war eine eindringliche Erinnerung daran, dass die Menschheit – unabhängig vom Ort – dieselben grundlegenden Werte teilt: Güte, Fleiß, Familie und die Bereitschaft zum Teilen.

Die tief verwurzelte Kultur des Respekts und die „unsichtbare Harmonie“ einer Gesellschaft, die mit solch unglaublicher Präzision funktioniert, haben meine Beobachtungen zu einer umfassenderen Lektion in Menschlichkeit gemacht. Diese kulturelle Tiefe und die einzigartige Vision haben mir geholfen zu verstehen, dass die Welt nicht nur von Strukturen, sondern auch vom menschlichen Geist und der Disziplin geprägt wird. Ich kehre von dieser Reise mit der unvergesslichen Erkenntnis zurück, dass wir alle „eins“ sind, selbst am anderen Ende der Welt – und natürlich mit einigen wertvollen Fotografien, die die Seele der Stadt einfangen.
 

Wir sehen uns an unserem nächsten Halt.

Emre İZMİR

Leitender DevOps-Ingenieur
Impressionen vom Open Source Summit Japan 2025, Tokio.
 

1. Die Zukunft agentenbasierter KI wird nicht durch die Modellgröße bestimmt… – Präsentation im Rahmen des AI_dev Tracks auf dem Open Source Summit, 8.–10. Dezember 2025, Tokio, Japan. Verfügbar unter: https://ossjapan2025.sched.com/type/AI_dev

2. Dynamische GPU-Bereitstellung in Kubernetes mit zusammensetzbarer, disaggregierter Infrastruktur – Jin Hase & Tsubasa Watanabe, Fujitsu Limited. Open Source Summit Japan 2025, Cloud & Containers Track. Verfügbar unter: https://github.com/CoHDI

3. LLMs im Autopilotmodus: KI-Agenten auf Kubernetes ausführen – Annie Talvasto, Waovo/Upbound. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Infrastruktur-Orchestrierung mit Crossplane 2.0 – Upbound-Präsentation. Open Source Summit Japan 2025. Verfügbar unter: ( https://ossjapan2025.sched.com/event/29FnY )

5. Vom Labor ins Leben: Praktische Evaluierung von KI-Systemen – Sharon Dashet & Vincent Caldeira, Red Hat-Präsentation, Tokio, Japan. Verfügbar unter: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Federated Vector Retrieval & Policy-Aware Retrieval – Hiroki Ito & Shusuke Takahashi, NTT. Open Source Summit Japan 2025, AI_dev Track. Verfügbar unter: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Keynote: Wie geht es mit Agones weiter? Planetare Governance – Ben Huston, Senior Principal Architect, Google Cloud. Open Source Summit Japan 2025, AI_dev Track. Verfügbar unter: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Ein offener Standard für das Verpacken, Verteilen und Ausführen von LLMs in Cloud-nativen Umgebungen – Präsentation von Wenbo Qi und Chenyu Zhang, Ant Group. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Keynote: Lage der Nation – Jim Zemlin, Geschäftsführer der Linux Foundation. Präsentation auf dem Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Praktische Strategien für synthetische Daten in RAG/Agentensystemen – Präsentation von Kevin Noel, Uzabase – Edge US. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us