Open Source Summit Japan 2025: Transformation der Architektur

Während der Wettlauf um „größere Modelle“ in der Welt der künstlichen Intelligenz einer kritischen Stille weicht, wurde die Zukunft des Sektors auf dem Open Source Summit Japan 2025 in einem einzigen Satz zusammengefasst:  „Die Zukunft der agentenbasierten KI wird nicht durch die Modellgröße, sondern durch die Systemarchitektur bestimmt werden.“ 1 

Diese Erkenntnis ist der deutlichste Hinweis darauf, dass sich der Fokus von reinem Modelltraining hin zur Infrastruktur verlagert hat, die diese Modelle unterstützt und skaliert. Der Gipfel in Toranomon Hills, Tokio, hat gezeigt, wie Giganten wie Google, Fujitsu und Honda Open Source als strategische Grundlage nutzen, und als DevOps-Ingenieur hatte ich die Gelegenheit, die neuen Standards an der Schnittstelle von künstlicher Intelligenz und Infrastruktur vor Ort zu untersuchen.
Dieser Artikel analysiert die Wechselwirkungen zwischen der Welt der künstlichen Intelligenz und der Infrastruktur. Dabei werden Fotos, die ich persönlich auf der Veranstaltung aufgenommen habe, die technischen Sitzungen, die ich besucht habe, sowie Daten aus dem offiziellen Programm der Linux Foundation herangezogen.

Die im Konferenzprogramm und in den von mir vor Ort untersuchten Präsentationen besonders hervorgehobenen technischen Diskussionen ließen sich im Hinblick auf das moderne Infrastrukturmanagement in folgende Hauptachsen einteilen:

A. Systemarchitektur und Hardware-Disaggregation

• Hardware-Disaggregation: Wie in Fujitsus Session „Dynamic GPU Provisioning“ detailliert beschrieben, geht man über die traditionelle Serverstruktur hinaus und sammelt CPU, GPU und Speicher in einem dynamischen Pool (Ressourcenpool), indem man sie aus physischen Gehäusen entfernt.2 
• KI-Fabriken: Umwandlung von Rechenzentren in Produktionsanlagen, die auf die variablen Anforderungen von KI-Workloads reagieren können, anstatt statische Serverfarmen zu sein.

B. Agentische Operationen

• Autonomes Infrastrukturmanagement: Wie wir in den Bühnendemonstrationen gesehen haben, geht der Übergang von der Struktur von Tools wie Terraform, die „im Fehlerfall stoppen“, hin zu „Agentenbasierten“ Strukturen, die den Fehler analysieren und eine Lösung generieren können.3 
• Kontinuierliche Feedbackschleife: Kontinuierliche Überwachung nicht nur des Einsatzes von Modellen der künstlichen Intelligenz, sondern auch ihrer Leistungsfähigkeit in der realen Umgebung.5 

C. Datenverwaltung und -sicherheit

• Föderierter Vektorzugriff: Den von NTT und anderen Referenten vorgelegten Architekturskizzen zufolge kombinieren Strukturen, die Daten vor Ort in verteilten Quellen verarbeiten, die Ergebnisse, anstatt sie zu einem zentralen Datenspeicher zu transportieren.6 
• Richtlinie als Code: Dynamische Entscheidungsfindung beim Datenzugriff zum Zeitpunkt der Abfrage durch Systeme wie OPA (Open Policy Agent). 6 

D. Kritische und spezielle Arbeitslasten

• Spielserver-Orchestrierung: Wie in der Agones-Präsentation des Google Open Source-Teams gezeigt wurde, ist die Verwaltung zustandsbehafteter Spielserver auf globaler Ebene auf Kubernetes möglich.7 
• Weltraumtaugliches Linux: Die Steuerung von Roboterarmen auf der ISS mit Open-Source-Software wurde in der Präsentation von GITAI vorgestellt.8 

A. Systemarchitektur und Hardware-Disaggregation

Befreiung der Hardware: CoHDI

Eine der bemerkenswertesten technischen Sitzungen der Konferenz war der Vortrag mit dem Titel "Dynamische GPU-Bereitstellung in Kubernetes" Präsentiert wurde die Geschichte von Jin Hase und Tsubasa Watanabe vom Fujitsu-Team. Das auf der Bühne gezeigte Architekturdiagramm erläuterte die CoHDI (Composable Disaggregated Infrastructure) Projekt wie folgt:

• Disaggregierter Ressourcenpool: CPU, GPU, Arbeitsspeicher und Netzwerkkarten werden aus den physischen Servergehäusen ausgebaut und in einem gemeinsamen Pool gesammelt.
• PCIe/CXL Switch Fabric: Diese Komponenten sind über Hochgeschwindigkeitsschalter miteinander verbunden.
• Kubernetes-Integration: Wie im Diagramm zu sehen ist, fordert Kubernetes Hardware an, als würde es einen Pod erstellen, und das System stellt diese Hardware sofort zusammen, um "Composed Baremetal"-Server zu erstellen.2 

Also, warum ist CoHDI Wichtig? Diese Architektur hat das Potenzial, die GPU-Nutzungseffizienz von 30 % auf 80 % zu steigern.

Infrastruktur-Orchestrierung: Crossplane 2.0

Eine weitere wichtige Präsentation auf der Veranstaltung zeigte die Crossplane 2.0 Architektur. Die kontinuierliche Überwachung deklarativer Definitionen in Git durch den Crossplane-Regelkreis und deren Umwandlung in reale Ressourcen in AWS, Azure oder Google Cloud unterstützten die Vision einer „selbstheilenden“ Infrastruktur. Außerdem Crossplane 2.0 Crossplane v1 konnte nun in allen Kubernetes-Umgebungen eingesetzt werden, nicht nur für Cloud-Dienste. Dank dieser Technologie konnte jeder Entwickler einfache Technologien selbstständig installieren. Die Präsentation war beeindruckend und zeigte eindrucksvoll, wohin die Reise für DevOps-Prozesse gehen wird. 4 

AgentOps: Es handelt sich um einen kontinuierlichen Feedback-Mechanismus, der die Diskrepanz zwischen Entwicklung (innerer Regelkreis) und Anwendung (äußerer Regelkreis) von KI-Systemen überbrücken soll. Diese Struktur definiert sich als eine Disziplin im Bereich KI-Plattform-Engineering, die offline aufbereitete Datensätze mit Beobachtungen aus der realen Umgebung in einem einzigen Ökosystem kombiniert. Dies ermöglicht die Fehlererkennung und die Einbindung realer Daten in Testprozesse.5 

Mensch vs. Agent: Annie Talvasto argumentierte in ihrem Vortrag, dass Maschinen in DevOps-Prozessen unvollständig bleiben, solange ihnen die Informationen des Menschen fehlen. Sie erwähnte beispielsweise, dass ein System unvollständig verwaltet werden kann, wenn selbst kurze Mitteilungen von Kollegen fehlen. In ihrer Präsentation führte sie detailliert aus, dass all diese Informationen den Mitarbeitern zuerst zur Verfügung gestellt werden sollten. 3 

Open Source im Weltraum: ISS und Robotik

Auf den Fotos, die während der Sitzung über sicherheitskritische Systeme aufgenommen wurden, sind Bilder der Internationalen Raumstation (ISS) und GITAI Die Spiegelung der Roboterarme erfolgte auf dem riesigen Bildschirm. Zu sehen, dass Linux in einer Umgebung eingesetzt wird, in der man sich im Vakuum des Weltraums keine Fehler erlauben kann, war ein Beweis für die Zuverlässigkeit von Open Source.8 

Einheitlicher Vektorzugriff über Organisationen und OPA hinweg: In großen Organisationen werden Daten üblicherweise in verschiedenen Abteilungen oder Partnerunternehmen und in unterschiedlichen Vektordatenbanken gespeichert. Die Zusammenführung dieser Daten an einem zentralen Ort gestaltet sich aufgrund von rechtlichen Bestimmungen, Datensicherheit und Eigentumsrechten schwierig. Die Präsentation zielt darauf ab, eine „virtuelle Integration“ ohne Datenkopie zu ermöglichen.

• vLLM: Es dient dazu, komplexe Metadaten aus Datenquellen in aussagekräftige und kurze Zusammenfassungen in natürlicher Sprache umzuwandeln. Außerdem fungiert es als leistungsstarke Inferenzmaschine beim Verstehen von Benutzeranfragen und der Verarbeitung von Ergebnissen.
• Politische Entscheidungen: Verantwortlich für Datenverwaltung und -autorisierung. Wenn ein Benutzer eine Abfrage initiiert, prüft OPA zur Laufzeit, ob der Benutzer die Berechtigung zum Zugriff auf diese Datenquelle besitzt.
• Milvus-Details: Es fungiert als „semantischer Katalog“. Es speichert die technischen und geschäftlichen Metadaten von Datenquellen aller Organisationen in Vektorform. Bei einer Anfrage führt es eine erste Suche durch, um die Organisation zu ermitteln, die die relevanten Daten möglicherweise besitzt.

Diese Präsentation beweist, wie eine sichere und "intelligente" Suchinfrastruktur zwischen Organisationen aufgebaut werden kann, ohne Daten an einen zentralen Ort zu verschieben, indem die skalierbare Suchfunktion von Milvus, die Sprachverarbeitungsleistung von vLLM und die flexiblen Sicherheitsrichtlinien von OPA kombiniert werden.6 

Kontext-Engineering: Der Redner Kevin Noel argumentiert, dass die Ära des einfachen "Schreibens einer Aufgabenstellung und Wartens auf eine Antwort" vorbei sei und wir stattdessen in die Ära des Kontext-Engineerings eingetreten seien.

• LLM-Absolventen sind staatenlos: Modelle erinnern sich nicht einmal an den vorherigen Satz, es sei denn, man erinnert sie daran.
• Staatsgründung: Damit eine künstliche Intelligenz die richtige Antwort geben kann, müssen ihr alle Informationen im jeweiligen Moment korrekt präsentiert werden (just-in-time). Dies ist die Kunst, vergangene Gespräche, Informationen aus Dokumenten und Tool-Ausgaben miteinander zu verknüpfen.

Die Präsentation zeigt, dass die folgenden Komponenten für eine erfolgreiche Reaktion der künstlichen Intelligenz kombiniert werden müssen:

• RAG (Relevante Informationen): Informationen aus internen Dokumenten oder Datenbanken.
• Speicherverwaltung: Bisherige Präferenzen des Nutzers und kurzfristiger Gesprächsverlauf.
• Externe Tools: Daten, die von APIs oder Berechnungstools stammen.
• Systembefehle: Grundregeln, die den Charakter und die Aufgabe der künstlichen Intelligenz bestimmen.

Eine manuelle Prüfung einer so komplexen Struktur (RAG + Speicher + Werkzeuge) ist unmöglich. Der Sprecher schlägt folgende Lösung vor:

• Automatische Auswertung: Wir müssen künstliche Intelligenz dazu bringen, anhand der vorhandenen Daten Tausende von „Frage-Antwort“-Paaren (synthetische Daten) zu erzeugen.
• Realistische Szenarien: Wir müssen die Robustheit des Systems messen, indem wir synthetische Benutzer erstellen, die wie echte Benutzer falsche oder unvollständige Fragen stellen.

Kosten und Geschwindigkeit: Wir können den Erfolg des Systems (Genauigkeit, Irrelevanz, Halluzination) innerhalb von Minuten mit synthetischen Datensätzen bewerten, anstatt Tests durchzuführen, die bei Menschen Wochen dauern würden. 10 

Spielserver-Orchestrierung (Agones): In der Folie mit dem Titel „Wie Agones funktioniert“ Vom Google Open Source-Team wurde ein Flussdiagramm über die Infrastruktur geteilt. ARC-Raider In diesem Diagramm ist deutlich zu erkennen, dass die Spieler nach dem Matchmaking Pods mit dem Namen „Agones Game Server“ zugewiesen wurden. Diese Server wurden global mithilfe einer Bin-Packing-Strategie (Komprimierung) verwaltet. Dadurch konnten sich die Entwickler voll und ganz auf die Spielentwicklung konzentrieren, ohne sich um die Infrastruktur kümmern zu müssen. Dies beweist auch die wichtige Rolle, die Kubernetes als Open-Source-Plattform in der Spieleindustrie spielt.7 

Geschwindigkeit bei der Modellverteilung: Die Präsentation zeigte, dass Modelle nun in OCI-kompatiblen Registries wie Docker-Images gespeichert und dank der Modell CSI-TreiberDadurch entfällt das Kopieren von Gigabytes an Daten. Für diese Vorgänge wird die OCI-Registry von Harbor verwendet.8 

Inferenzleistung: Laut meinen Notizen und Visualisierungen aus der vLLM-Session war die PagedAttention-Technologie der Schlüssel zur Leistungsfähigkeit. Diese Technologie verwaltet den GPU-Speicher mithilfe der virtuellen Speicherlogik des Betriebssystems, überwindet so den Key-Value-Cache-Flaschenhals und vervielfacht den Durchsatz. Die Präsentation erwähnt außerdem, dass DeepSpeed ​​von Microsoft die GPU-Effizienz um das Vier- bis Sechsfache steigert und dadurch selbst auf älterer Hardware hohe Leistung ermöglicht. Hervorgehoben wird in der Präsentation, dass sich dadurch die Anzahl der pro Gebühr generierten Token erhöht. 9 

Fazit: Nach dem Open Source Summit Japan 2025 kehre ich mit einer Vision zurück, die meine Sichtweise auf meinen Beruf grundlegend verändert, und nicht nur mit neuem technischem Wissen in der Tasche.

Einer der Punkte, der mich während der gesamten Veranstaltung am meisten beeindruckt hat, war die Breite des Berichterstattungsbereichs. Open Source Software (OSS)Heute wird der Leistungsfähigkeit von Open Source selbst bei den kritischsten und fortschrittlichsten Technologieprojekten der Menschheit vertraut, wie beispielsweise … Internationale Raumstation (ISS), nicht nur auf Websites oder mobilen Anwendungen, erinnerte mich einmal mehr an die Verantwortung und das Potenzial unserer Arbeit.

Der unvergesslichste Moment des Gipfels war für mich der Live-Vortrag von Linus Torvalds, einem der Architekten der modernen Softwarewelt und dem Schöpfer von Linux und Git. Seine Herangehensweise an Technologie und seine Vision aus erster Hand zu erleben, ermöglichte es mir, die tiefgründige Philosophie hinter den grundlegenden Werkzeugen, die wir verwenden, zu verstehen.

Die wichtigste Lektion, die ich von diesem Gipfeltreffen gelernt habe, war folgende: Die Softwarewelt ist ein unendlicher Ozean, der jederzeit für neue Entwicklungen offensteht und sich ständig verändert. Teil dieses Ökosystems zu sein bedeutet nicht nur, Code zu schreiben, sondern auch ständig dazuzulernen und einen Beitrag zur Community zu leisten. Diese Dynamik meines Berufs motiviert mich ungemein. Jetzt ist es an der Zeit, mit dieser Inspiration noch entschlossener und schneller weiterzuarbeiten! 👨‍💻✨

Mein Besuch in Japan war die Verwirklichung einer Neugierde, die ihren Ursprung in der lebendigen Lesekultur und dem Wissensaustausch bei Galaksiya hatte. Meine Hauptmotivation für die Wahl dieses Reiseziels war der Wunsch, in eine Kultur und ein kulinarisches Erbe einzutauchen, die ich als grundlegend anders – fast wie eine andere Welt – als unsere eigene empfand. Ich wollte meine Komfortzone verlassen und erleben, wie es sich anfühlt, in einem Land so großer Gegensätze ein „Außenseiter“ zu sein, wo jedes Ritual und jeder Geschmack einer anderen Dimension anzugehören scheint.

Doch während ich Tokios riesige, neonbeleuchtete Boulevards und die traditionellen, versteckten Lokale in engen Gassen erkundete, machte ich eine tiefgreifende Erkenntnis. Obwohl mir die sorgfältige Präsentation der Speisen und die andächtige Stille der Straßen zunächst fremd erschienen, entdeckte ich bald eine universelle Essenz darunter. Als ich im Schatten eines modernen Wolkenkratzers stand und jemanden beobachtete, der an einem alten Schrein einen Moment der Ruhe fand, wurde mir bewusst, dass der Ausdruck menschlicher Aufrichtigkeit dort derselbe ist wie in unserer Heimat. Es war eine eindringliche Erinnerung daran, dass die Menschheit – unabhängig vom Ort – dieselben grundlegenden Werte teilt: Güte, Fleiß, Familie und die Bereitschaft zum Teilen.

Die tief verwurzelte Kultur des Respekts und die „unsichtbare Harmonie“ einer Gesellschaft, die mit solch unglaublicher Präzision funktioniert, haben meine Beobachtungen zu einer umfassenderen Lektion in Menschlichkeit gemacht. Diese kulturelle Tiefe und die einzigartige Vision haben mir geholfen zu verstehen, dass die Welt nicht nur von Strukturen, sondern auch vom menschlichen Geist und der Disziplin geprägt wird. Ich kehre von dieser Reise mit der unvergesslichen Erkenntnis zurück, dass wir alle „eins“ sind, selbst am anderen Ende der Welt – und natürlich mit einigen wertvollen Fotografien, die die Seele der Stadt einfangen.
 

Wir sehen uns an unserem nächsten Halt.

Emre İZMİR

Leitender DevOps-Ingenieur
Impressionen vom Open Source Summit Japan 2025, Tokio.
 

1. Die Zukunft agentenbasierter KI wird nicht durch die Modellgröße definiert werden... - Präsentation im Rahmen des KI-Entwicklungstracks des Open Source Summit, 8.–10. Dezember 2025, Tokio, Japan. Verfügbar unter: https://ossjapan2025.sched.com/type/AI_dev

2. Dynamische GPU-Bereitstellung in Kubernetes mit zusammensetzbarer, disaggregierter Infrastruktur - Jin Hase & Tsubasa Watanabe, Fujitsu Limited. Open Source Summit Japan 2025, Cloud & Containers Track. Verfügbar unter: https://github.com/CoHDI

3. LLMs im Autopilotmodus: KI-Agenten auf Kubernetes ausführen - Annie Talvasto, Waovo/Upbound. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Infrastruktur-Orchestrierung mit Crossplane 2.0 - Upbound-Präsentation. Open Source Summit Japan 2025. Verfügbar unter: (https://ossjapan2025.sched.com/event/29FnY)

5. Vom Labor zum Leben: Praktische Bewertung von KI-Systemen - Sharon Dashet & Vincent Caldeira, Red Hat Präsentation, Tokio, Japan. Verfügbar unter: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Föderierte Vektorsuche & richtlinienbasierte Suche - Hiroki Ito & Shusuke Takahashi, NTT. Open Source Summit Japan 2025, AI_dev Track. Verfügbar unter: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Keynote: Wie geht es weiter für Agones? Planetare Governance Ben Huston, leitender Architekt bei Google Cloud. Open Source Summit Japan 2025, AI_dev Track. Verfügbar unter: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Ein offener Standard für das Verpacken, Verteilen und Ausführen von LLMs in Cloud-nativen Umgebungen - Präsentation von Wenbo Qi und Chenyu Zhang, Ant Group. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Hauptvortrag: Rede zur Lage der Nation – Präsentation von Jim Zemlin, Geschäftsführer der Linux Foundation. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Praktische Strategien für synthetische Daten für RAG/Agentensysteme - Kevin Noel, Uzabase – Edge US Präsentation. Open Source Summit Japan 2025. Verfügbar unter: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us