Szczyt Open Source Japonia 2025: Transformacja architektury

Podczas gdy wyścig o „większe modele” w świecie sztucznej inteligencji ustępuje miejsca krytycznemu milczeniu, przyszłość sektora została podsumowana w jednym zdaniu podczas konferencji Open Source Summit Japan 2025: „Przyszłość agentowej sztucznej inteligencji nie będzie definiowana przez skalę modelu, ale przez architekturę systemu”. 1

Ta determinacja jest najbardziej konkretnym wskaźnikiem tego, że uwaga przesunęła się z samego szkolenia modeli na infrastrukturę, która je obsługuje i skaluje. Szczyt, który odbył się w Toranomon Hills w Tokio, pokazał, jak giganci tacy jak Google, Fujitsu i Honda przyjęli oprogramowanie open source jako „strategiczny fundament”. Jako inżynier DevOps miałem okazję zbadać nowe normy na styku świata sztucznej inteligencji i infrastruktury na miejscu.
W tym artykule analizuję powiązania między światem sztucznej inteligencji i infrastruktury, opierając się na zdjęciach, które osobiście zrobiłem w czasie wydarzenia, sesjach technicznych, w których uczestniczyłem, oraz danych zebranych w ramach oficjalnego programu Linux Foundation.

Dyskusje techniczne, które znalazły się w programie konferencji, oraz prezentacje, które analizowałem na miejscu, zostały zebrane w następujących głównych osiach w kontekście nowoczesnego zarządzania infrastrukturą:

A. Architektura systemu i dezagregacja sprzętu

• Dezagregacja sprzętu: Jak szczegółowo opisano w sesji Fujitsu „Dynamic GPU Provisioning”, wykracza to poza tradycyjną strukturę serwera, gromadząc procesor CPU, procesor GPU i pamięć w dynamicznej puli (Resource Pool) poprzez usuwanie ich z fizycznych obudów.2 
• Fabryki AI: Transformacja centrów danych w zakłady produkcyjne, które mogą reagować na zmienne wymagania obciążeń związanych ze sztuczną inteligencją, zamiast w statyczne farmy serwerów.

B. Operacje agenturalne

• Zarządzanie infrastrukturą autonomiczną: Jak widzieliśmy na demonstracjach na scenie, nastąpiło przejście od struktury narzędzi takich jak Terraform, które „zatrzymują się w przypadku błędu”, do struktur opartych na „agentach”, które mogą analizować błąd i tworzyć rozwiązanie.3 
• Ciągła pętla sprzężenia zwrotnego: Ciągły monitoring nie tylko wdrażania modeli sztucznej inteligencji, ale także ich działania w środowisku rzeczywistym.5 

C. Zarządzanie danymi i bezpieczeństwo

• Federacyjny dostęp wektorowy: Zgodnie z diagramami architektonicznymi udostępnionymi przez NTT i innych prezenterów, struktury przetwarzające dane na miejscu w rozproszonych źródłach łączą wyniki zamiast przenosić je do centralnego jeziora.6 
• Polityka jako kod: Dynamiczne podejmowanie decyzji o dostępie do danych w momencie zapytania przez silniki takie jak OPA (Open Policy Agent). 6 

D. Obciążenia krytyczne i specjalne

• Orkiestracja serwera gry: Jak pokazano w prezentacji Agones zespołu Google Open Source, zarządzanie serwerami gier stanowych w skali globalnej na platformie Kubernetes.7 
• Linux klasy kosmicznej: Zarządzanie ramionami robotów na ISS przy użyciu oprogramowania open source, przedstawione w prezentacji GITAI.8 

A. Architektura systemu i dezagregacja sprzętu

Wyzwolenie sprzętu: CoHDI

Jedną z najbardziej poruszających sesji technicznych konferencji było wystąpienie zatytułowane „Dynamic GPU Provisioning in Kubernetes” wygłoszone przez Jin Hase i Tsubasę Watanabe z zespołu Fujitsu. Diagram architektoniczny prezentowany na scenie w następujący sposób wyjaśniał projekt CoHDI (Composable Disaggregated Infrastructure) :

• Zdezagregowana pula zasobów: Procesor, procesor graficzny, pamięć i karty sieciowe są wyjmowane z fizycznych obudów serwerów i gromadzone we wspólnej puli.
• Struktura przełącznika PCIe/CXL: Komponenty te są połączone ze sobą za pomocą szybkich przełączników.
• Integracja z Kubernetes: Jak widać na diagramie, Kubernetes żąda sprzętu w taki sam sposób, jak gdyby tworzył Pod, a system natychmiast składa ten sprzęt, aby utworzyć serwery „Composed Baremetal”.2 

Dlaczego CoHDI jest tak ważne? Ta architektura ma potencjał zwiększenia efektywności wykorzystania GPU o 30% do 80%.

Orkiestracja infrastruktury: Crossplane 2.0

Kolejna ważna prezentacja na wydarzeniu dotyczyła architektury Crossplane 2.0 . Ciągłe monitorowanie deklaratywnych definicji w Git przez pętlę sterowania Crossplane i ich transformacja w rzeczywiste zasoby w AWS, Azure lub Google Cloud wspierały wizję „samonaprawiającej się” infrastruktury. Co więcej, Crossplane 2.0 można było teraz uruchamiać we wszystkich środowiskach Kubernetes, nie tylko w usługach chmurowych, jak w Crossplane v1. Dzięki tej technologii każdy deweloper mógł samodzielnie instalować proste technologie. Była to imponująca prezentacja, pokazująca moment, w którym pojawią się procesy DevOps. 4

AgentOps: To silnik ciągłego sprzężenia zwrotnego, którego celem jest zniwelowanie luki między rzeczywistością a rzeczywistością poprzez połączenie etapów rozwoju (pętla wewnętrzna) i aplikacji (pętla zewnętrzna) agentów sztucznej inteligencji. Struktura ta jest definiowana jako dyscyplina inżynierii platform AI, która łączy przygotowane zestawy danych offline z obserwacjami z rzeczywistego środowiska w jednym ekosystemie, umożliwiając wykrywanie błędów i włączanie danych rzeczywistych z powrotem do procesów testowych. 5

Człowiek kontra agent: Annie Talvasto argumentowała w swoim wystąpieniu, że maszyny pozostaną niekompletne w procesach DevOps, dopóki nie będą dysponować informacjami, które posiadają ludzie. Wspomniała na przykład, że system może być niekompletnie zarządzany, gdy nie ma się nawet krótkiej korespondencji od współpracownika na Slacku. W swojej prezentacji szczegółowo wspomniała, że ​​wszystkie te informacje powinny być najpierw przekazywane agentom. 3

Oprogramowanie Open Source w kosmosie: ISS i robotyka

Na zdjęciach wykonanych podczas sesji poświęconej systemom krytycznym dla bezpieczeństwa, na gigantycznym ekranie wyświetlano obrazy Międzynarodowej Stacji Kosmicznej (ISS) i ramienia robota GITAI . Fakt, że Linux jest używany w środowisku, w którym nie ma miejsca na popełnianie błędów w kosmicznej próżni, był dowodem niezawodności oprogramowania open source. 8

Ujednolicony dostęp wektorowy między organizacjami i OPA: W dużych organizacjach dane są zazwyczaj przechowywane w różnych działach lub firmach partnerskich, w różnych bazach wektorowych. Gromadzenie tych danych w jednym centrum jest trudne ze względu na zgodność z przepisami prawa, bezpieczeństwo danych i prawa własności. Celem prezentacji jest zapewnienie „wirtualnej integracji” bez kopiowania danych.

• vLLM: Służy do przekształcania złożonych metadanych ze źródeł danych w zrozumiałe i krótkie podsumowania w języku naturalnym. Pełni również rolę wydajnego silnika wnioskowania w procesach rozumienia zapytań użytkowników i przetwarzania wyników.
• Decyzje polityczne: Odpowiada za zarządzanie danymi i autoryzację. Gdy użytkownik inicjuje zapytanie, OPA sprawdza w czasie wykonywania, czy użytkownik ma uprawnienia dostępu do danego źródła danych.
• Szczegóły Milvusa: Działa jak „katalog semantyczny”. Przechowuje techniczne i biznesowe metadane źródeł danych we wszystkich organizacjach w formie wektorowej. Po otrzymaniu zapytania przeprowadza wyszukiwanie w pierwszym etapie, aby ustalić, która organizacja może posiadać odpowiednie dane.

W tej prezentacji pokazano, jak można stworzyć bezpieczną i „inteligentną” infrastrukturę wyszukiwania między organizacjami bez konieczności przenoszenia danych do centralnej lokalizacji, łącząc skalowalne możliwości wyszukiwania Milvus, moc przetwarzania języka vLLM i elastyczne zasady bezpieczeństwa OPA. 6

Inżynieria kontekstu: Prelegent Kevin Noel twierdzi, że era, w której można było po prostu „napisać pytanie i czekać na odpowiedź”, dobiegła końca. Zamiast tego wkroczyliśmy w erę inżynierii kontekstu.

• Studenci LLM nie są państwowi: Modelki nie pamiętają nawet poprzedniego zdania, jeśli im o tym nie przypomnisz.
• Tworzenie państwa: Aby sztuczna inteligencja udzieliła poprawnej odpowiedzi, trzeba jej wszystko poprawnie przedstawić w danym momencie (just-in-time). To sztuka łączenia wcześniejszych rozmów, informacji z dokumentów i wyników narzędzi.

Prezentacja pokazuje, że aby sztuczna inteligencja mogła skutecznie odpowiedzieć, konieczne jest połączenie następujących części:

• RAG (Informacje istotne): Informacje pobrane z wewnętrznych dokumentów lub baz danych.
• Zarządzanie pamięcią: Wcześniejsze preferencje użytkownika i historia jego krótkoterminowych konwersacji.
• Narzędzia zewnętrzne: Dane pochodzące z interfejsów API lub narzędzi obliczeniowych.
• Polecenia systemowe: Główne zasady określające charakter i zadania sztucznej inteligencji.

Ręczne przetestowanie tak złożonej struktury (RAG + Pamięć + Narzędzia) jest niemożliwe. Głośnik oferuje następujące rozwiązanie:

• Automatyczna ocena: Musimy zlecić sztucznej inteligencji stworzenie tysięcy par „pytanie-odpowiedź” (dane syntetyczne) przy użyciu danych, którymi dysponujemy.
• Realistyczne scenariusze: Musimy zmierzyć odporność systemu, tworząc syntetycznych użytkowników, którzy zadają niepoprawne lub niekompletne pytania, tak jak prawdziwi użytkownicy.

Koszt i szybkość: Możemy ocenić skuteczność systemu (dokładność, nieistotność, halucynację) w ciągu kilku minut za pomocą syntetycznych zestawów danych, zamiast przeprowadzać testy, które w przypadku ludzi trwałyby tygodnie. 10

Orkiestracja serwerów gier (Agones): Na slajdzie zatytułowanym „Jak działa Agones” zespołu Google Open Source zaprezentowano schemat blokowy infrastruktury gry ARC Raiders . Na tym diagramie wyraźnie widać, że po matchmakingu gracze byli przypisywani do kontenerów zwanych „serwerami gier Agones”, a serwery te były zarządzane za pomocą strategii „binpackingu” (kompresji) w skali globalnej. Dzięki temu deweloperzy mogli poświęcić więcej czasu na tworzenie gier, nie myśląc o infrastrukturze. Dowodzi to również, jak ważną rolę odgrywa Kubernetes jako oprogramowanie open source w branży gier. 7

Szybkość dystrybucji modeli: Prezentacja pokazała, że ​​modele są teraz przechowywane w rejestrach zgodnych z OCI, takich jak obrazy Dockera, i bezpośrednio podłączone (montowane) do Poda jak dysk dzięki sterownikowi Model CSI . Eliminuje to czas potrzebny na kopiowanie gigabajtów danych. Do tych operacji wykorzystywany jest rejestr OCI Harbora.

Wydajność wnioskowania: Zgodnie z notatkami i wizualizacjami, które zebrałem podczas sesji vLLM, technologia PagedAttention była kluczem do wydajności. Technologia ta zarządza pamięcią GPU za pomocą logiki pamięci wirtualnej w systemach operacyjnych, eliminując wąskie gardło „pamięci podręcznej wartości kluczowych” (Key-Value Cache) i zwielokrotniając przepustowość. W prezentacji wspomniano również, że technologia DeepSpeed ​​opracowana przez Microsoft zwiększa wydajność GPU 4-6-krotnie, zapewniając wysoką wydajność nawet na starszym sprzęcie. W prezentacji podkreślono, że dzięki temu wzrasta liczba tokenów generowanych w przeliczeniu na opłatę. 9

Podsumowanie: Opuszczając Open Source Summit Japan 2025, wracam z wizją, która całkowicie zmienia moje spojrzenie na moją profesję. Nie ograniczam się tylko do nowej wiedzy technicznej w kieszeni.

Jednym z punktów, który zrobił na mnie największe wrażenie podczas całego wydarzenia, był szeroki zakres zasięgu oprogramowania open source (OSS) . Fakt, że moc open source cieszy się zaufaniem nawet w najważniejszych i najbardziej zaawansowanych technologicznie projektach ludzkości, takich jak Międzynarodowa Stacja Kosmiczna (ISS) , a nie tylko w witrynach internetowych czy aplikacjach mobilnych, po raz kolejny uświadomił mi odpowiedzialność i potencjał naszej pracy.

Najbardziej niezapomnianym momentem szczytu było dla mnie wysłuchanie na żywo Linusa Torvaldsa, jednego z architektów współczesnego świata oprogramowania i twórcy Linuksa oraz Gita. Poznanie jego podejścia do technologii i jego wizji z pierwszej ręki pozwoliło mi zrozumieć ogromną filozofię stojącą za podstawowymi narzędziami, których używamy.

Najważniejsza lekcja, jaką wyniosłem z tego szczytu, brzmiała następująco: świat oprogramowania to bezkresny ocean, otwarty na rozwój w każdej chwili i w ciągłym ruchu. Bycie częścią tego ekosystemu oznacza nie tylko pisanie kodu, ale także ciągłą naukę i wkład w społeczność. Ta dynamika mojego zawodu niesamowicie mnie motywuje. Teraz nadszedł czas, aby kontynuować pracę znacznie bardziej zdecydowanie i szybciej, korzystając z tej inspiracji! 👨‍💻✨

Moja wizyta w Japonii była spełnieniem ciekawości, która po raz pierwszy zakorzeniła się w tętniącej życiem kulturze czytania i dzielenia się wiedzą, promowanej w Galaksiya. Głównym powodem wyboru tego miejsca była chęć zanurzenia się w kulturze i dziedzictwie kulinarnym, które postrzegałem jako fundamentalnie różne – niemal odległe od naszego świata. Chciałem wyjść ze swojej strefy komfortu i doświadczyć, jak to jest być „outsiderem” w krainie tak ogromnego kontrastu, gdzie każdy rytuał i smak zdawał się należeć do innego wymiaru.

Jednak gdy przemierzałem wszystko, od rozległych, rozświetlonych neonami bulwarów Tokio po tradycyjne, ukryte knajpki w wąskich uliczkach, doznałem głębokiego olśnienia. Choć początkowo staranne przygotowanie potraw i stoicka cisza ulic wydawały mi się obce, wkrótce odkryłem pod nimi uniwersalną istotę. Stojąc w cieniu nowoczesnego wieżowca i obserwując kogoś, kto znajduje chwilę spokoju w starożytnej świątyni, uświadomiłem sobie, że wyraz ludzkiej szczerości jest tam taki sam, jak w naszej ojczyźnie. To było mocne przypomnienie, że niezależnie od położenia geograficznego, ludzkość kieruje się tymi samymi fundamentalnymi wartościami: życzliwością, pracą, rodziną i duchem dzielenia się.

Obserwowanie głęboko zakorzenionej kultury szacunku i „niewidzialnej harmonii” stojącej za społeczeństwem działającym z tak niesamowitą precyzją przekształciło moje obserwacje w szerszą lekcję człowieczeństwa. Doświadczanie tej kulturowej głębi w połączeniu z tak wyjątkową wizją pomogło mi zrozumieć, że świat kształtują nie tylko struktury, ale także ludzki duch i dyscyplina. Wracam z tej podróży z niezapomnianym wglądem w to, jak wszyscy stanowimy „jedność”, nawet po drugiej stronie globu – i oczywiście z kilkoma cennymi fotografiami, które oddają duszę miasta.
 

Do zobaczenia na następnym przystanku.

Emre İZMİR

Starszy inżynier DevOps
Wrażenia z Open Source Summit Japan 2025, Tokio.
 

1. Przyszłość sztucznej inteligencji opartej na agentach nie będzie definiowana przez skalę modelu... – Prezentacja Open Source Summit AI_dev Track, 8-10 grudnia 2025 r., Tokio, Japonia. Dostępne na stronie: https://ossjapan2025.sched.com/type/AI_dev

2. Dynamiczne udostępnianie GPU w Kubernetes z komponowalną, rozproszoną infrastrukturą – Jin Hase i Tsubasa Watanabe, Fujitsu Limited. Open Source Summit Japan 2025, ścieżka Cloud & Containers. Dostępne na: https://github.com/CoHDI

3. LLM na autopilocie: Uruchamianie agentów AI na Kubernetes – Annie Talvasto, Waovo/Upbound. Open Source Summit Japan 2025. Dostępne na: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Orkiestracja infrastruktury z Crossplane 2.0 – prezentacja Upbound. Open Source Summit Japan 2025. Dostępne na : https://ossjapan2025.sched.com/event/29FnY

5. Z laboratorium do życia: praktyczna ocena systemów AI – Sharon Dashet i Vincent Caldeira, prezentacja Red Hat, Tokio, Japonia. Dostępne na stronie: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Federacyjne pobieranie wektorów i pobieranie z uwzględnieniem zasad – Hiroki Ito i Shusuke Takahashi, NTT. Szczyt Otwartego Oprogramowania Japonia 2025, ścieżka AI_dev. Dostępne na: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Wykład inauguracyjny: Co dalej z Agones? Zarządzanie na skalę planety – Ben Huston, starszy główny architekt, Google Cloud. Open Source Summit Japan 2025, ścieżka AI_dev. Dostępne na: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Otwarty standard pakowania, dystrybucji i uruchamiania LLM w środowisku natywnym dla chmury – prezentacja Wenbo Qi i Chenyu Zhang z Ant Group. Open Source Summit Japan 2025. Dostępne na stronie: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Wykład inauguracyjny: Stan Unii – Jim Zemlin, dyrektor wykonawczy The Linux Foundation. Prezentacja Open Source Summit Japan 2025. Dostępne na stronie: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Praktyczne strategie danych syntetycznych dla systemów RAG/Agentic – prezentacja Kevina Noela, Uzabase – Edge US. Szczyt Oprogramowania Oprogramowania w Japonii 2025. Dostępne na: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us