Open Source Summit Japan 2025: Arkkitehtuurin muutos

Vaikka tekoälymaailman kilpailu "suuremmista malleista" onkin vaipumassa kriittiseen hiljaisuuteen, alan tulevaisuus kiteytettiin yhteen lauseeseen Open Source Summit Japan 2025 -tapahtumassa:  "Agenttisen tekoälyn tulevaisuutta ei määritä mallin mittakaava, vaan järjestelmäarkkitehtuuri." 1 

Tämä päättäväisyys on konkreettisin osoitus siitä, että painopiste on siirtynyt pelkästä mallien kouluttamisesta mallien ylläpitävään ja skaalaavaan infrastruktuuriin. Toranomon Hillsissä Tokiossa pidetty huippukokous osoitti, kuinka jättiläiset, kuten Google, Fujitsu ja Honda, ovat ottaneet avoimen lähdekoodin käyttöön "strategisena perustana", ja DevOps-insinöörinä minulla oli tilaisuus tarkastella uusia normeja tekoälyn ja infrastruktuurimaailman yhtymäkohdassa paikan päällä.
Tämä artikkeli analysoi tekoälyn ja infrastruktuurin maailmojen välistä yhteyttä hyödyntäen tapahtumassa henkilökohtaisesti ottamiani valokuvia, osallistumiani teknisiä sessioita ja Linux Foundationin virallisesta ohjelmasta koottua dataa.

Konferenssiohjelmassa ja paikan päällä tarkastelemissani esityksissä esiin nousseet tekniset keskustelut koottiin seuraaviin pääakseleisiin modernin infrastruktuurin hallinnan näkökulmasta:

A. Järjestelmäarkkitehtuuri ja laitteiston erittely

• Laitteiston erittely: Kuten Fujitsun "Dynamic GPU Provisioning" -istunnossa yksityiskohtaisesti kuvataan, perinteisestä palvelinrakenteesta siirrytään keräämällä suoritin, näytönohjain ja muisti dynaamiseen resurssipooliin poistamalla ne fyysisistä koteloista.2 
• Tekoälytehtaat: Datakeskusten muuttaminen tuotantolaitoksiksi, jotka pystyvät vastaamaan tekoälyn työkuormien muuttuviin vaatimuksiin staattisten palvelinfarmien sijaan.

B. Agenttioperaatiot

• Autonominen infrastruktuurinhallinta: Kuten näimme lavalla pidetyissä demoissa, siirtyminen Terraformin kaltaisten työkalujen rakenteesta, jotka "pysäyttävät toiminnan virheen sattuessa", "agenttipohjaisiin rakenteisiin, jotka voivat analysoida virheen ja tuottaa ratkaisun.3 
• Jatkuva palautesilmukka: Jatkuva seuranta paitsi tekoälymallien käyttöönotosta myös niiden suorituskyvystä reaaliympäristössä.5 

C. Tiedonhallinta ja -turvallisuus

• Liittyvä vektorikäyttö: NTT:n ja muiden esitysten esittämien arkkitehtuurikaavioiden mukaan hajautetuissa lähteissä paikan päällä dataa käsittelevät rakenteet yhdistävät tulokset sen sijaan, että ne siirtäisivät ne keskitettyyn järveen.6 
• Käytäntö koodina: Dynaaminen tiedonsaantipäätösten tekeminen kyselyhetkellä moottoreiden, kuten OPA:n (Open Policy Agent), avulla. 6 

D. Kriittiset ja erityiset työkuormat

• Pelipalvelimen orkestrointi: Kuten Google Open Source -tiimin Agones-esityksessä esitettiin, tilallisten pelipalvelimien hallinta globaalissa mittakaavassa Kubernetesissa.7 
• Avaruusluokan Linux: Robottikäsivarsien hallinta ISS:llä avoimen lähdekoodin ohjelmistolla, esillä GITAI:n esityksessä.8 

A. Järjestelmäarkkitehtuuri ja laitteiston erittely

Laitteiston vapautus: CoHDI

Yksi konferenssin huomiota herättävimmistä teknisistä sessioista oli puheenvuoro nimeltä "Dynaaminen GPU-provisiointi Kubernetesissa" esittelivät Jin Hase ja Tsubasa Watanabe Fujitsun tiimistä. Lavalla näytetty arkkitehtuurikaavio selitti CoHDI (kompostoitava jaoteltu infrastruktuuri) projekti seuraavasti:

• Eritelty resurssipooli: CPU, GPU, muisti ja verkkokortit irrotetaan fyysisistä palvelinkoteloista ja kerätään yhteiseen pooliin.
• PCIe/CXL-kytkinverkko: Nämä komponentit on kytketty toisiinsa suurnopeuskytkimien kautta.
• Kubernetes-integraatio: Kuten kaaviosta näkyy, Kubernetes pyytää laitteistoa ikään kuin luoisi Podin, ja järjestelmä kokoaa tämän laitteiston välittömästi luodakseen "Composed Baremetal" -palvelimia.2 

Joten miksi on CoHDI tärkeää? Tällä arkkitehtuurilla on potentiaalia lisätä näytönohjaimen käyttötehokkuutta 30 prosentista 80 prosenttiin.

Infrastruktuurin orkestrointi: Crossplane 2.0

Toinen tärkeä esitys tilaisuudessa osoitti, että Ristitaso 2.0 arkkitehtuuri. Gitin deklaratiivisten määritelmien jatkuva valvonta Crossplane-ohjaussilmukan avulla ja niiden muuntaminen todellisiksi resursseiksi AWS:ssä, Azuressa tai Google Cloudissa tuki "itseään korjaavan" infrastruktuurin visiota. Myös Ristitaso 2.0 voitiin nyt ajaa kaikissa Kubernetes-ympäristöissä, ei vain pilvipalveluissa, kuten Crossplane v1:ssä. Teknologian ansiosta jokainen kehittäjä pystyi asentamaan yksinkertaisia ​​teknologioita ilman apua. Se oli vaikuttava esitys DevOps-prosessien tulevaisuudennäkymän osoittamiseksi. 4 

AgentOps: Se on jatkuvan palautteen moottori, jonka tavoitteena on kuroa umpeen tekoälyagenttien välistä todellisuuskuilua yhdistämällä tekoälyagenttien kehitysvaiheen (sisempi silmukka) ja sovellusvaiheen (ulompi silmukka). Tämä rakenne määritellään tekoälyalustojen suunnittelualaksi, joka yhdistää offline-tilassa valmisteltuja datajoukkoja reaalimaailman havaintoihin yhdessä ekosysteemissä, mikä mahdollistaa virheiden havaitsemisen ja reaalimaailman datan sisällyttämisen takaisin testausprosesseihin.5 

Ihminen vs. agentti: Annie Talvasto väitti puheenvuorossaan, että koneet pysyvät DevOps-prosesseissa epätäydellisinä niin kauan kuin niillä ei ole ihmisillä olevaa tietoa. Hän mainitsi esimerkiksi, että järjestelmää voidaan hallita epätäydellisesti, jos kollegalta ei tule pientäkään epätarkkaa kirjeenvaihtoa. Hän mainitsi esityksessään yksityiskohtaisesti, että kaikki tämä tieto tulisi antaa ensin agenteille. 3 

Avoin lähdekoodi avaruudessa: ISS ja robotiikka

Turvallisuuskriittisten järjestelmien istunnossa otetuissa kuvissa on kuvia kansainvälisestä avaruusasemasta (ISS) ja GITAI robottikäsivarret heijastuivat jättimäisellä näytöllä. Linuxin käyttö ympäristössä, jossa ei ole varaa tehdä virheitä avaruuden tyhjiössä, oli todiste avoimen lähdekoodin luotettavuudesta.8 

Yhtenäinen vektorikäyttöoikeus organisaatioiden ja OPA:n välillä: Suurissa organisaatioissa dataa säilytetään yleensä eri osastoilla tai yhteistyökumppaniyrityksissä eri vektoritietokannoissa. Datan kerääminen yhteen keskukseen on vaikeaa lainsäädännön noudattamisen, tietoturvan ja omistusoikeuksien vuoksi. Esityksen tavoitteena on tarjota "virtuaalinen integraatio" ilman datan kopiointia.

• vLLM: Käytetään muuntamaan monimutkaisia ​​metatietoja tietolähteistä mielekkäiksi ja lyhyiksi luonnollisen kielen yhteenvedoiksi. Se toimii myös tehokkaana päättelymoottorina käyttäjien kyselyiden ymmärtämisen ja tulosten käsittelyn prosesseissa.
• Käytännön päätökset: Vastaa datan hallinnasta ja valtuutuksesta. Kun käyttäjä aloittaa kyselyn, OPA tarkistaa suorituksen aikana, onko käyttäjällä oikeus käyttää kyseistä tietolähdettä.
• Milvus-tiedot: Toimii "semanttisena luettelona". Se tallentaa kaikkien organisaatioiden tietolähteiden tekniset ja liiketoimintaan liittyvät metatiedot vektorimuodossa. Kun kysely tulee, se suorittaa ensimmäisen vaiheen haun selvittääkseen, millä organisaatiolla saattaisi olla asiaankuuluvaa dataa.

Tämä esitys osoittaa, kuinka organisaatioiden välille voidaan luoda turvallinen ja "älykäs" hakuinfrastruktuuri siirtämättä tietoja keskitettyyn sijaintiin yhdistämällä Milvusin skaalautuva hakuominaisuus, vLLM:n kielenkäsittelyteho ja OPA:n joustavat tietoturvakäytännöt.6 

Kontekstisuunnittelu: Puhuja Kevin Noel väittää, että aikakausi, jolloin vain "kirjoitettiin kehote ja odotettiin vastausta", on ohi ja sen sijaan olemme siirtyneet kontekstisuunnittelun aikakauteen.

• LLM-tutkinnot ovat valtiottomia: Mallit eivät muista edes edellistä lausetta, ellet muistuta heitä siitä.
• Valtion luominen: Jotta tekoäly antaisi oikean vastauksen, sinun on esitettävä kaikki sille oikein juuri sillä "hetkellä" (just-in-time). Tämä on taitoa yhdistää aiempia keskusteluja, dokumenttien tietoja ja työkalujen tuotoksia.

Esitys osoittaa, että tekoälyyn reagoinnin onnistuminen edellyttää seuraavien osien yhdistämistä:

• RAG (asiaankuuluvat tiedot): Tiedot on poimittu yrityksen sisäisistä asiakirjoista tai tietokannoista.
• Muistinhallinta: Käyttäjän aiemmat asetukset ja lyhyen aikavälin keskusteluhistoria.
• Ulkoiset työkalut: API-rajapinnoista tai laskentatyökaluista tuleva data.
• Järjestelmäkomennot: Tekoälyn luonnetta ja tehtävää määrittävät pääsäännöt.

Näin monimutkaista rakennetta (RAG + muisti + työkalut) on mahdotonta testata manuaalisesti. Kaiutin tarjoaa seuraavan ratkaisun:

• Automaattinen arviointi: Meidän on saatava tekoäly tuottamaan tuhansia "kysymys-vastaus"-pareja (synteettistä dataa) käyttämällä käytettävissämme olevaa dataa.
• Realistiset skenaariot: Meidän on mitattava järjestelmän kestävyyttä luomalla synteettisiä käyttäjiä, jotka esittävät virheellisiä tai puutteellisia kysymyksiä aivan kuten oikeat käyttäjät.

Kustannukset ja nopeus: Voimme pisteyttää järjestelmän onnistumisen (tarkkuus, merkityksettömyys, hallusinaatiot) minuuteissa synteettisillä datajoukoilla sen sijaan, että käyttäisimme testejä, jotka ihmisille kestäisivät viikkoja. 10 

Pelipalvelimen orkestrointi (Agones): Diassa, jonka otsikko on "Miten Agones toimii" Googlen avoimen lähdekoodin tiimi jakoi vuokaavion infrastruktuurin kautta A.R.C. Raiders peli. Tässä kaaviossa näkyi selvästi, että parinmuodostuksen jälkeen pelaajat jaettiin "Agones Game Server" -nimisiksi podeiksi, ja näitä palvelimia hallinnoitiin globaalilla "binpacking"-strategialla (pakkausstrategialla). Tämä mahdollisti kehittäjille enemmän aikaa pelinkehitykseen ajattelematta infrastruktuuria. Se osoittaa myös, kuinka tärkeä rooli Kubernetesilla on avoimena lähdekoodina peliteollisuudessa.7 

Nopeus mallijakaumassa: Esityksessä osoitettiin, että mallit säilytetään nyt OCI-yhteensopivissa rekistereissä, kuten Docker-levykuvissa, ja ne on kytketty (asennettu) suoraan Podiin kuin levylle, kiitos ... Malli CSI-ajuriTämä poistaa gigatavujen datan kopioimiseen kuluvan ajan. Näihin toimintoihin käytetään Harborin OCI-rekisteriä.8 

Päättelykyky: vLLM-istunnosta ottamieni muistiinpanojen ja visuaalien mukaan PagedAttention-teknologia oli suorituskyvyn avain. Tämä teknologia hallitsee GPU-muistia käyttöjärjestelmien virtuaalimuistilogiikan avulla, voittaen "Key-Value Cache" -pullonkaulan ja moninkertaistaen läpimenon. Esityksessä mainitaan myös, että Microsoftin kehittämä DeepSpeed ​​lisää GPU:n tehokkuutta 4-6-kertaisesti ja tarjoaa korkean suorituskyvyn jopa vanhoilla laitteistoilla. Esityksessä korostetaan, että tuotettujen tokeneiden määrä maksua kohden kasvaa tämän ansiosta. 9 

Johtopäätös: Lähtöni jälkeen Open Source Summit Japan 2025 -tapahtumasta palasin vision kanssa, joka muutti täysin näkökulmani ammattiini, eikä minulla ollut vain uutta teknistä tietämystä taskussani.

Yksi tapahtuman suurimmista vaikutuksista oli sen kattavuusalueen laajuus. Avoimen lähdekoodin ohjelmistot (OSS)Nykyään se, että avoimen lähdekoodin voimaan luotetaan jopa ihmiskunnan kriittisimmissä ja edistyneimmissä teknologiaprojekteissa, kuten Kansainvälinen avaruusasema (ISS), ei vain verkkosivuilla tai mobiilisovelluksissa, muistutti minua jälleen kerran tekemämme työn vastuusta ja potentiaalista.

Huippukokouksen unohtumattomin hetki minulle oli kuunnella livenä Linus Torvaldsia, yhtä modernin ohjelmistomaailman arkkitehdeistä ja Linuxin ja Gitin luojaa. Hänen teknologialähestymistapansa ja visionsa kuuleminen omin silmin auttoi minua ymmärtämään käyttämiemme perustyökalujen taustalla olevan valtavan filosofian.

Suurin oppini tästä huippukokouksesta oli tämä: Ohjelmistomaailma on loputon valtameri, avoinna kehitykselle milloin tahansa ja jatkuvassa liikkeessä. Tämän ekosysteemin osana oleminen tarkoittaa paitsi koodin kirjoittamista myös jatkuvaa oppimista ja yhteisöön osallistumista. Tämä ammatini dynaamisuus motivoi minua uskomattoman paljon. Nyt on aika jatkaa työtäni paljon määrätietoisemmin ja nopeammin tämän inspiraation avulla! 👨‍💻✨

Vierailuni Japaniin oli uteliaisuuden oivallus, joka juurtui alun perin Galaksiyassa kannustetun vilkkaan lukemisen ja tiedon jakamisen kulttuurin kautta. Ensisijainen motivaationi tämän kohteen valitsemiseen oli uppoutua kulttuuriin ja kulinaariseen perintöön, jonka koin olevan perustavanlaatuisesti erilainen – lähes täysin eri maailma – kuin omamme. Halusin astua ulos mukavuusalueeltani ja kokea, miltä tuntuu olla "ulkopuolinen" niin valtavien kontrastien maassa, jossa jokainen rituaali ja maku tuntui kuuluvan eri ulottuvuuteen.

Kuitenkin, kun suunnistan kaikkialle Tokion valtavilta, neonvaloilla valaistuilta bulevardeilta perinteisiin, syrjäisiin ruokapaikkoihin kapeilla kujilla, koin syvällisen oivalluksen. Vaikka ruoan huolellinen esillepano ja katujen stoalainen hiljaisuus tuntuivat aluksi vierailta, löysin pian pinnan alta universaalin olemuksen. Seisoessani modernin pilvenpiirtäjän varjossa ja katsellessani jonkun löytävän hetken rauhaa muinaisessa pyhäkössä, tajusin, että ihmisen vilpittömyyden ilmaisu on siellä sama kuin omassa kotimaassamme. Se oli voimakas muistutus siitä, että maantieteestä riippumatta ihmiskunta yhdistyy samoihin perusarvoihin: ystävällisyyteen, työhön, perheeseen ja jakamisen henkeen.

Syvälle juurtuneen kunnioituksen kulttuurin ja uskomattoman tarkasti toimivan yhteiskunnan taustalla olevan "näkymättömän harmonian" todistaminen muutti havaintoni laajemmaksi oppitunniksi ihmisyydestä. Tämän kulttuurisen syvyyden kokeminen ainutlaatuisen näkemyksen rinnalla auttoi minua ymmärtämään, että maailmaa eivät muokkaa pelkästään rakenteet, vaan myös ihmisen henki ja kuri. Palaan tältä matkalta unohtumattoman oivalluksen kera siitä, miten me kaikki olemme "yhtä" jopa maapallon toisella puolella – ja tietysti muutaman rakkaan valokuvan kanssa, jotka vangitsevat kaupungin sielun.
 

Nähdään seuraavalla pysähdyspaikalla.

Emre İZMİR

Vanhempi DevOps-insinööri
Avoimen lähdekoodin huippukokouksen Japani 2025 vaikutelmia, Tokio.
 

1. Agenttisen tekoälyn tulevaisuutta ei määritä mallin mittakaava... - Open Source Summit AI_dev Track -esitys, 8.-10. joulukuuta 2025, Tokio, Japani. Saatavilla osoitteesta: https://ossjapan2025.sched.com/type/AI_dev

2. Dynaaminen GPU-provisiointi Kubernetesissa koottavan ja eriytetyn infrastruktuurin avulla - Jin Hase ja Tsubasa Watanabe, Fujitsu Limited. Open Source Summit Japan 2025, pilvi- ja konttipalveluiden osio. Saatavilla osoitteesta: https://github.com/CoHDI

3. LLM:t autopilotilla: tekoälyagenttien suorittaminen Kubernetesissa - Annie Talvasto, Waovo/Upbound. Open Source Summit Japan 2025. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Infrastruktuurin orkestrointi Crossplane 2.0:lla - Upbound-esitys. Open Source Summit Japan 2025. Saatavilla osoitteesta:(https://ossjapan2025.sched.com/event/29FnY)

5. Laboratoriosta elämään: Käytännön tekoälyjärjestelmän arviointi - Sharon Dashet ja Vincent Caldeira, Red Hat Presentation, Tokio, Japani. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Federated Vector Retrieval & Policy-Aware Retrieval - Hiroki Ito ja Shusuke Takahashi, NTT. Open Source Summit Japan 2025, tekoälyn kehitysrata. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Keynote: Mitä seuraavaksi Agonesille? Planeettatason hallinto - Ben Huston, vanhempi pääarkkitehti, Google Cloud. Open Source Summit Japan 2025, tekoälyn kehityslinja. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Avoin standardi LLM-ohjelmien pakkaamiseen, jakeluun ja suorittamiseen pilvinatiivissa ympäristössä - Wenbo Qin ja Chenyu Zhangin esitys, Ant Group. Open Source Summit Japan 2025. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Avauspuheenvuoro: Unionin tila - Jim Zemlin, toiminnanjohtaja, Linux Foundationin esitys. Open Source Summit Japan 2025. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Käytännön synteettisen datan strategiat RAG/agenttisille järjestelmille - Kevin Noel, Uzabase - Edge US -esitys. Open Source Summit Japan 2025. Saatavilla osoitteesta: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us