Среща на върха с отворен код в Япония 2025: Трансформация на архитектурата

Докато надпреварата за „по-големи модели“ в света на изкуствения интелект отстъпва място на критично мълчание, бъдещето на сектора беше обобщено в едно-единствено изречение на Open Source Summit Japan 2025:  „Бъдещето на агентния изкуствен интелект няма да се определя от мащаба на модела, а от архитектурата на системата.“ 1 

Тази решителност е най-конкретният индикатор, че фокусът се е изместил от простото обучение на модели към инфраструктурата, която поддържа и мащабира тези модели. Срещата на върха, проведена в Тораномон Хилс, Токио, доказа как гиганти като Google, Fujitsu и Honda са възприели отворения код като „стратегическа основа“, а като DevOps инженер имах възможността да разгледам на място новите норми на пресечната точка на света на изкуствения интелект и инфраструктурата.
Тази статия анализира взаимовръзката между световете на изкуствения интелект и инфраструктурата, като се позовава на снимки, които лично направих на събитието, техническите сесии, на които присъствах, и данни, събрани от официалната програма на Фондация Linux.

Техническите дискусии, които се откроиха в програмата на конференцията, и презентациите, които разгледах на място, бяха събрани в следните основни направления по отношение на съвременното управление на инфраструктурата:

A. Системна архитектура и хардуерно разделяне

• Разделяне на хардуера: Както е описано подробно в сесията „Динамично осигуряване на графичен процесор“ на Fujitsu, преминаването отвъд традиционната сървърна структура води до събиране на процесор, графичен процесор и памет в динамичен пул (пул от ресурси) чрез премахването им от физическите корпуси.2 
• Фабрики за изкуствен интелект: Трансформация на центрове за данни в производствени съоръжения, които могат да отговорят на променливите изисквания на работните натоварвания, свързани с изкуствен интелект, вместо на статични сървърни ферми.

Б. Агентски операции

• Автономно управление на инфраструктурата: Както видяхме в демонстрациите на сцената, преходът от структурата на инструменти като Terraform, които „спират в случай на грешка“, към структури, базирани на „Агент“, които могат да анализират грешката и да генерират решение.3 
• Непрекъсната обратна връзка: Непрекъснато наблюдение не само на внедряването на модели с изкуствен интелект, но и на тяхната производителност в реална среда.5 

C. Управление на данните и сигурност

• Федериран векторен достъп: Според архитектурните диаграми, споделени от NTT и други презентатори, структурите, които обработват данни на място в разпределени източници, комбинират резултатите, вместо да ги преместват в централно езеро.6 
• Политика като код: Динамично вземане на решения за достъп до данни в момента на заявка от енджини като OPA (Open Policy Agent). 6 

Г. Критични и специални натоварвания

• Оркестрация на игрови сървъри: Както е показано в презентацията на Агонес на екипа на Google Open Source, управлението на сървъри за игри със състояние в глобален мащаб на Kubernetes.7 
• Космически Linux: Управление на роботизирани ръце на МКС с помощта на софтуер с отворен код, представено в презентацията на GITAI.8 

A. Системна архитектура и хардуерно разделяне

Освобождаване на хардуер: CoHDI

Една от най-впечатляващите технически сесии на конференцията беше речта, озаглавена „Динамично осигуряване на графичен процесор в Kubernetes“ представено от Джин Хасе и Цубаса Ватанабе от екипа на Fujitsu. Архитектурната диаграма, показана на сцената, обясняваше CoHDI (Съставима дезагрегирана инфраструктура) проект, както следва:

• Дезагрегиран пул от ресурси: Процесорът, графичният процесор, паметта и мрежовите карти се изваждат от физическите сървърни корпуси и се събират в общ пул.
• PCIe/CXL комутаторна материя: Тези компоненти са свързани помежду си чрез високоскоростни превключватели.
• Интегриране на Kubernetes: Както се вижда на диаграмата, Kubernetes изисква хардуер, сякаш създава Pod, и системата незабавно сглобява този хардуер, за да създаде сървъри „Composed Baremetal“.2 

Така че защо е така КоИРЧ Важно ли е? Тази архитектура има потенциал да увеличи ефективността на използване на графичния процесор от 30% до 80%.

Оркестрация на инфраструктурата: Crossplane 2.0

Друга важна презентация на събитието показа Кръстосана равнина 2.0 архитектура. Непрекъснатото наблюдение на декларативните дефиниции в Git от контролния цикъл Crossplane и трансформирането им в реални ресурси в AWS, Azure или Google Cloud подкрепи визията за „самолечебна“ инфраструктура. Също така, Кръстосана равнина 2.0 вече можеше да се изпълнява във всички Kubernetes среди, не само за облачни услуги, както в Crossplane v1. Благодарение на технологията, тя позволи на всеки разработчик да инсталира прости технологии без помощ. Това беше впечатляваща презентация по отношение на показването на момента, в който ще стигнат DevOps процесите. 4 

АгентОпс: Това е механизъм за непрекъсната обратна връзка, който има за цел да преодолее разликата в реалността между тях, като обедини етапите на разработване (вътрешен цикъл) и приложение (външен цикъл) на агентите с изкуствен интелект. Тази структура се определя като инженерна дисциплина на платформа за изкуствен интелект, която комбинира офлайн подготвени набори от данни с наблюдения от реалната среда в единна екосистема, което позволява откриването на грешки и включването на данни от реалния свят обратно в тестовите процеси.5 

Човек срещу Агент: В речта си Ани Талвасто твърди, че машините ще останат непълни в DevOps процесите, стига да не разполагат с информацията, която се намира в хората. Например, тя спомена, че системата може да бъде управлявана непълно, когато нямате дори малка кореспонденция от колега. В презентацията си тя подробно спомена, че цялата тази информация трябва първо да се предостави на агентите. 3 

Отворен код в космоса: МКС и роботика

На снимките, направени по време на сесията за критични за безопасността системи, са показани изображения на Международната космическа станция (МКС) и GITAI роботизираната ръка се отразяваше на гигантския екран. Виждането, че Linux се използва в среда, където няма лукс да се правят грешки във вакуума на космоса, беше доказателство за надеждността на отворения код.8 

Унифициран векторен достъп в организациите и OPA: В големите организации данните обикновено се съхраняват в различни отдели или партньорски компании, в различни векторни бази данни. Събирането на тези данни в един център е трудно поради спазване на законовите изисквания, сигурност на данните и права на собственост. Презентацията има за цел да осигури „виртуална интеграция“ без копиране на данните.

• vLLM: Използва се за трансформиране на сложни метаданни от източници на данни в смислени и кратки обобщения на естествен език. Също така играе ролята на високопроизводителен механизъм за извод в процесите на разбиране на потребителски заявки и обработка на резултатите.
• Политически решения: Отговаря за управлението на данните и оторизацията. Когато потребител инициира заявка, OPA проверява по време на изпълнение дали потребителят има разрешение за достъп до този източник на данни.
• Детайли за Милвус: Действа като „семантичен каталог“. Съхранява техническите и бизнес метаданни на източниците на данни във всички организации във векторна форма. Когато постъпи заявка, извършва търсене на първия етап, за да определи коя организация може да разполага със съответните данни.

Тази презентация доказва как може да се изгради сигурна и „интелигентна“ инфраструктура за търсене между организациите, без да се преместват данни на централно място, чрез комбиниране на мащабируемите възможности за търсене на Milvus, езиковата обработка на vLLM и гъвкавите политики за сигурност на OPA.6 

Контекстно инженерство: Лекторът Кевин Ноел твърди, че ерата на просто „писане на подкана и чакане на отговор“ е приключила и вместо това сме навлезли в ерата на контекстното инженерство.

• LLM са без гражданство: Моделите не помнят дори предишното изречение, освен ако не им го напомните.
• Създаване на държава: За да може изкуственият интелект да даде правилния отговор, е необходимо всичко да му бъде представено правилно в този „момент“ (точно навреме). Това е изкуството да се обединят минали разговори, информация от документи и резултати от инструменти.

Презентацията показва, че за успешен отговор с помощта на изкуствен интелект трябва да се комбинират следните части:

• РГП (Съответна информация): Информация, извлечена от вътрешнофирмени документи или бази данни.
• Управление на паметта: Минали предпочитания на потребителя и краткосрочна история на разговорите.
• Външни инструменти: Данни, идващи от API или инструменти за изчисление.
• Системни команди: Основни правила, определящи характера и задачата на изкуствения интелект.

Невъзможно е ръчно да се тества толкова сложна структура (RAG + Памет + Инструменти). Лекторът предлага следното решение:

• Автоматична оценка: Трябва да накараме изкуствения интелект да генерира хиляди двойки „въпрос-отговор“ (синтетични данни), използвайки данните, с които разполагаме.
• Реалистични сценарии: Трябва да измерим устойчивостта на системата, като създадем синтетични потребители, които задават неправилни или непълни въпроси като реални потребители.

Цена и скорост: Можем да оценим успеха на системата (точност, нерелевантност, халюцинации) за минути със синтетични набори от данни, вместо тестове, които биха отнели седмици за хората. 10 

Оркестрация на игрови сървъри (Agones): В слайда, озаглавен „Как работи Агонес“ от екипа на Google Open Source, блок-схема беше споделена в инфраструктурата на A.R.C. Raiders игра. На тази диаграма ясно се вижда, че след подбор на играчи, играчите са били разпределени в подове, наречени „Agones Game Server“, и тези сървъри са били управлявани със стратегия за „бинпакинг“ (компресия) в глобален мащаб. Това е позволило на разработчиците да отделят повече време за разработване на игри, без да мислят за инфраструктурата. Това също доказва колко важна роля играе Kubernetes като отворен код в гейм индустрията.7 

Скорост в разпределението на модела: Презентацията показа, че моделите вече се съхраняват в OCI съвместими регистри, като Docker изображения, и се свързват директно (монтират) към Pod-а като диск, благодарение на... Модел CSI драйверТова елиминира времето за копиране на гигабайти данни. За тези операции се използва OCI регистърът на Harbor.8 

Производителност на извода: Според бележките и визуалните материали, които взех от сесията vLLM, технологията PagedAttention беше ключът към производителността. Тази технология управлява паметта на графичния процесор (GPU) с логиката на виртуалната памет в операционните системи, преодолявайки пречката „Кеш ключ-стойност“ и умножавайки пропускателната способност. В презентацията се споменава също, че DeepSpeed, разработен от Microsoft, увеличава ефективността на графичния процесор с 4-6 пъти, осигурявайки висока производителност дори на стар хардуер. В презентацията се подчертава, че броят на произведените токени на такса се увеличава благодарение на това. 9 

Заключение: Напускайки Open Source Summit Japan 2025, се връщам с визия, която напълно променя перспективата ми за професията ми, не само с нови технически знания в джоба ми.

Едно от нещата, които ме впечатлиха най-много по време на събитието, беше широтата на покритието на софтуер с отворен код (OSS)Днес фактът, че силата на отворения код се ползва с доверие дори в най-критичните и напреднали технологични проекти на човечеството, като например Международна космическа станция (МКС), не само в уебсайтове или мобилни приложения, ми напомни за пореден път за отговорността и потенциала на работата, която вършим.

Най-незабравимият момент от срещата на върха за мен беше да слушам на живо Линус Торвалдс, един от архитектите на съвременния софтуерен свят и създател на Linux и Git. Чуването на неговия подход към технологиите и неговата визия от първа ръка ми позволи да разбера огромната философия зад основните инструменти, които използваме.

Най-големият урок, който научих от тази среща на върха, беше следният: Светът на софтуера е безкраен океан, отворен за разработка във всеки един момент и постоянно в движение. Да бъдеш част от тази екосистема означава не само да пишеш код, но и постоянно да се учиш и да допринасяш за общността. Тази динамика на моята професия ме мотивира невероятно. Сега е време да продължа работата си много по-решително и бързо с това вдъхновение! 👨‍💻✨

Посещението ми в Япония беше осъзнаването на любопитство, което за първи път се вкорени чрез жизнената култура на четене и споделяне на знания, насърчавана в „Галаксия“. Основната ми мотивация да избера тази дестинация беше да се потопя в култура и кулинарно наследство, които възприемах като коренно различни – почти като отделен свят – от нашите. Исках да изляза от зоната си на комфорт и да изпитам какво е да си „аутсайдер“ в страна на толкова огромни контрасти, където всеки ритуал и вкус сякаш принадлежаха на различно измерение.

Въпреки това, докато се ориентирах по всичко - от огромните, осветени с неонови светлини булеварди на Токио до традиционните, скрити заведения за хранене в тесни улички, изпитах дълбоко осъзнаване. Докато щателното представяне на храната и стоическата тишина на улиците първоначално ми се струваха чужди, скоро открих универсална същност под тази повърхност. Застанал в сянката на модерен небостъргач и наблюдавайки как някой намира момент на мир в древен храм, осъзнах, че изразът на човешката искреност е същият там, както и в нашата собствена родина. Това беше силно напомняне, че независимо от географията, човечеството се обединява около едни и същи фундаментални ценности: доброта, труд, семейство и дух на споделяне.

Ставайки свидетел на дълбоко вкоренената култура на уважение и „невидимата хармония“ зад едно общество, което функционира с такава невероятна прецизност, превърна моите наблюдения в по-широк урок за човечеството. Преживяването на тази културна дълбочина, наред с такава уникална визия, ми помогна да разбера, че светът е оформен не само от структури, но и от човешки дух и дисциплина. Връщам се от това пътешествие с незабравимо прозрение за това как всички сме „едно“ дори от другата страна на земното кълбо – и, разбира се, с няколко ценни фотографии, които улавят душата на града.
 

Ще се видим на следващата ни спирка.

Емре ИЗМИР

Старши DevOps инженер
Впечатления от срещата на върха за отворен код в Япония 2025, Токио.
 

1. Бъдещето на агентния ИИ няма да бъде определено от мащаба на модела... - Презентация на Open Source Summit AI_dev Track, 8-10 декември 2025 г., Токио, Япония. Достъпно на: https://ossjapan2025.sched.com/type/AI_dev

2. Динамично осигуряване на графични процесори в Kubernetes с композируема дезагрегирана инфраструктура - Джин Хасе и Цубаса Ватанабе, Fujitsu Limited. Среща на върха за отворен код в Япония 2025, облачни услуги и контейнери. Достъпно на: https://github.com/CoHDI

3. LLM на автопилот: Работа с AI агенти в Kubernetes - Ани Талвасто, Waovo/Upbound. Среща на върха с отворен код в Япония 2025. Достъпно на: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Оркестрация на инфраструктурата с Crossplane 2.0 - Презентация „Upbound“. Среща на върха с отворен код в Япония 2025. Достъпно на:(https://ossjapan2025.sched.com/event/29FnY)

5. От лаборатория към живот: Практическа оценка на система с изкуствен интелект - Шарън Дашет и Винсент Калдейра, презентация на Red Hat, Токио, Япония. Достъпно на: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Федерирано извличане на векторни данни и извличане, съобразено с политиките - Хироки Ито и Шусуке Такахаши, NTT. Среща на върха за отворен код в Япония 2025, AI_dev Track. Достъпно на: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Основна тема: Какво следва за Агонес? Управление в планетарен мащаб - Бен Хюстън, старши главен архитект, Google Cloud. Среща на върха за отворен код в Япония 2025, AI_dev Track. Достъпно на: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Отворен стандарт за пакетиране, разпространение и изпълнение на LLM в облачна среда - Уенбо Ци и Ченю Джанг, презентация на Ant Group. Среща на върха за отворен код в Япония, 2025 г. Достъпно на: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Основна реч: Състоянието на Съюза - Джим Землин, изпълнителен директор, Фондация Linux. Презентация. Среща на върха за отворен код в Япония, 2025 г. Достъпно на: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Практически стратегии за синтетични данни за RAG/Agentic системи - Кевин Ноел, Uzabase - Презентация на Edge US. Среща на върха за отворен код в Япония 2025. Достъпно на: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us