Open Source Summit Japan 2025: Трансформация архитектуры

В то время как гонка за «более крупными моделями» в мире искусственного интеллекта уступает место критическому молчанию, будущее сектора было кратко сформулировано в одном предложении на Open Source Summit Japan 2025:  «Будущее агентного ИИ будет определяться не масштабом модели, а архитектурой системы». 1 

Это заключение является наиболее конкретным показателем того, что акцент сместился с простого обучения моделей на инфраструктуру, которая поддерживает и масштабирует эти модели. Саммит, состоявшийся в Toranomon Hills в Токио, показал, как такие гиганты, как Google, Fujitsu и Honda, приняли открытый исходный код в качестве «стратегической основы», и, будучи DevOps-инженером, я имел возможность на месте изучить новые нормы на стыке мира искусственного интеллекта и инфраструктуры.
В этой статье анализируется взаимосвязь между мирами искусственного интеллекта и инфраструктуры, опираясь на фотографии, сделанные мной лично на мероприятии, материалы технических сессий, которые я посетил, и данные, собранные в рамках официальной программы Linux Foundation.

Наиболее интересные технические дискуссии в программе конференции и презентации, которые я просмотрел на месте, были сгруппированы по следующим основным направлениям в контексте современного управления инфраструктурой:

А. Архитектура системы и дезагрегация аппаратного обеспечения

• Дезагрегация аппаратного обеспечения: Как подробно описано в сессии Fujitsu «Динамическое выделение ресурсов GPU», вместо традиционной серверной структуры предлагается объединить процессор, графический процессор и память в динамический пул (пул ресурсов), удалив их из физических корпусов.2 
• Фабрики искусственного интеллекта: Преобразование центров обработки данных в производственные мощности, способные реагировать на изменяющиеся потребности в рабочих нагрузках искусственного интеллекта, вместо стационарных серверных ферм.

Б. Агентские операции

• Автономное управление инфраструктурой: Как мы видели на демонстрациях на сцене, произошел переход от структуры таких инструментов, как Terraform, которые «останавливаются в случае ошибки», к структурам на основе «агентов», которые могут анализировать ошибку и предлагать решение.3 
• Непрерывный цикл обратной связи: Непрерывный мониторинг не только развертывания моделей искусственного интеллекта, но и их производительности в реальных условиях.5 

C. Управление данными и безопасность

• Федеративный векторный доступ: Согласно архитектурным схемам, представленным NTT и другими докладчиками, структуры, обрабатывающие данные на месте в распределенных источниках, объединяют результаты вместо того, чтобы перемещать их в центральное хранилище.6 
• Политика как код: Динамическое принятие решений о доступе к данным в момент запроса такими механизмами, как OPA (Open Policy Agent). 6 

D. Критические и специальные рабочие нагрузки

• Оркестрация игровых серверов: Как показано в презентации команды Google Open Source на Agones, осуществляется управление серверами игр с сохранением состояния в глобальном масштабе на Kubernetes.7 
• Космический Linux: Управление роботизированными манипуляторами на МКС с помощью программного обеспечения с открытым исходным кодом, представленное в презентации GITAI.8 

А. Архитектура системы и дезагрегация аппаратного обеспечения

Освобождение аппаратного обеспечения: CoHDI

Одной из самых ярких технических сессий конференции стала речь под названием "Динамическое выделение ресурсов GPU в Kubernetes" Презентацию провели Джин Хасе и Цубаса Ватанабэ из команды Fujitsu. Показанная на сцене архитектурная схема объяснила... CoHDI (Композируемая дезагрегированная инфраструктура) Проект выглядит следующим образом:

• Дезагрегированный пул ресурсов: Процессор, графический процессор, оперативная память и сетевые карты извлекаются из физических корпусов серверов и объединяются в общий пул.
• Коммутационная матрица PCIe/CXL: Эти компоненты соединены друг с другом посредством высокоскоростных переключателей.
• Интеграция с Kubernetes: Как показано на диаграмме, Kubernetes запрашивает оборудование, как если бы создавал Pod, и система мгновенно собирает это оборудование для создания "композитных серверов без операционной системы".2 

Так почему же CoHDI Важно ли это? Эта архитектура потенциально может повысить эффективность использования графического процессора с 30% до 80%.

Оркестрация инфраструктуры: Crossplane 2.0

Еще одна важная презентация на мероприятии показала следующее: Crossplane 2.0 архитектура. Непрерывный мониторинг декларативных определений в Git с помощью цикла управления Crossplane и их преобразование в реальные ресурсы в AWS, Azure или Google Cloud поддерживали концепцию «самовосстанавливающейся» инфраструктуры. Кроме того, Crossplane 2.0 Теперь его можно запускать во всех средах Kubernetes, а не только для облачных сервисов, как в Crossplane v1. Благодаря этой технологии каждый разработчик смог установить простые технологии без посторонней помощи. Это была впечатляющая презентация, демонстрирующая будущую роль процессов DevOps. 4 

AgentOps: Это система непрерывной обратной связи, цель которой — сократить разрыв между реальностью и тестированием, объединив этапы разработки (внутренний цикл) и применения (внешний цикл) агентов искусственного интеллекта. Эта структура определяется как дисциплина проектирования платформ ИИ, которая объединяет подготовленные в автономном режиме наборы данных с наблюдениями из реальной среды в единой экосистеме, позволяя обнаруживать ошибки и включать данные из реального мира обратно в процессы тестирования.5 

Человек против агента: В своем выступлении Энни Талвасто утверждала, что машины останутся неполноценными в процессах DevOps до тех пор, пока не будут обладать информацией, доступной людям. Например, она упомянула, что система может управляться неполноценно, если отсутствует даже небольшая переписка в Slack с коллегой. В своей презентации она подробно отметила, что вся эта информация должна быть сначала предоставлена ​​агентам. 3 

Открытый исходный код в космосе: МКС и робототехника

На фотографиях, сделанных на сессии, посвященной системам, критически важным для безопасности, запечатлены Международная космическая станция (МКС) и ГИТАИ На гигантском экране отражались роботизированные манипуляторы. Тот факт, что Linux используется в среде, где нет места ошибкам в вакууме космоса, стал доказательством надежности открытого исходного кода.8 

Единый векторный доступ в различных организациях и OPA: В крупных организациях данные обычно хранятся в разных отделах или компаниях-партнерах, в разных векторных базах данных. Сбор этих данных в одном центре затруднен из-за требований законодательства, безопасности данных и прав собственности. Цель презентации — обеспечить «виртуальную интеграцию» без копирования данных.

• вЛЛМ: Используется для преобразования сложных метаданных из источников данных в содержательные и краткие резюме на естественном языке. Также играет роль высокопроизводительного механизма вывода в процессах понимания запросов пользователей и обработки результатов.
• Политические решения: Отвечает за управление данными и авторизацию. Когда пользователь отправляет запрос, OPA проверяет во время выполнения, имеет ли пользователь разрешение на доступ к этому источнику данных.
• Подробная информация о Milvus: Выступает в роли «семантического каталога». Он хранит технические и бизнес-метаданные источников данных во всех организациях в векторном формате. При поступлении запроса выполняет поиск на первом этапе, чтобы определить, какая организация может обладать соответствующими данными.

В этой презентации демонстрируется, как можно создать безопасную и «умную» инфраструктуру поиска между организациями без перемещения данных в центральное хранилище, объединив масштабируемые возможности поиска Milvus, вычислительные мощности vLLM и гибкие политики безопасности OPA.6 

Контекстная инженерия: Выступающий Кевин Ноэль утверждает, что эпоха простого «написания вопроса и ожидания ответа» закончилась, и вместо этого мы вступили в эпоху контекстного инжиниринга.

• Магистранты, получившие степень магистра права, не имеют гражданства: Модели не помнят даже предыдущее предложение, если им не напомнить.
• Создание государства: Чтобы искусственный интеллект дал правильный ответ, необходимо предоставить ему всю необходимую информацию в нужный момент времени (точно в срок). Это искусство объединения прошлых разговоров, информации из документов и результатов работы инструмента.

В презентации показано, что для успешного ответа искусственного интеллекта необходимо сочетание следующих элементов:

• RAG (Соответствующая информация): Информация получена из внутренних документов или баз данных.
• Управление памятью: Предыдущие предпочтения пользователя и история краткосрочных переписок.
• Внешние инструменты: Данные поступают из API или инструментов для вычислений.
• Системные команды: Основные правила, определяющие характер и задачи искусственного интеллекта.

Протестировать такую ​​сложную структуру (RAG + Memory + Tools) вручную невозможно. Докладчик предлагает следующее решение:

• Автоматическая оценка: Нам необходимо, чтобы искусственный интеллект генерировал тысячи пар «вопрос-ответ» (синтетические данные), используя имеющиеся у нас данные.
• Реалистичные сценарии: Необходимо оценить надежность системы, создав синтетических пользователей, которые задают неверные или неполные вопросы, как реальные пользователи.

Стоимость и скорость: Мы можем оценить успешность системы (точность, нерелевантность, галлюцинация) за считанные минуты, используя синтетические наборы данных, вместо тестов, на которые у людей ушли бы недели. 10 

Оркестрация игровых серверов (Agones): На слайде с заголовком «Как работает Agones» Команда Google Open Source поделилась блок-схемой инфраструктуры. ЭРК Рейдеры игра. На этой диаграмме отчетливо видно, что после подбора игроков, они распределялись по Pod-ам под названием "Agones Game Server", и эти серверы управлялись с помощью стратегии "binpacking" (сжатия) в глобальном масштабе. Это позволило разработчикам уделять больше времени разработке игры, не беспокоясь об инфраструктуре. Это также доказывает, насколько важную роль играет Kubernetes как открытый исходный код в игровой индустрии.7 

Скорость распространения моделей: В презентации было показано, что модели теперь хранятся в OCI-совместимых реестрах, таких как образы Docker, и напрямую подключаются (монтируются) к Pod'у, как диск, благодаря... Модель драйвера CSIЭто позволяет избежать затрат времени на копирование гигабайтов данных. Для этих операций используется реестр OCI от Harbor.8 

Производительность при выводе данных: Согласно моим заметкам и визуальным материалам с сессии vLLM, технология PagedAttention стала ключом к повышению производительности. Эта технология управляет памятью GPU с помощью логики виртуальной памяти в операционных системах, преодолевая узкое место «кэша ключ-значение» и многократно увеличивая пропускную способность. В презентации также упоминается, что технология DeepSpeed, разработанная Microsoft, повышает эффективность GPU в 4-6 раз, обеспечивая высокую производительность даже на старом оборудовании. В презентации подчеркивается, что благодаря этому увеличивается количество токенов, производимых за комиссию. 9 

Вывод: Покинув Open Source Summit Japan 2025, я возвращаюсь с видением, которое полностью меняет мой взгляд на профессию, и не только с новыми техническими знаниями в кармане.

Одним из моментов, который произвел на меня наибольшее впечатление во время мероприятия, была широта зоны покрытия. программное обеспечение с открытым исходным кодом (ОСС)Сегодня тот факт, что сила открытого исходного кода используется даже в самых важных и передовых технологических проектах человечества, таких как… Международная космическая станция (МКС)Это, причем не только на веб-сайтах или в мобильных приложениях, еще раз напомнило мне об ответственности и потенциале той работы, которую мы делаем.

Самым незабываемым моментом саммита для меня стало выступление Линуса Торвальдса, одного из архитекторов современного мира программного обеспечения и создателя Linux и Git. Услышав из первых рук о его подходе к технологиям и его видении, я смог понять огромную философию, лежащую в основе используемых нами базовых инструментов.

Самый важный урок, который я извлек из этого саммита, заключается в следующем: Мир программного обеспечения — это бескрайний океан, открытый для развития в любой момент и постоянно находящийся в движении. Быть частью этой экосистемы означает не только писать код, но и постоянно учиться и вносить свой вклад в сообщество. Эта динамика моей профессии невероятно мотивирует меня. Теперь пришло время продолжить свою работу гораздо более целеустремленно и быстро, вдохновляясь этим! 👨‍💻✨

Моя поездка в Японию стала воплощением любопытства, зародившегося благодаря яркой культуре чтения и обмена знаниями, которую поощряли в Галаксии. Главной мотивацией для выбора этого места было желание погрузиться в культуру и кулинарное наследие, которые, как мне казалось, принципиально отличаются от наших — почти от целого мира. Я хотел выйти из зоны комфорта и почувствовать себя «чужаком» в стране таких огромных контрастов, где каждый ритуал и каждый вкус, казалось, принадлежат к совершенно другому измерению.

Однако, путешествуя по токийским бульварам, залитым неоновым светом, и посещая традиционные, спрятанные в узких переулках закусочные, я испытал глубокое осознание. Хотя тщательная подача блюд и стоическая тишина улиц поначалу казались мне чуждыми, вскоре я обнаружил под этой поверхностью универсальную сущность. Стоя в тени современного небоскреба и наблюдая, как кто-то обретает покой в ​​древнем святилище, я понял, что проявление человеческой искренности там такое же, как и на нашей родине. Это стало мощным напоминанием о том, что независимо от географии, человечество объединяется одними и теми же фундаментальными ценностями: добротой, трудом, семьей и духом взаимопомощи.

Наблюдая за глубоко укоренившейся культурой уважения и «невидимой гармонией», лежащей в основе общества, функционирующего с невероятной точностью, мои наблюдения превратились в более широкий урок о человечестве. Погружение в эту культурную глубину и столь уникальное видение помогли мне понять, что мир формируется не только структурами, но и человеческим духом и дисциплиной. Я возвращаюсь из этой поездки с незабываемым пониманием того, что мы все «едины», даже находясь на другом конце земного шара, — и, конечно же, с несколькими дорогими сердцу фотографиями, запечатлевшими душу города.
 

Увидимся на нашей следующей остановке.

Эмре Измир

Старший инженер DevOps
Впечатления от Open Source Summit Japan 2025, Токио.
 

1. Будущее агентного ИИ не будет определяться масштабом модели... — Презентация в секции AI_dev на Open Source Summit, 8-10 декабря 2025 г., Токио, Япония. Доступно по адресу: https://ossjapan2025.sched.com/type/AI_dev

2. Динамическое выделение графических процессоров в Kubernetes с использованием компонуемой дезагрегированной инфраструктуры. - Джин Хасе и Цубаса Ватанабе, Fujitsu Limited. Open Source Summit Japan 2025, секция «Облачные технологии и контейнеры». Доступно по адресу: https://github.com/CoHDI

3. Автоматизация программ магистратуры: запуск агентов ИИ в Kubernetes - Энни Талвасто, Waovo/Upbound. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Оркестрация инфраструктуры с помощью Crossplane 2.0 — Презентация Upbound. Саммит по открытому исходному коду в Японии 2025. Доступно по адресу: (https://ossjapan2025.sched.com/event/29FnY)

5. От лаборатории к жизни: практическая оценка систем искусственного интеллекта — Презентация Шэрон Дашет и Винсента Кальдейры, Red Hat, Токио, Япония. Доступно по адресу: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Федеративный векторный поиск и поиск с учетом политик — Хироки Ито и Шусуке Такахаши, NTT. Open Source Summit Japan 2025, секция AI_dev. Доступно по адресу: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Основной доклад: Что ждет Agones в будущем? Управление в планетарном масштабе. — Бен Хьюстон, старший главный архитектор Google Cloud. Open Source Summit Japan 2025, секция AI_dev. Доступно по адресу: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Открытый стандарт для упаковки, распространения и запуска магистерских программ в облачной среде. — Презентация Вэньбо Ци и Чэньюй Чжана, Ant Group. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Основной доклад: Положение дел в стране — Презентация Джима Землина, исполнительного директора Linux Foundation. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Практические стратегии синтеза данных для систем RAG/Agentic - Кевин Ноэль, Uzabase - Презентация Edge US. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us