Open Source Summit Japan 2025: Трансформация архитектуры

В то время как гонка за «более крупными моделями» в мире искусственного интеллекта уступает место критическому молчанию, будущее сектора было сформулировано в одной фразе на Open Source Summit Japan 2025: «Будущее агентного ИИ будет определяться не масштабом модели, а архитектурой системы» .¹

Это заключение является наиболее конкретным показателем того, что акцент сместился с простого обучения моделей на инфраструктуру, которая поддерживает и масштабирует эти модели. Саммит, состоявшийся в Toranomon Hills в Токио, показал, как такие гиганты, как Google, Fujitsu и Honda, приняли открытый исходный код в качестве «стратегической основы», и, будучи DevOps-инженером, я имел возможность на месте изучить новые нормы на стыке мира искусственного интеллекта и инфраструктуры.
В этой статье анализируется взаимосвязь между мирами искусственного интеллекта и инфраструктуры, опираясь на фотографии, сделанные мной лично на мероприятии, материалы технических сессий, которые я посетил, и данные, собранные в рамках официальной программы Linux Foundation.

Наиболее интересные технические дискуссии в программе конференции и презентации, которые я просмотрел на месте, были сгруппированы по следующим основным направлениям в контексте современного управления инфраструктурой:

А. Архитектура системы и дезагрегация аппаратного обеспечения

• Дезагрегация аппаратного обеспечения: Как подробно описано в сессии Fujitsu «Динамическое выделение ресурсов GPU», вместо традиционной серверной структуры предлагается объединить процессор, графический процессор и память в динамический пул (пул ресурсов), удалив их из физических корпусов.2 
• Фабрики искусственного интеллекта: Преобразование центров обработки данных в производственные мощности, способные реагировать на изменяющиеся потребности в рабочих нагрузках искусственного интеллекта, вместо стационарных серверных ферм.

Б. Агентские операции

• Автономное управление инфраструктурой: Как мы видели на демонстрациях на сцене, произошел переход от структуры таких инструментов, как Terraform, которые «останавливаются в случае ошибки», к структурам на основе «агентов», которые могут анализировать ошибку и предлагать решение.3 
• Непрерывный цикл обратной связи: Непрерывный мониторинг не только развертывания моделей искусственного интеллекта, но и их производительности в реальных условиях.5 

C. Управление данными и безопасность

• Федеративный векторный доступ: Согласно архитектурным схемам, представленным NTT и другими докладчиками, структуры, обрабатывающие данные на месте в распределенных источниках, объединяют результаты вместо того, чтобы перемещать их в центральное хранилище.6 
• Политика как код: Динамическое принятие решений о доступе к данным в момент запроса такими механизмами, как OPA (Open Policy Agent). 6 

D. Критические и специальные рабочие нагрузки

• Оркестрация игровых серверов: Как показано в презентации команды Google Open Source на Agones, осуществляется управление серверами игр с сохранением состояния в глобальном масштабе на Kubernetes.7 
• Космический Linux: Управление роботизированными манипуляторами на МКС с помощью программного обеспечения с открытым исходным кодом, представленное в презентации GITAI.8 

А. Архитектура системы и дезагрегация аппаратного обеспечения

Освобождение аппаратного обеспечения: CoHDI

Одной из самых ярких технических сессий конференции стала презентация на тему «Динамическое выделение графических процессоров в Kubernetes», представленная Джином Хасе и Цубасой Ватанабе из команды Fujitsu. Архитектурная схема, показанная на сцене, объясняла проект CoHDI (Composable Disaggregated Infrastructure) следующим образом:

• Дезагрегированный пул ресурсов: Процессор, графический процессор, оперативная память и сетевые карты извлекаются из физических корпусов серверов и объединяются в общий пул.
• Коммутационная матрица PCIe/CXL: Эти компоненты соединены друг с другом посредством высокоскоростных переключателей.
• Интеграция с Kubernetes: Как показано на диаграмме, Kubernetes запрашивает оборудование, как если бы создавал Pod, и система мгновенно собирает это оборудование для создания "композитных серверов без операционной системы".2 

Почему же CoHDI так важен? Эта архитектура потенциально может повысить эффективность использования графического процессора с 30% до 80%.

Оркестрация инфраструктуры: Crossplane 2.0

Еще одна важная презентация на мероприятии продемонстрировала архитектуру Crossplane 2.0 . Непрерывный мониторинг декларативных определений в Git с помощью цикла управления Crossplane и их преобразование в реальные ресурсы на AWS, Azure или Google Cloud подтверждали концепцию «самовосстанавливающейся» инфраструктуры. Кроме того, Crossplane 2.0 теперь может работать во всех средах Kubernetes, а не только для облачных сервисов, как в Crossplane v1. Благодаря этой технологии каждый разработчик смог установить простые технологии без посторонней помощи. Это была впечатляющая презентация, демонстрирующая будущую эру процессов DevOps. 4

AgentOps: Это система непрерывной обратной связи, цель которой — сократить разрыв между реальностью и тестированием, объединив этапы разработки (внутренний цикл) и применения (внешний цикл) агентов искусственного интеллекта. Эта структура определяется как дисциплина проектирования платформ ИИ, которая объединяет подготовленные в автономном режиме наборы данных с наблюдениями из реальной среды в единой экосистеме, позволяя обнаруживать ошибки и включать данные из реального мира обратно в процессы тестирования. 5

Человек против агента: Энни Талвасто в своем выступлении утверждала, что машины останутся неполноценными в процессах DevOps до тех пор, пока не будут обладать информацией, доступной людям. Например, она упомянула, что система может управляться неполноценно, если отсутствует даже небольшая переписка в Slack с коллегой. В своей презентации она подробно отметила, что вся эта информация должна быть сначала предоставлена ​​агентам. 3

Открытый исходный код в космосе: МКС и робототехника

На фотографиях, сделанных на сессии, посвященной системам, критически важным для безопасности, на гигантском экране отражались изображения Международной космической станции (МКС) и роботизированной руки GITAI . Тот факт, что Linux используется в среде, где в вакууме космоса недопустимы ошибки, стал доказательством надежности открытого исходного кода. 8

Единый доступ к векторным данным между организациями и OPA: В крупных организациях данные обычно хранятся в разных отделах или компаниях-партнерах, в разных векторных базах данных. Сбор этих данных в одном центре затруднен из-за требований законодательства, безопасности данных и прав собственности. Цель презентации — обеспечить «виртуальную интеграцию» без копирования данных.

• вЛЛМ: Используется для преобразования сложных метаданных из источников данных в содержательные и краткие резюме на естественном языке. Также играет роль высокопроизводительного механизма вывода в процессах понимания запросов пользователей и обработки результатов.
• Политические решения: Отвечает за управление данными и авторизацию. Когда пользователь отправляет запрос, OPA проверяет во время выполнения, имеет ли пользователь разрешение на доступ к этому источнику данных.
• Подробная информация о Milvus: Выступает в роли «семантического каталога». Он хранит технические и бизнес-метаданные источников данных во всех организациях в векторном формате. При поступлении запроса выполняет поиск на первом этапе, чтобы определить, какая организация может обладать соответствующими данными.

В этой презентации демонстрируется, как можно создать безопасную и «умную» инфраструктуру поиска между организациями без перемещения данных в центральное хранилище, объединив масштабируемые возможности поиска Milvus, вычислительные мощности vLLM и гибкие политики безопасности OPA. 6

Контекстная инженерия: Докладчик Кевин Ноэль утверждает, что эпоха простого «написания вопроса и ожидания ответа» закончилась, и вместо этого мы вступили в эпоху контекстной инженерии.

• Магистранты, получившие степень магистра права, не имеют гражданства: Модели не помнят даже предыдущее предложение, если им не напомнить.
• Создание государства: Чтобы искусственный интеллект дал правильный ответ, необходимо предоставить ему всю необходимую информацию в нужный момент времени (точно в срок). Это искусство объединения прошлых разговоров, информации из документов и результатов работы инструмента.

В презентации показано, что для успешного ответа искусственного интеллекта необходимо сочетание следующих элементов:

• RAG (Соответствующая информация): Информация получена из внутренних документов или баз данных.
• Управление памятью: Предыдущие предпочтения пользователя и история краткосрочных переписок.
• Внешние инструменты: Данные поступают из API или инструментов для вычислений.
• Системные команды: Основные правила, определяющие характер и задачи искусственного интеллекта.

Протестировать такую ​​сложную структуру (RAG + Memory + Tools) вручную невозможно. Докладчик предлагает следующее решение:

• Автоматическая оценка: Нам необходимо, чтобы искусственный интеллект генерировал тысячи пар «вопрос-ответ» (синтетические данные), используя имеющиеся у нас данные.
• Реалистичные сценарии: Необходимо оценить надежность системы, создав синтетических пользователей, которые задают неверные или неполные вопросы, как реальные пользователи.

Стоимость и скорость: Мы можем оценить успешность системы (точность, нерелевантность, галлюцинация) за считанные минуты с помощью синтетических наборов данных, вместо тестов, которые заняли бы недели у людей. 10

Оркестрация игровых серверов (Agones): На слайде под названием «Как работает Agones» от команды Google Open Source была представлена ​​блок-схема инфраструктуры игры ARC Raiders . На этой диаграмме четко видно, что после подбора игроков они распределялись по Pod-ам, называемым «Agones Game Server», и эти серверы управлялись с помощью стратегии «binpacking» (сжатия) в глобальном масштабе. Это позволило разработчикам уделять больше времени разработке игры, не беспокоясь об инфраструктуре. Это также доказывает, насколько важную роль играет Kubernetes как открытый исходный код в игровой индустрии. 7

Скорость распространения моделей: В презентации было показано, что модели теперь хранятся в OCI-совместимых реестрах, таких как образы Docker, и напрямую подключаются (монтируются) к Pod'у, как диск, благодаря драйверу Model CSI . Это исключает необходимость копирования гигабайтов данных. Для этих операций используется OCI-реестр Harbor. 8

Производительность вывода: Согласно моим заметкам и визуализациям с сессии vLLM, ключом к производительности стала технология PagedAttention. Эта технология управляет памятью GPU с помощью логики виртуальной памяти в операционных системах, преодолевая узкое место «кэша ключ-значение» и многократно увеличивая пропускную способность. В презентации также упоминается, что DeepSpeed, разработанный Microsoft, повышает эффективность GPU в 4-6 раз, обеспечивая высокую производительность даже на старом оборудовании. В презентации подчеркивается, что благодаря этому увеличивается количество токенов, производимых за комиссию. 9

В заключение: Покинув Open Source Summit Japan 2025, я возвращаюсь с видением, которое полностью меняет мой взгляд на профессию, и не только с новыми техническими знаниями в кармане.

Одним из моментов, который произвел на меня наибольшее впечатление на протяжении всего мероприятия, была широта охвата программного обеспечения с открытым исходным кодом (OSS) . Сегодня тот факт, что потенциал открытого исходного кода используется даже в самых важных и передовых технологических проектах человечества, таких как Международная космическая станция (МКС) , а не только в веб-сайтах или мобильных приложениях, еще раз напомнил мне об ответственности и потенциале нашей работы.

Самым незабываемым моментом саммита для меня стало выступление Линуса Торвальдса, одного из архитекторов современного мира программного обеспечения и создателя Linux и Git. Услышав из первых рук о его подходе к технологиям и его видении, я смог понять огромную философию, лежащую в основе используемых нами базовых инструментов.

Самый важный урок, который я усвоил на этом саммите, таков: мир программного обеспечения — это бескрайний океан, открытый для развития в любой момент и постоянно находящийся в движении. Быть частью этой экосистемы означает не только писать код, но и постоянно учиться и вносить свой вклад в сообщество. Эта динамика моей профессии невероятно мотивирует меня. Теперь пришло время продолжить свою работу гораздо более целеустремленно и быстро, вдохновляясь этим! 👨‍💻✨

Моя поездка в Японию стала воплощением любопытства, зародившегося благодаря яркой культуре чтения и обмена знаниями, которую поощряли в Галаксии. Главной мотивацией для выбора этого места было желание погрузиться в культуру и кулинарное наследие, которые, как мне казалось, принципиально отличаются от наших — почти от целого мира. Я хотел выйти из зоны комфорта и почувствовать себя «чужаком» в стране таких огромных контрастов, где каждый ритуал и каждый вкус, казалось, принадлежат к совершенно другому измерению.

Однако, путешествуя по токийским бульварам, залитым неоновым светом, и посещая традиционные, спрятанные в узких переулках закусочные, я испытал глубокое осознание. Хотя тщательная подача блюд и стоическая тишина улиц поначалу казались мне чуждыми, вскоре я обнаружил под этой поверхностью универсальную сущность. Стоя в тени современного небоскреба и наблюдая, как кто-то обретает покой в ​​древнем святилище, я понял, что проявление человеческой искренности там такое же, как и на нашей родине. Это стало мощным напоминанием о том, что независимо от географии, человечество объединяется одними и теми же фундаментальными ценностями: добротой, трудом, семьей и духом взаимопомощи.

Наблюдая за глубоко укоренившейся культурой уважения и «невидимой гармонией», лежащей в основе общества, функционирующего с невероятной точностью, мои наблюдения превратились в более широкий урок о человечестве. Погружение в эту культурную глубину и столь уникальное видение помогли мне понять, что мир формируется не только структурами, но и человеческим духом и дисциплиной. Я возвращаюсь из этой поездки с незабываемым пониманием того, что мы все «едины», даже находясь на другом конце земного шара, — и, конечно же, с несколькими дорогими сердцу фотографиями, запечатлевшими душу города.
 

Увидимся на нашей следующей остановке.

Эмре Измир

Старший инженер DevOps
Впечатления от Open Source Summit Japan 2025, Токио.
 

1. Будущее агентного ИИ не будет определяться масштабом модели... - Презентация на секции AI_dev саммита Open Source Summit, 8-10 декабря 2025 г., Токио, Япония. Доступно по адресу: https://ossjapan2025.sched.com/type/AI_dev

2. Динамическое выделение графических процессоров в Kubernetes с использованием компонуемой дезагрегированной инфраструктуры — Джин Хасе и Цубаса Ватанабе, Fujitsu Limited. Open Source Summit Japan 2025, секция «Облачные технологии и контейнеры». Доступно по адресу: https://github.com/CoHDI

3. LLMs на автопилоте: запуск агентов ИИ на Kubernetes — Энни Талвасто, Waovo/Upbound. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Оркестрация инфраструктуры с помощью Crossplane 2.0 — презентация Upbound. Open Source Summit Japan 2025. Доступно по адресу: ( https://ossjapan2025.sched.com/event/29FnY )

5. От лаборатории к жизни: практическая оценка систем искусственного интеллекта — презентация Шэрон Дашет и Винсента Кальдейры, Red Hat, Токио, Япония. Доступно по адресу: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Федеративный векторный поиск и поиск с учетом политик — Хироки Ито и Шусуке Такахаши, NTT. Open Source Summit Japan 2025, секция AI_dev. Доступно по адресу: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Основной доклад: Что ждет Agones в будущем? Управление в масштабах планеты — Бен Хьюстон, старший главный архитектор Google Cloud. Open Source Summit Japan 2025, секция AI_dev. Доступно по адресу: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Открытый стандарт для упаковки, распространения и запуска LLM в облачной среде — презентация Вэньбо Ци и Чэнью Чжан, Ant Group. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Основной доклад: «Состояние дел в стране» — Джим Землин, исполнительный директор Linux Foundation. Презентация на Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Практические стратегии синтетических данных для систем RAG/агентных систем — Кевин Ноэль, Uzabase — презентация Edge US. Open Source Summit Japan 2025. Доступно по адресу: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us