2025年日本开源峰会：架构转型

当人工智能领域对“大型模型”的竞赛逐渐被批判性的沉默所取代时，该行业的未来在2025年日本开源峰会上被一句话概括：  “智能体人工智能的未来将不由模型规模决定，而由系统架构决定。” 1 

这一决定最确凿地表明，关注点已从模型训练本身转移到支撑和扩展这些模型的基础设施。在东京虎之门之丘举行的峰会证明了谷歌、富士通和本田等巨头已将开源作为“战略基础”。作为一名DevOps工程师，我有幸亲身考察了人工智能和基础设施领域交汇处的新规范。
本文分析了人工智能和基础设施这两个领域之间的相互联系，并引用了我本人在活动中拍摄的照片、我参加的技术会议以及从 Linux 基金会官方计划中收集的数据。

会议议程中突出的技术讨论以及我在现场考察的演示文稿，从现代基础设施管理的角度来看，可以归纳为以下几个主要方面：

A. 系统架构和硬件解耦

• 硬件解耦： 正如富士通在“动态 GPU 配置”会议中详细介绍的那样，超越传统的服务器结构，将 CPU、GPU 和内存从物理机箱中移除，收集到一个动态池（资源池）中。2 
• 人工智能工厂： 将数据中心改造为能够响应人工智能工作负载可变需求的生产设施，而不是静态的服务器集群。

B. 特工行动

• 自主基础设施管理： 正如我们在现场演示中看到的，工具结构正在从像 Terraform 这样“出错即停止”的结构，过渡到基于“代理”的结构，后者能够分析错误并生成解决方案。3 
• 连续反馈循环： 不仅持续监控人工智能模型的部署情况，还要持续监控其在实际环境中的性能。5 

C. 数据治理与安全

• 联邦向量访问： 根据 NTT 和其他演示者分享的架构图，在分布式数据源中现场处理数据的结构会将结果合并，而不是将其移动到中央数据库。6 
• 政策即代码： OPA（开放策略代理）等引擎在查询时动态地做出数据访问决策。 6 

D. 关键和特殊工作负载

• 游戏服务器编排： 正如 Google 开源团队在 Agones 的演示中所展示的那样，在 Kubernetes 上对全球范围内的有状态游戏服务器进行管理。7 
• 太空级 Linux： GITAI 的演示文稿展示了如何使用开源软件管理国际空间站上的机械臂。8 

A. 系统架构和硬件解耦

硬件解放：CoHDI

会议中最引人注目的技术研讨会之一是题为“……”的演讲。 Kubernetes 中的动态 GPU 配置 由富士通团队的Jin Hase和Tsubasa Watanabe进行展示。舞台上展示的建筑图解释了…… CoHDI（可组合解耦基础设施） 项目如下：

• 分散资源池： CPU、GPU、内存和网卡从物理服务器机箱中取出，并集中到一个公共池中。
• PCIe/CXL 交换结构： 这些组件通过高速开关相互连接。
• Kubernetes 集成： 如图所示，Kubernetes 请求硬件的方式就像创建 Pod 一样，系统会立即组装这些硬件来创建“组合式裸机”服务器。2 

那为什么呢 CoHDI 重要吗？这种架构有可能将GPU使用效率从30%提高到80%。

基础架构编排：Crossplane 2.0

本次活动的另一项重要报告展示了…… 十字平面 2.0 架构方面，Crossplane 控制循环持续监控 Git 上的声明式定义，并将其转换为 AWS、Azure 或 Google Cloud 上的实际资源，从而支持了“自愈”基础设施的愿景。此外， 十字平面 2.0 现在，Crossplane v1 不再局限于云服务，而是可以在所有 Kubernetes 环境中运行。得益于这项技术，每个开发人员都能无需帮助即可轻松安装相关技术。这场演示令人印象深刻，展现了 DevOps 流程的未来发展方向。 4 

AgentOps： 它是一种持续反馈引擎，旨在通过将人工智能代理的开发（内循环）和应用（外循环）阶段结合起来，弥合两者之间的现实差距。这种结构被定义为一种人工智能平台工程学科，它将离线准备的数据集与来自实时环境的观测数据整合到一个统一的生态系统中，从而能够检测错误并将真实世界的数据反馈到测试过程中。5 

人类 vs. 智能体： 安妮·塔尔瓦斯托在演讲中指出，如果机器无法获取人类所掌握的信息，那么它们在DevOps流程中就无法发挥完整的作用。例如，她提到，如果连同事之间哪怕是最简短的Slack沟通都没有，系统就无法得到完整的管理。她在演讲中详细阐述了所有这些信息都应该首先提供给智能体。 3 

太空开源：国际空间站和机器人技术

在安全关键系统会议期间拍摄的照片中，包括国际空间站（ISS）的图像和 吉泰 巨型屏幕上映照出机械臂的身影。看到Linux被应用于太空真空这种容不得半点差错的环境中，足以证明开源软件的可靠性。8 

跨组织和 OPA 的统一矢量访问： 在大型组织中，数据通常存储在不同的部门或合作公司的不同向量数据库中。由于法律合规性、数据安全和所有权等问题，将这些数据集中到一个中心非常困难。本次演示旨在提供一种无需复制数据的“虚拟集成”方案。

• 法律硕士： 用于将数据源中的复杂元数据转换为有意义且简短的自然语言摘要。它在理解用户查询和处理结果的过程中也扮演着高性能推理引擎的角色。
• 政策决定： 负责数据治理和授权。当用户发起查询时，OPA 会在运行时检查用户是否拥有访问该数据源的权限。
• 米尔沃斯细节： 它充当“语义目录”，以矢量形式存储所有组织中数据源的技术和业务元数据。当收到查询时，它会执行第一阶段搜索，以确定哪个组织可能拥有相关数据。

本次演示证明了如何通过结合 Milvus 的可扩展搜索功能、vLLM 的语言处理能力和 OPA 的灵活安全策略，在组织之间建立安全且“智能”的搜索基础架构，而无需将数据移动到中心位置。6 

上下文工程： 演讲者凯文·诺埃尔认为，“写个提示然后等着回答”的时代已经结束了，取而代之的是，我们已经进入了情境工程的时代。

• 法学硕士是无国界的： 除非你提醒，否则模特甚至记不住上一句话。
• 国家创建： 要想让人工智能给出正确答案，你需要在“那一刻”（即时）将所有信息准确地呈现给它。这门艺术在于整合过往对话、文档信息和工具输出。

演示文稿显示，要成功实现人工智能响应，必须将以下几个部分结合起来：

• RAG（相关信息）： 信息来源于公司内部文件或数据库。
• 内存管理： 用户过往偏好和短期对话记录。
• 外部工具： 数据来自 API 或计算工具。
• 系统命令： 决定人工智能特性和任务的主要规则。

手动测试如此复杂的结构（RAG + 内存 + 工具）是不可能的。演讲者提出了以下解决方案：

• 自动评估： 我们必须利用现有数据，让人工智能生成数千个“问答”对（合成数据）。
• 现实场景： 我们必须通过创建像真实用户一样提出错误或不完整问题的合成用户来衡量系统的稳健性。

成本和速度：我们可以利用合成数据集在几分钟内对系统的成功程度（准确性、不相关性、幻觉）进行评分，而人类进行测试则需要数周时间。 10 

游戏服务器编排（Agones）： 在标题为“ “阿戈内斯是如何运作的” 由谷歌开源团队共享的流程图涵盖了基础设施 ARC攻略 游戏中，玩家匹配完成后会被分配到名为“Agones 游戏服务器”的 Pod 中，这些服务器采用全局“打包”（压缩）策略进行管理。这使得开发者能够将更多时间投入到游戏开发中，而无需考虑基础设施。这也证明了 Kubernetes 作为开源技术在游戏行业中扮演的重要角色。7 

模型分发速度： 演示表明，由于采用了 OCI 技术，模型现在被保存在与 Docker 镜像类似的 OCI 兼容注册表中，并像磁盘一样直接连接（挂载）到 Pod。 模型 CSI 驱动程序这样就省去了复制数GB数据的时间。Harbor的OCI注册表用于这些操作。8 

推理性能： 根据我从 vLLM 会议中记录的笔记和图表，PagedAttention 技术是提升性能的关键。这项技术利用操作系统中的虚拟内存逻辑来管理 GPU 内存，克服了“键值缓存”的瓶颈，从而显著提升了吞吐量。演示文稿还提到，微软开发的 DeepSpeed 技术可以将 GPU 效率提升 4-6 倍，即使在老旧硬件上也能提供高性能。演示文稿强调，正是由于这项技术，每次交易产生的代币数量才会增加。 9 

总结 离开 2025 年日本开源峰会，我不仅带回了新的技术知识，更带着一种彻底改变我对职业看法的愿景回来了。

在整个活动过程中，最令我印象深刻的一点是其覆盖范围之广。 开源软件 (开放源码软件)如今，开源的力量在人类最关键、最先进的技术项目中也备受信赖，例如…… 国际空间站（ISS）不仅仅是在网站或移动应用程序中，这再次提醒了我我们所做工作的责任和潜力。

对我而言，峰会上最难忘的时刻是现场聆听 Linus Torvalds 的演讲。他是现代软件世界的架构师之一，也是 Linux 和 Git 的创始人。亲耳聆听他对技术的态度和愿景，让我得以理解我们使用的基础工具背后蕴含的宏大理念。

我从这次峰会中学到的最重要的一课是： 软件世界浩瀚无垠，随时都在发展变化，永不停歇。身处这个生态系统，不仅意味着编写代码，更意味着不断学习，为社区做出贡献。这份职业的活力深深地激励着我。现在，是时候带着这份热情，更加坚定、更加迅速地投入到工作中了！👨‍💻✨

我此次日本之行源于我对日本的好奇，这份好奇最初萌芽于Galaksiya学校充满活力的阅读和知识分享文化氛围中。我选择日本作为目的地的主要动机是沉浸于一种我认为与我们截然不同——几乎是另一个世界——的文化和饮食传统之中。我渴望走出舒适区，体验身处这样一个充满巨大反差的国度，做一个“局外人”的感受，在那里，每一种仪式和味道都仿佛来自另一个维度。

然而，当我穿梭于东京霓虹闪烁的大街小巷，以及幽静幽雅的巷弄间时，我却有了深刻的感悟。尽管食物精致的摆盘和街道的静谧最初让我感到陌生，但我很快便发现，在这层表象之下，蕴藏着一种普世的本质。站在现代摩天大楼的阴影下，看着有人在古老的神社中寻求片刻的宁静，我意识到，人类真诚的表达方式，无论在何处，都与我们自己的故乡并无二致。这有力地提醒我，无论身处何地，人类都拥有相同的基本价值观：善良、勤劳、家庭和分享的精神。

亲眼目睹根深蒂固的尊重文化，以及一个运转如此精准的社会背后那份“无形的和谐”，让我对人性有了更深刻的理解。这种文化底蕴与独特视角的交融，让我明白，世界并非仅仅由结构塑造，更由人类的精神和自律所构建。此次旅程让我收获了难忘的感悟：即使远隔重洋，我们依然是“一体”的——当然，还有几张珍贵的照片，它们捕捉了这座城市的灵魂。
 

下一站再见。

埃姆雷·伊兹密尔

高级 DevOps 工程师
2025年日本开源峰会印象，东京。
 

1. 智能体人工智能的未来将不再由模型规模决定…… - 开源峰会人工智能开发专题演讲，2025年12月8-10日，日本东京。详情请见： https://ossjapan2025.sched.com/type/AI_dev

2. 在 Kubernetes 中使用可组合的解耦式基础架构实现动态 GPU 配置 - Jin Hase & Tsubasa Watanabe，富士通有限公司。《2025年日本开源峰会》，云与容器专题。可访问以下网址获取： https://github.com/CoHDI

3. LLM 实现自动化：在 Kubernetes 上运行 AI 代理 - Annie Talvasto，Waovo/Upbound。《2025年日本开源峰会》。网址： https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. 使用 Crossplane 2.0 进行基础设施编排 - Upbound 演讲。2025 年日本开源峰会。可访问以下网址获取：(https://ossjapan2025.sched.com/event/29FnY)

5. 从实验室到实际应用：人工智能系统实用评估 - Sharon Dashet 和 Vincent Caldeira，《红帽公司发布会》，日本东京。详情请见： https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. 联邦向量检索与策略感知检索 - Hiroki Ito & Shusuke Takahashi，NTT。《2025 年日本开源峰会》，AI_dev 专题。可访问： https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. 主题演讲：Agones 的下一步是什么？全球治理 - Ben Huston，谷歌云高级首席架构师。2025 年日本开源峰会，AI_dev 专题。可访问以下链接获取： https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack：一种用于在云原生环境中打包、分发和运行 LLM 的开放标准 - 齐文博和张晨宇，蚂蚁集团演讲。2025年日本开源峰会。可访问以下网址获取： https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. 主题演讲：国情咨文 - Jim Zemlin，Linux 基金会执行董事，2025 年日本开源峰会演讲。可访问以下网址获取： https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. 面向 RAG/代理系统的实用合成数据策略 - Kevin Noel，Uzabase - Edge US 演讲。2025 年日本开源峰会。可访问以下网址获取： https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us