오픈 소스 서밋 재팬 2025: 아키텍처의 변혁

인공지능 분야에서 "더 큰 모델"을 향한 경쟁이 잠잠해지고 비판적인 침묵이 흐르는 가운데, 오픈 소스 서밋 재팬 2025에서는 이 분야의 미래가 단 한 문장으로 요약되었습니다.  "에이전트 기반 AI의 미래는 모델 규모가 아니라 시스템 아키텍처에 의해 결정될 것입니다." 1 

이러한 움직임은 모델 학습 자체에서 벗어나 모델을 유지하고 확장하는 데 필요한 인프라 구축으로 초점이 옮겨갔다는 가장 확실한 지표입니다. 도쿄 도라노몬 힐스에서 열린 이번 서밋은 구글, 후지쓰, 혼다와 같은 거대 기업들이 오픈소스를 '전략적 기반'으로 채택했음을 보여주었고, 데브옵스 엔지니어로서 저는 현장에서 인공지능과 인프라가 만나는 지점의 새로운 기준들을 직접 살펴볼 기회를 가졌습니다.
이 글에서는 제가 직접 촬영한 사진, 참석했던 기술 세션, 그리고 리눅스 재단의 공식 프로그램에서 수집한 데이터를 바탕으로 인공지능과 인프라 세계 간의 상호 연결성을 분석합니다.

컨퍼런스 프로그램과 현장에서 살펴본 발표 자료에서 두드러진 기술적 논의는 현대 인프라 관리 측면에서 다음과 같은 주요 축으로 분류할 수 있었습니다.

A. 시스템 아키텍처 및 하드웨어 분리

• 하드웨어 분리: 후지쓰의 "동적 GPU 프로비저닝" 세션에서 자세히 설명했듯이, 기존 서버 구조에서 벗어나 CPU, GPU 및 메모리를 물리적 케이스에서 분리하여 동적 풀(리소스 풀)에 모으는 방식입니다.2 
• AI 공장: 데이터 센터를 고정된 서버 팜이 아닌, 인공지능 워크로드의 가변적인 요구에 대응할 수 있는 생산 시설로 전환해야 합니다.

B. 에이전트 운영

• 자율 인프라 관리: 무대 데모에서 보셨듯이, "오류 발생 시 중지"하는 Terraform과 같은 도구 구조에서 오류를 분석하고 해결책을 제시할 수 있는 "에이전트" 기반 구조로의 전환이 이루어지고 있습니다.3 
• 지속적인 피드백 루프: 인공지능 모델의 배포뿐만 아니라 실제 환경에서의 성능까지 지속적으로 모니터링합니다.5 

C. 데이터 거버넌스 및 보안

• 연합 벡터 액세스: NTT와 다른 발표자들이 공유한 아키텍처 다이어그램에 따르면, 분산된 소스에서 현장 데이터를 처리하는 구조는 데이터를 중앙 저장소로 이동시키는 대신 결과를 결합합니다.6 
• 코드형 정책: OPA(Open Policy Agent)와 같은 엔진을 통해 질의 시점에 데이터 접근 권한 결정을 동적으로 내립니다. 6 

D. 중요 및 특수 업무량

• 게임 서버 오케스트레이션: 구글 오픈소스 팀의 아고네스 프레젠테이션에서 보여준 것처럼, 쿠버네티스를 이용해 전 세계적인 규모의 상태 저장 게임 서버를 관리할 수 있습니다.7 
• 우주급 리눅스: GITAI의 발표에서는 오픈 소스 소프트웨어를 이용한 ISS 로봇 팔 관리 시스템이 소개되었습니다.8 

A. 시스템 아키텍처 및 하드웨어 분리

하드웨어 해방: CoHDI

이번 컨퍼런스에서 가장 인상적인 기술 세션 중 하나는 다음과 같은 제목의 연설이었습니다. "Kubernetes에서의 동적 GPU 프로비저닝" 후지쓰 팀의 하세 진과 와타나베 츠바사가 발표했습니다. 무대에 전시된 건축 도면은 다음과 같은 내용을 설명했습니다. CoHDI(구성 가능한 분산형 인프라) 프로젝트는 다음과 같습니다.

• 분산형 리소스 풀: CPU, GPU, 메모리 및 NIC는 물리적 서버 케이스에서 분리되어 공통 풀에 모입니다.
• PCIe/CXL 스위치 패브릭: 이러한 구성 요소들은 고속 스위치를 통해 서로 연결됩니다.
• 쿠버네티스 통합: 다이어그램에서 볼 수 있듯이 Kubernetes는 Pod를 생성하는 것처럼 하드웨어를 요청하고, 시스템은 즉시 이 하드웨어를 조립하여 "구성된 베어메탈" 서버를 생성합니다.2 

그럼 왜이다 코히디 중요한가요? 이 아키텍처는 GPU 사용 효율을 30%에서 80%까지 높일 수 있는 잠재력을 가지고 있습니다.

인프라 오케스트레이션: 크로스플레인 2.0

이번 행사에서 발표된 또 다른 중요한 프레젠테이션은 다음과 같은 내용을 보여주었습니다. 크로스플레인 2.0 아키텍처 측면에서, Crossplane 제어 루프가 Git 상의 선언적 정의를 지속적으로 모니터링하고 이를 AWS, Azure 또는 Google Cloud 상의 실제 리소스로 변환하는 과정은 "자가 복구" 인프라라는 비전을 뒷받침했습니다. 또한, 크로스플레인 2.0 이제 Crossplane v1처럼 클라우드 서비스뿐만 아니라 모든 Kubernetes 환경에서 실행할 수 있게 되었습니다. 이 기술 덕분에 모든 개발자가 도움 없이 간단한 기술을 설치할 수 있게 되었습니다. DevOps 프로세스의 미래를 보여주는 인상적인 프레젠테이션이었습니다. 4 

에이전트 운영: 이는 인공지능 에이전트의 개발(내부 루프)과 적용(외부 루프) 단계를 통합하여 현실과 실제 환경 간의 격차를 줄이는 것을 목표로 하는 지속적인 피드백 엔진입니다. 이러한 구조는 오프라인에서 준비된 데이터 세트와 실제 환경에서 얻은 관찰 결과를 단일 생태계에 결합하는 AI 플랫폼 엔지니어링 분야로 정의되며, 오류를 감지하고 실제 데이터를 테스트 프로세스에 다시 포함할 수 있도록 합니다.5 

인간 vs. 에이전트: 애니 탈바스토는 발표에서 기계가 인간이 가진 정보를 갖지 못하는 한 데브옵스 프로세스에서 불완전한 상태로 남을 것이라고 주장했습니다. 예를 들어, 동료와의 사소한 소통조차 없을 경우 시스템 관리가 불완전해질 수 있다고 언급했습니다. 그녀는 발표에서 이러한 모든 정보가 담당자에게 먼저 제공되어야 한다고 자세히 설명했습니다. 3 

우주에서의 오픈 소스: ISS와 로봇 공학

안전 필수 시스템 세션에서 촬영된 사진에는 국제 우주 정거장(ISS)과 기타이 거대한 스크린에 로봇 팔의 모습이 비춰졌다. 우주의 진공 상태처럼 실수를 용납할 수 없는 환경에서 리눅스가 사용되는 것을 보니 오픈 소스의 신뢰성이 입증되었다.8 

조직 전반 및 OPA에 걸친 통합 벡터 액세스: 대규모 조직에서는 데이터가 일반적으로 여러 부서나 협력사의 다양한 데이터베이스에 분산되어 저장됩니다. 법규 준수, 데이터 보안 및 소유권 문제로 인해 이러한 데이터를 단일 센터에 통합하는 것은 어렵습니다. 본 발표에서는 데이터를 복사하지 않고 "가상 통합"을 구현하는 방법을 제시합니다.

• vLLM: 데이터 소스의 복잡한 메타데이터를 의미 있고 간결한 자연어 요약으로 변환하는 데 사용됩니다. 또한 사용자 쿼리를 이해하고 결과를 처리하는 과정에서 고성능 추론 엔진으로서의 역할도 수행합니다.
• 정책 결정: 데이터 거버넌스 및 권한 부여를 담당합니다. 사용자가 쿼리를 시작하면 OPA는 런타임에 해당 사용자가 데이터 소스에 접근할 권한이 있는지 확인합니다.
• 밀버스 상세 정보: "시맨틱 카탈로그" 역할을 합니다. 모든 조직의 데이터 소스에 대한 기술 및 비즈니스 메타데이터를 벡터 형태로 저장합니다. 쿼리가 발생하면 1차 검색을 수행하여 관련 데이터를 보유하고 있을 가능성이 있는 조직을 파악합니다.

본 프레젠테이션은 Milvus의 확장 가능한 검색 기능, vLLM의 언어 처리 능력, 그리고 OPA의 유연한 보안 정책을 결합하여 데이터를 중앙 위치로 이동시키지 않고도 조직 간에 안전하고 "스마트한" 검색 인프라를 구축하는 방법을 보여줍니다.6 

컨텍스트 엔지니어링: 발표자 케빈 노엘은 단순히 "질문을 제시하고 답변을 기다리는" 시대는 끝났고, 대신 컨텍스트 엔지니어링의 시대가 도래했다고 주장합니다.

• LLM은 무국가적입니다. 모델은 당신이 상기시켜주지 않으면 이전 문장조차 기억하지 못합니다.
• 국가 생성: 인공지능이 정확한 답변을 내놓으려면 모든 정보를 그 "순간"에 정확하게 제공해야 합니다(즉, 적시성을 확보해야 합니다). 이는 과거 대화 내용, 문서 정보, 도구 출력 결과를 종합적으로 활용하는 기술의 핵심입니다.

이 프레젠테이션은 성공적인 인공지능 응답을 위해서는 다음과 같은 요소들이 결합되어야 함을 보여줍니다.

• RAG(관련 정보): 내부 문서 또는 데이터베이스에서 가져온 정보입니다.
• 메모리 관리: 사용자의 과거 선호도 및 단기 대화 기록.
• 외부 도구: API 또는 계산 도구에서 가져온 데이터.
• 시스템 명령: 인공지능의 특성과 임무를 결정하는 주요 규칙.

이처럼 복잡한 구조(RAG + 메모리 + 도구)를 수동으로 테스트하는 것은 불가능합니다. 발표자는 다음과 같은 해결책을 제시합니다.

• 자동 평가: 우리는 인공지능이 우리가 가진 데이터를 사용하여 수천 개의 "질문-답변" 쌍(합성 데이터)을 생성하도록 해야 합니다.
• 현실적인 시나리오: 우리는 실제 사용자처럼 부정확하거나 불완전한 질문을 하는 가상 사용자를 생성하여 시스템의 견고성을 측정해야 합니다.

비용 및 속도: 사람이 직접 테스트할 경우 몇 주가 걸리는 반면, 합성 데이터 세트를 사용하면 시스템의 성공 여부(정확도, 관련성 부족, 오류)를 단 몇 분 만에 평가할 수 있습니다. 10 

게임 서버 오케스트레이션(Agones): 슬라이드 제목은 다음과 같습니다. "아고네스의 작동 방식" 구글 오픈 소스 팀에서 인프라 전반에 걸친 흐름도를 공유했습니다. 아크 레이더스 이 다이어그램에서 볼 수 있듯이, 매치메이킹 후 플레이어들은 "Agones Game Server"라는 Pod에 배정되었고, 이러한 서버들은 전역적인 "binpacking"(압축) 전략을 통해 관리되었습니다. 덕분에 개발자들은 인프라 관리에 대한 걱정 없이 게임 개발에 더욱 집중할 수 있었습니다. 이는 또한 오픈 소스 플랫폼인 쿠버네티스가 게임 산업에서 얼마나 중요한 역할을 하는지를 보여줍니다.7 

모델 배포 속도: 프레젠테이션에서는 모델이 이제 Docker 이미지와 같은 OCI 호환 레지스트리에 저장되고 디스크처럼 Pod에 직접 연결(마운트)된다는 것을 보여주었습니다. 모델 CSI 드라이버이를 통해 수 기가바이트의 데이터를 복사하는 데 걸리는 시간을 없앨 수 있습니다. 이러한 작업에는 Harbor의 OCI 레지스트리가 사용됩니다.8 

추론 성능: vLLM 세션에서 제가 정리한 노트와 자료에 따르면, PagedAttention 기술이 성능 향상의 핵심이었습니다. 이 기술은 운영체제의 가상 메모리 로직을 이용하여 GPU 메모리를 관리함으로써 "키-값 캐시" 병목 현상을 극복하고 처리량을 크게 향상시킵니다. 또한, 마이크로소프트가 개발한 DeepSpeed ​​기술이 GPU 효율을 4~6배 높여 구형 하드웨어에서도 높은 성능을 제공한다는 점도 발표에서 언급되었습니다. 특히, 이 기술 덕분에 수수료당 생성되는 토큰 수가 증가한다는 점이 강조되었습니다. 9 

결론 : 오픈 소스 서밋 재팬 2025를 마치고 돌아오면서, 단순히 새로운 기술 지식을 얻은 것뿐만 아니라, 제 직업에 대한 관점을 완전히 바꿔놓는 비전을 갖게 되었습니다.

이번 행사에서 가장 인상 깊었던 점 중 하나는 보도 범위의 폭이 매우 넓었다는 것입니다. 오픈 소스 소프트웨어 (OSS)오늘날, 오픈 소스의 힘이 인류의 가장 중요하고 첨단적인 기술 프로젝트에서도 신뢰받고 있다는 사실은 다음과 같습니다. 국제 우주 정거장 (ISS)웹사이트나 모바일 애플리케이션뿐만 아니라 모든 분야에서 우리가 하는 일의 책임감과 잠재력을 다시 한번 일깨워주었습니다.

제게 있어 이번 서밋에서 가장 잊을 수 없는 순간은 현대 소프트웨어 세계의 설계자 중 한 명이자 리눅스와 깃(Git)의 창시자인 리누스 토르발스의 강연을 직접 들은 것이었습니다. 그의 기술에 대한 접근 방식과 비전을 직접 들으면서 우리가 사용하는 기본적인 도구들에 담긴 거대한 철학을 이해할 수 있었습니다.

이번 정상회담에서 제가 얻은 가장 큰 교훈은 바로 이것입니다. 소프트웨어 세계는 끝없는 바다와 같아서 언제든 개발이 가능하고 끊임없이 움직입니다. 이러한 생태계의 일원이 된다는 것은 단순히 코드를 작성하는 것뿐만 아니라 끊임없이 배우고 커뮤니티에 기여하는 것을 의미합니다. 제 직업의 이러한 역동성은 저에게 엄청난 동기를 부여합니다. 이제 이러한 영감을 바탕으로 더욱 확고하고 빠르게 작업을 계속해 나갈 시간입니다! 👨‍💻✨

일본 방문은 갈락시야에서 장려되는 활기찬 독서와 지식 공유 문화를 통해 싹튼 호기심을 실현한 것이었습니다. 제가 일본을 여행지로 선택한 가장 큰 이유는 우리와는 근본적으로 다른, 거의 다른 세상처럼 느껴지는 문화와 음식 문화에 푹 빠져보고 싶었기 때문입니다. 익숙한 환경에서 벗어나, 모든 의식과 맛이 마치 다른 차원에 속한 것처럼 느껴지는, 극명한 대조를 이루는 땅에서 '이방인'이 되어보는 경험을 해보고 싶었습니다.

하지만 도쿄의 거대한 네온사인으로 빛나는 대로에서부터 좁은 골목길에 자리 잡은 전통 식당에 이르기까지 모든 곳을 누비며 저는 깊은 깨달음을 얻었습니다. 처음에는 음식의 정교한 플레이팅과 거리의 고요함이 낯설게 느껴졌지만, 곧 그 이면에 보편적인 본질이 있음을 발견했습니다. 현대적인 고층 빌딩의 그림자 아래 서서 고대 신사에서 잠시 평온을 찾는 사람들을 바라보며, 인간의 진심이 표현되는 방식은 우리의 고향에서와 똑같다는 것을 깨달았습니다. 지리적인 위치에 상관없이 인류는 친절, 근면, 가족, 나눔의 정신과 같은 근본적인 가치로 귀결된다는 것을 강력하게 일깨워주는 순간이었습니다.

깊이 뿌리내린 존중의 문화와 놀라운 정확성으로 작동하는 사회 이면에 숨겨진 '보이지 않는 조화'를 목격하면서, 저는 인간성에 대한 더 폭넓은 교훈을 얻게 되었습니다. 이러한 문화적 깊이와 독특한 비전을 경험하며, 세상은 단순히 구조에 의해서만 형성되는 것이 아니라 인간의 정신과 규율에 의해서도 형성된다는 것을 깨달았습니다. 지구 반대편에 있더라도 우리 모두가 '하나'라는 잊을 수 없는 통찰력과, 도시의 영혼을 담아낸 소중한 사진 몇 장을 가지고 이 여행을 마치고 돌아왔습니다.
 

다음 목적지에서 뵙겠습니다.

엠레 이즈미르

Sr. DevOps 엔지니어
도쿄에서 열린 오픈 소스 서밋 재팬 2025에 대한 소감.
 

1. 에이전트형 AI의 미래는 모델 규모로 정의되지 않을 것입니다... - 오픈 소스 서밋 AI_dev 트랙 발표 자료, 2025년 12월 8-10일, 일본 도쿄. 다음 링크에서 확인 가능: https://ossjapan2025.sched.com/type/AI_dev

2. 구성 가능한 분산형 인프라를 사용한 Kubernetes 환경에서의 동적 GPU 프로비저닝 - 진 하세 & 츠바사 와타나베, 후지쓰 주식회사. 오픈 소스 서밋 재팬 2025, 클라우드 및 컨테이너 트랙. 다음에서 확인 가능: https://github.com/CoHDI

3. LLM을 자동화하여 실행하기: Kubernetes에서 AI 에이전트 실행 - 애니 탈바스토, Waovo/Upbound. 오픈 소스 서밋 재팬 2025. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Crossplane 2.0을 활용한 인프라 오케스트레이션 - 업바운드 프레젠테이션. 오픈 소스 서밋 재팬 2025. 다음에서 이용 가능:(https://ossjapan2025.sched.com/event/29FnY)

5. 연구실에서 실생활까지: 실용적인 AI 시스템 평가 - 샤론 다셰트 & 빈센트 칼데이라, 레드햇 프레젠테이션, 도쿄, 일본. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. 연합 벡터 검색 및 정책 인식 검색 - 히로키 이토 & 슈스케 타카하시, NTT. 오픈 소스 서밋 재팬 2025, AI_dev 트랙. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. 기조연설: 아고네스의 미래는? 지구 규모의 거버넌스 - 벤 허스턴, 구글 클라우드 수석 아키텍트. 오픈 소스 서밋 재팬 2025, AI_dev 트랙. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: 클라우드 네이티브 환경에서 LLM을 패키징, 배포 및 실행하기 위한 개방형 표준 - 치원보 & 장천위, Ant Group 발표 자료. 오픈 소스 서밋 재팬 2025. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. 기조연설: 국정연설 - 짐 젬린, 리눅스 재단 상임이사 발표 자료. 오픈 소스 서밋 재팬 2025. 다음 링크에서 확인 가능: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. RAG/에이전트 시스템을 위한 실용적인 합성 데이터 전략 - 케빈 노엘, Uzabase - Edge US 프레젠테이션. 오픈 소스 서밋 재팬 2025. 다음에서 확인 가능: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us