Саміт з відкритого коду в Японії 2025: Трансформація архітектури

Хоча гонка за «більшими моделями» у світі штучного інтелекту поступається місцем критичному мовчанню, майбутнє цього сектору було підсумовано одним реченням на саміті Open Source Summit Japan 2025:  «Майбутнє агентного ШІ визначатиметься не масштабом моделі, а архітектурою системи». 1 

Ця рішучість є найконкретнішим показником того, що фокус змістився з простого навчання моделей на інфраструктуру, яка підтримує та масштабує ці моделі. Саміт, що відбувся в Тораномон-Гіллз, Токіо, довів, як такі гіганти, як Google, Fujitsu та Honda, прийняли відкритий код як «стратегічну основу», і як DevOps-інженер, я мав можливість на місці дослідити нові норми на перетині світів штучного інтелекту та інфраструктури.
У цій статті аналізується взаємозв'язок між світами штучного інтелекту та інфраструктури, спираючись на фотографії, які я особисто зробив на заході, технічні сесії, які я відвідав, та дані, зібрані з офіційної програми Linux Foundation.

Технічні дискусії, що виділилися в програмі конференції, та презентації, які я розглянув на місці, були зібрані за такими основними напрямками з точки зору сучасного управління інфраструктурою:

A. Архітектура системи та дезагрегація апаратного забезпечення

• Розподіл апаратного забезпечення: Як детально описано в сесії Fujitsu "Динамічне виділення графічних процесорів", вихід за рамки традиційної структури сервера, збирання процесора, графічного процесора та пам'яті в динамічному пулі (пулі ресурсів) шляхом їх видалення з фізичних корпусів.2 
• Фабрики штучного інтелекту: Трансформація центрів обробки даних на виробничі потужності, які можуть реагувати на змінні вимоги робочих навантажень штучного інтелекту, замість статичних серверних ферм.

B. Агентські операції

• Автономне управління інфраструктурою: Як ми бачили в демонстраціях на сцені, перехід від структури інструментів, таких як Terraform, які «зупиняються у разі помилки», до структур на основі «Агента», які можуть аналізувати помилку та створювати рішення.3 
• Безперервний цикл зворотного зв'язку: Безперервний моніторинг не лише розгортання моделей штучного інтелекту, але й їхньої роботи в реальному середовищі.5 

C. Управління даними та їхня безпека

• Федеративний векторний доступ: Згідно з архітектурними схемами, якими поділилися NTT та інші доповідачі, структури, які обробляють дані на місці в розподілених джерелах, об'єднують результати замість того, щоб переміщувати їх до центрального сховища.6 
• Політика як код: Динамічне прийняття рішень щодо доступу до даних у момент запиту такими механізмами, як OPA (Open Policy Agent). 6 

D. Критичні та спеціальні робочі навантаження

• Оркестрація ігрового сервера: Як показано в презентації Агонеса команди Google Open Source, управління ігровими серверами зі збереженням стану в глобальному масштабі на Kubernetes.7 
• Космічний Linux: Керування роботизованими руками на МКС за допомогою програмного забезпечення з відкритим вихідним кодом, представлене в презентації GITAI.8 

A. Архітектура системи та дезагрегація апаратного забезпечення

Звільнення апаратного забезпечення: CoHDI

Однією з найяскравіших технічних сесій конференції була доповідь під назвою "Динамічне виділення ресурсів графічного процесора в Kubernetes" представлено Джином Хасе та Цубасою Ватанабе з команди Fujitsu. Архітектурна схема, показана на сцені, пояснювала CoHDI (композиційна дезагрегована інфраструктура) проект наступним чином:

• Дезагрегований пул ресурсів: Процесор, графічний процесор, пам'ять та мережеві карти видаляються з фізичних корпусів серверів та збираються в єдиному пулі.
• Комутаційна структура PCIe/CXL: Ці компоненти з'єднані один з одним за допомогою високошвидкісних перемикачів.
• Інтеграція Kubernetes: Як видно на діаграмі, Kubernetes запитує обладнання, ніби створюючи Pod, і система миттєво збирає це обладнання для створення серверів "Composed Baremetal".2 

Так чому? КоІРЛ важливо? Ця архітектура має потенціал для підвищення ефективності використання графічного процесора з 30% до 80%.

Оркестрація інфраструктури: Crossplane 2.0

Ще одна важлива презентація на заході показала Кросплан 2.0 архітектура. Безперервний моніторинг декларативних визначень на Git за допомогою циклу керування Crossplane та їх перетворення на реальні ресурси на AWS, Azure або Google Cloud підтримували бачення «самовідновлюваної» інфраструктури. Також, Кросплан 2.0 тепер можна було запускати в усіх середовищах Kubernetes, а не лише для хмарних сервісів, як у Crossplane v1. Завдяки цій технології кожен розробник міг встановлювати прості технології без сторонньої допомоги. Це була вражаюча презентація з точки зору демонстрації того моменту, коли будуть розвиватися процеси DevOps. 4 

АгентОпс: Це механізм безперервного зворотного зв'язку, метою якого є усунення розриву між ними в реальності шляхом об'єднання етапів розробки (внутрішній цикл) та застосування (зовнішній цикл) агентів штучного інтелекту. Ця структура визначається як дисципліна інженерії платформи ШІ, яка поєднує підготовлені офлайн набори даних зі спостереженнями з реального середовища в єдиній екосистемі, що дозволяє виявляти помилки та включати реальні дані назад у процеси тестування.5 

Людина проти агента: Енні Талвасто у своїй промові стверджувала, що машини залишатимуться незавершеними в процесах DevOps, доки вони не матимуть інформації, яку мають люди. Наприклад, вона зазначила, що системою можна керувати неповністю, якщо у вас немає навіть невеликого листування від колеги. У своїй презентації вона детально зазначила, що вся ця інформація повинна бути надана спочатку агентам. 3 

Відкритий код у космосі: МКС та робототехніка

На фотографіях, зроблених під час сесії, присвяченої критично важливим системам, зображено Міжнародну космічну станцію (МКС) та GITAI роботизована рука відображалася на гігантському екрані. Те, що Linux використовується в середовищі, де немає можливості помилятися у вакуумі космосу, було доказом надійності відкритого коду.8 

Єдиний доступ до векторних даних у різних організаціях та OPA: У великих організаціях дані зазвичай зберігаються в різних відділах або компаніях-партнерах, у різних векторних базах даних. Збір цих даних в одному центрі є складним через дотримання законодавства, безпеку даних та права власності. Презентація має на меті забезпечити «віртуальну інтеграцію» без копіювання даних.

• vLLM: Використовується для перетворення складних метаданих з джерел даних на змістовні та короткі зведення природною мовою. Він також відіграє роль високопродуктивного механізму логічного висновку в процесах розуміння запитів користувачів та обробки результатів.
• Політичні рішення: Відповідає за керування даними та авторизацію. Коли користувач ініціює запит, OPA перевіряє під час виконання, чи має користувач дозвіл на доступ до цього джерела даних.
• Детальніше про Мілвуса: Виконує функцію «семантичного каталогу». Він зберігає технічні та бізнес-метадані джерел даних у всіх організаціях у векторній формі. Коли надходить запит, виконується перший етап пошуку, щоб визначити, яка організація може мати відповідні дані.

Ця презентація доводить, як можна створити безпечну та «розумну» інфраструктуру пошуку між організаціями без переміщення даних до центрального місця, поєднуючи масштабовані можливості пошуку Milvus, потужність обробки мови vLLM та гнучкі політики безпеки OPA.6 

Контекстна інженерія: Спікер Кевін Ноель стверджує, що ера простого «написання запиту та очікування відповіді» завершилася, і натомість ми вступили в еру контекстної інженерії.

• LLM не мають громадянської незалежності: Моделі не пам'ятають навіть попереднього речення, якщо ви їм його не нагадаєте.
• Створення держави: Щоб штучний інтелект дав правильну відповідь, потрібно правильно представити йому все в потрібний «момент» (точно вчасно). Це мистецтво об'єднання минулих розмов, інформації з документів та результатів роботи інструментів.

У презентації показано, що для успішної реакції штучного інтелекту необхідно поєднати такі частини:

• RAG (Відповідна інформація): Інформація, отримана з внутрішніх документів або баз даних.
• Управління пам'яттю: Попередні налаштування користувача та короткострокова історія розмов.
• Зовнішні інструменти: Дані, що надходять з API або інструментів обчислення.
• Системні команди: Основні правила, що визначають характер та завдання штучного інтелекту.

Вручну протестувати таку складну структуру (RAG + Пам'ять + Інструменти) неможливо. Спікер пропонує таке рішення:

• Автоматична оцінка: Нам потрібен штучний інтелект, який би генерував тисячі пар «питання-відповідь» (синтетичних даних), використовуючи наявні в нас дані.
• Реалістичні сценарії: Ми повинні виміряти надійність системи, створюючи штучних користувачів, які ставлять неправильні або неповні запитання, як справжні користувачі.

Вартість та швидкість: Ми можемо оцінити успішність системи (точність, нерелевантність, галюцинації) за лічені хвилини за допомогою синтетичних наборів даних, замість тестів, які для людей зайняли б тижні. 10 

Оркестрація ігрового сервера (Agones): На слайді під назвою «Як працює Агонес» Команда Google Open Source опублікувала блок-схему в інфраструктурі АРК Рейдери гра. На цій діаграмі чітко видно, що після підбору гравців було призначено до подів під назвою "Agones Game Server", і ці сервери керувалися за допомогою стратегії "бінпакінгу" (стиснення) у глобальному масштабі. Це дозволило розробникам приділяти більше часу розробці ігор, не думаючи про інфраструктуру. Це також доводить, наскільки важливу роль відіграє Kubernetes як відкритий код в ігровій індустрії.7 

Швидкість розподілу моделі: У презентації було показано, що моделі тепер зберігаються в OCI-сумісних реєстрах, таких як образи Docker, і безпосередньо підключаються (монтуються) до Pod, як диск, завдяки… Модель CSI-драйвераЦе виключає час на копіювання гігабайтів даних. Для цих операцій використовується реєстр OCI компанії Harbor.8 

Продуктивність виведення: Згідно з нотатками та візуальними матеріалами, які я зробив під час сесії vLLM, технологія PagedAttention була ключем до продуктивності. Ця технологія керує пам'яттю GPU за допомогою логіки віртуальної пам'яті в операційних системах, долаючи вузьке місце "кешу ключ-значення" та множачи пропускну здатність. У презентації також згадується, що розроблена Microsoft технологія DeepSpeed ​​підвищує ефективність GPU в 4-6 разів, забезпечуючи високу продуктивність навіть на старому обладнанні. У презентації наголошується, що завдяки цьому збільшується кількість токенів, що виробляються за плату. 9 

Висновок: Залишаючи Open Source Summit Japan 2025, я повертаюся з баченням, яке повністю змінює мій погляд на мою професію, а не лише з новими технічними знаннями в кишені.

Одним із моментів, який мене найбільше вразив протягом усього заходу, була широта охоплення програмне забезпечення з відкритим кодом (OSS)Сьогодні той факт, що сила відкритого коду користується довірою навіть у найкритичніших та найсучасніших технологічних проектах людства, таких як Міжнародна космічна станція (МКС), не лише на вебсайтах чи мобільних додатках, ще раз нагадало мені про відповідальність та потенціал роботи, яку ми виконуємо.

Найнезабутнішим моментом саміту для мене було прослуховування живого виступу Лінуса Торвальдса, одного з архітекторів сучасного світу програмного забезпечення та творця Linux і Git. Почувши його підхід до технологій та його бачення безпосередньо, я зрозумів величезну філософію, що лежить в основі основних інструментів, які ми використовуємо.

Найбільший урок, який я виніс з цього саміту, був ось таким: Світ програмного забезпечення – це безмежний океан, відкритий для розробки в будь-який момент і постійно перебуває в русі. Бути частиною цієї екосистеми означає не лише писати код, а й постійно навчатися та робити внесок у спільноту. Цей динамізм моєї професії неймовірно мотивує мене. Тепер, з цим натхненням, настав час продовжувати свою роботу набагато рішучіше та швидше! 👨‍💻✨

Мій візит до Японії став усвідомленням цікавості, яка вперше зародилася завдяки яскравій культурі читання та обміну знаннями, що заохочується в «Галаксії». Моїм головним мотивом для вибору цього місця було зануритися в культуру та кулінарну спадщину, які я вважав принципово відмінними — майже окремим світом — від наших. Я хотів вийти із зони комфорту та відчути, що таке бути «чужим» у країні таких величезних контрастів, де кожен ритуал і смак, здавалося, належать до іншого виміру.

Однак, подорожуючи всіма напрямками, від величезних бульварів Токіо, освітлених неоновими ліхтарями, до традиційних, затишних закусочних у вузьких провулках, я пережив глибоке усвідомлення. Хоча ретельна подача їжі та стоїчна тиша вулиць спочатку здавалися чужими, я незабаром відкрив універсальну сутність під цією поверхнею. Стоячи в тіні сучасного хмарочоса та спостерігаючи, як хтось знаходить хвилинку спокою у стародавній святині, я зрозумів, що вираження людської щирості там таке ж, як і на нашій батьківщині. Це було потужним нагадуванням про те, що незалежно від географії, людство сходиться навколо тих самих фундаментальних цінностей: доброти, праці, сім'ї та духу спільності.

Спостереження за глибоко вкоріненою культурою поваги та «невидимою гармонією», що стоїть за суспільством, яке функціонує з такою неймовірною точністю, перетворило мої спостереження на ширший урок людства. Відчуття цієї культурної глибини поряд з таким унікальним баченням допомогло мені зрозуміти, що світ формується не лише структурами, а й людським духом та дисципліною. Я повертаюся з цієї подорожі з незабутнім розумінням того, як ми всі «єдине» навіть на іншому кінці земної кулі, і, звичайно ж, з кількома цінними фотографіями, що передають душу міста.
 

До зустрічі на нашій наступній зупинці.

Емре ІЗМІР

Старший інженер DevOps
Враження від саміту з відкритого коду в Японії 2025 року, Токіо.
 

1. Майбутнє агентного ШІ не буде визначатися масштабом моделі... - Презентація на саміті з відкритого коду, присвячена розробці штучного інтелекту, 8-10 грудня 2025 року, Токіо, Японія. Доступно за адресою: https://ossjapan2025.sched.com/type/AI_dev

2. Динамічне виділення графічних процесорів у Kubernetes з компонуємою дезагрегованою інфраструктурою - Джин Хасе та Цубаса Ватанабе, Fujitsu Limited. Саміт з відкритого коду в Японії 2025 року, тема «Хмара та контейнери». Доступно за адресою: https://github.com/CoHDI

3. LLM на автопілоті: Запуск агентів штучного інтелекту на Kubernetes - Енні Талвасто, Waovo/Upbound. Саміт з відкритого коду в Японії, 2025. Доступно за адресою: https://ossjapan2025.sched.com/event/29Fqz/llms-on-autopilot-running-ai-agents-on-kubernetes-with-open-source-tools-annie-talvasto-waovo

4. Оркестрація інфраструктури за допомогою Crossplane 2.0 - Презентація Upbound. Саміт з відкритого коду в Японії, 2025. Доступно за адресою:https://ossjapan2025.sched.com/event/29FnY)

5. Від лабораторії до життя: практична оцінка системи штучного інтелекту - Шерон Дашет та Вінсент Калдейра, презентація Red Hat, Токіо, Японія. Доступно за адресою: https://ossjapan2025.sched.com/event/29FnS/from-lab-to-life-practical-ai-system-evaluation-sharon-dashet-vincent-caldeira-red-hat

6. Федеративний пошук векторів та пошук з урахуванням політики - Хірокі Іто та Шусуке Такахаші, NTT. Саміт з відкритого коду в Японії 2025 року, трек AI_dev. Доступно за адресою: https://ossjapan2025.sched.com/event/29FpX/federated-vector-retrieval-across-organizations-with-milvus-opa-and-vllm-hiroki-ito-shusuke-takahashi-ntt

7. Основна доповідь: Що далі для Агонеса? Управління планетарного масштабу - Бен Х'юстон, старший головний архітектор, Google Cloud. Саміт з відкритого коду в Японії 2025 року, напрямок розробки штучного інтелекту. Доступно за адресою: https://ossjapan2025.sched.com/event/2AHMX/keynote-whats-next-for-agones-planet-scale-governance-ben-huston-sr-principal-architect-google-cloud

8. ModelPack: Відкритий стандарт для пакування, розповсюдження та запуску LLM у хмарному середовищі - Венбо Ці та Ченьюй Чжан, презентація Ant Group. Саміт з відкритого коду в Японії, 2025. Доступно за адресою: https://ossjapan2025.sched.com/event/29FpF/modelpack-an-open-standard-for-packaging-distributing-and-running-llms-in-cloud-native-environment-wenbo-qi-chenyu-zhang-ant-group

9. Основна доповідь: Про стан країни - Джим Землін, виконавчий директор, Презентація Фонду Linux. Саміт з відкритого коду в Японії, 2025. Доступно за адресою: https://ossjapan2025.sched.com/event/2AEuA/keynote-state-of-the-union-jim-zemlin-executive-director-the-linux-foundation

10. Практичні стратегії синтетичних даних для RAG/Agentic систем - Кевін Ноель, Uzabase - Презентація Edge US. Саміт з відкритого коду в Японії, 2025. Доступно за адресою: https://ossjapan2025.sched.com/event/29FlW/practical-synthetic-data-strategies-for-ragagentic-systems-kevin-noel-uzabase-edge-us