О банке Hayat Finans
Банк Hayat Finans, первый цифровой банк Турции , поставил перед собой цель улучшить процессы и ускорить внедрение алгоритмов машинного обучения в своем недавно созданном подразделении искусственного интеллекта.
Масштаб и цели проекта
Недавно созданный отдел искусственного интеллекта банка Hayat Finans столкнулся со значительными трудностями при разработке и развертывании моделей машинного обучения. Команда боролась с созданием эффективной среды разработки Python, сталкиваясь с частыми конфликтами между библиотеками Python. Из-за строгих политик безопасности банка они не могли автоматически загружать и управлять необходимыми библиотеками, что еще больше усложняло процесс разработки. Кроме того, в отделе не было надежной системы отслеживания и управления моделями машинного обучения, что затрудняло мониторинг версий, производительности и конвейеров развертывания. Эти проблемы мешали команде оптимизировать рабочие процессы и эффективно предоставлять модели, подчеркивая необходимость централизованного масштабируемого решения.
Задачи
Недавно созданный отдел искусственного интеллекта банка Hayat Finans столкнулся с рядом ключевых проблем:
Среда разработки Python
Команда боролась с управлением библиотеками Python, часто сталкиваясь с конфликтами зависимостей, которые нарушали процесс разработки. Из-за строгих политик безопасности банка они не могли автоматически извлекать и устанавливать требуемые библиотеки, что еще больше задерживало рабочие процессы.
Отслеживание моделей и управление версиями
В отделе отсутствовала надежная система отслеживания, управления и версионирования моделей машинного обучения. Это затрудняло мониторинг производительности, обеспечение воспроизводимости и автоматизацию конвейеров развертывания, которые имеют решающее значение для масштабирования операций.
Сотрудничество и эффективность
Без централизованной среды разработки сотрудничество между членами команды было неэффективным. Это приводило к дублированию усилий, замедлению циклов итераций и снижению производительности как в задачах по инжинирингу данных, так и в задачах машинного обучения.
Управление данными и подотчетность
В департаменте не было структурированной системы для отслеживания того, кто создал документ, какие команды имели к нему доступ или как он использовался. Полное отсутствие подотчетности и прозрачности препятствовало эффективному сотрудничеству и создавало проблемы соответствия, особенно в жестко регулируемой банковской среде.
Автоматизация развертывания модели
Развертывание моделей машинного обучения было ручным и трудоемким процессом, что увеличивало риск ошибок и несоответствий. Отсутствие автоматизации также задерживало интеграцию новых моделей в производственные системы.
Реализованное решение
Для решения задач, с которыми сталкивается отдел искусственного интеллекта банка Hayat Finans, было разработано комплексное и масштабируемое решение:
Централизованная среда разработки Python
Была реализована среда на основе JupyterHub для предоставления централизованной платформы для разработки Python. Ядра были определены для разных команд, что предотвратило конфликты между библиотеками Python, используемыми различными отделами. Система была интегрирована с внутренним репозиторием программного обеспечения банка, что позволило контролировать доступ к необходимым библиотекам Python без ущерба для политик безопасности. Кроме того, подход JupyterHub по умолчанию, ориентированный на пользователя, был адаптирован к модели, ориентированной на отдел, что позволило членам команды в одном отделе беспрепятственно получать доступ и просматривать работу друг друга.
Отслеживание моделей и управление версиями
MLflow был развернут как система отслеживания для управления жизненным циклом моделей машинного обучения, от разработки до развертывания. Это включало контроль версий, мониторинг производительности и воспроизводимость, гарантируя, что модели могут эффективно управляться и обновляться.
Интерактивное тестирование моделей и документирование с помощью Streamlit
Была разработана платформа на основе Streamlit для документирования моделей машинного обучения и обеспечения интерактивного тестирования. Эта платформа включала контракты данных, позволяя команде отслеживать, кто создал документ, какая команда им поделилась и как он был использован. Это улучшило управление, подотчетность и соответствие, одновременно способствуя лучшему сотрудничеству между командами.
Автоматизированное развертывание модели
Kubernetes использовался для создания автоматизированного и масштабируемого конвейера развертывания. Эта система оптимизировала процесс развертывания моделей машинного обучения в производстве, обеспечивая согласованность и минимизируя ошибки.
Совместная работа и оптимизация рабочих процессов
Благодаря интеграции JupyterHub, MLflow и Streamlit была создана централизованная экосистема, которая оптимизировала рабочие процессы и улучшила сотрудничество между командами по инжинирингу данных и бизнес-группами. Модель JupyterHub, ориентированная на отделы, еще больше упростила командную работу в рамках одного отдела, в то время как интерактивная платформа Streamlit позволила бизнес-пользователям предоставлять обратную связь в режиме реального времени, ускоряя цикл итерации. Для решения проблем, с которыми столкнулся отдел ИИ банка Hayat Finans, была реализована централизованная среда Python с использованием JupyterHub, что позволило обеспечить бесперебойное сотрудничество в рамках отделов и при этом обеспечить безопасный доступ к необходимым библиотекам. MLflow был развернут для управления моделями машинного обучения на протяжении всего их жизненного цикла, обеспечивая контроль версий и отслеживание производительности. Была разработана платформа на основе Streamlit для интерактивного документирования и тестирования моделей, что улучшило управление и сотрудничество с помощью контрактов данных. Kubernetes использовался для автоматизации и масштабирования развертывания моделей, обеспечивая согласованность и минимизацию ошибок. Этот интегрированный подход оптимизировал рабочие процессы и усилил сотрудничество между командами.
Результаты
Оперативный успех
Модели машинного обучения стали внедряться быстрее и надежнее благодаря внедрению автоматизированных конвейеров.
Централизованные системы отслеживания улучшили управление версиями и обеспечили воспроизводимость.
Сотрудничество внутри отделов было улучшено благодаря подходу JupyterHub, ориентированному на отделы, что позволило командам беспрепятственно обмениваться результатами работы и проверять их.
Добавленная стоимость
Интеграция контрактов на данные обеспечила подотчетность и прозрачность при документировании и совместном использовании моделей, гарантируя соблюдение требований управления банка.
Интерактивное тестирование и документирование с помощью Streamlit способствовали ускорению циклов обратной связи и лучшему соответствию бизнес-целям.
Автоматизированные рабочие процессы снизили операционную неэффективность, позволив командам больше сосредоточиться на стратегических задачах и инновациях.
Общая оценка
Этот проект стал важной вехой на пути Hayat Finans Bank к построению современной экосистемы MLOps. Решая такие важные задачи, как эффективное отслеживание моделей, автоматизированное развертывание и управление посредством контрактов данных, проект предоставил масштабируемую и надежную платформу для операций машинного обучения.
Интеграция таких инструментов, как JupyterHub, MLflow и Streamlit, не только оптимизировала рабочие процессы, но и предоставила командам возможность эффективно сотрудничать и быстрее внедрять инновации. Автоматизированные конвейеры и структурированные процессы документирования значительно сократили операционные издержки, что позволило отделу сосредоточиться на продвижении стратегических инициатив ИИ.
Успешное внедрение принципов MLOps не только преобразило деятельность отдела искусственного интеллекта, но и заложило основу для будущих инноваций. Сотрудничество с Hayat Finans Bank укрепило доверие и заложило основу для долгосрочного партнерства, направленного на дальнейшее продвижение решений на основе ИИ.