Hayat Finans Bank 소개
터키 최초의 디지털 은행인 하야트 피난스 은행은 새로 설립된 인공지능 부서의 프로세스를 개선하고 머신러닝 배포 파이프라인을 가속화하는 것을 목표로 삼았습니다.
프로젝트 범위 및 목표
Hayat Finans Bank의 새로 설립된 인공지능 부서는 머신 러닝 모델을 개발하고 배포하는 데 상당한 어려움에 직면했습니다. 이 팀은 효율적인 Python 개발 환경을 만드는 데 어려움을 겪었고, Python 라이브러리 간에 빈번한 충돌이 발생했습니다. 은행의 엄격한 보안 정책으로 인해 필요한 라이브러리를 자동으로 다운로드하고 관리할 수 없어 개발 프로세스가 더욱 복잡해졌습니다. 또한 이 부서는 머신 러닝 모델을 추적하고 관리하기 위한 강력한 시스템이 부족하여 버전 관리, 성능 및 배포 파이프라인을 모니터링하기 어려웠습니다. 이러한 어려움으로 인해 팀이 워크플로를 간소화하고 효율적으로 모델을 제공하는 능력이 저하되어 중앙 집중식 확장 가능 솔루션이 필요하다는 사실이 강조되었습니다.
도전
Hayat Finans Bank의 새로 설립된 인공지능 부서는 몇 가지 주요 과제에 직면했습니다.
파이썬 개발 환경
팀은 Python 라이브러리를 관리하는 데 어려움을 겪었고, 개발 프로세스를 방해하는 종속성 충돌이 자주 발생했습니다. 은행의 엄격한 보안 정책으로 인해 필요한 라이브러리를 자동으로 페치하여 설치할 수 없었고, 워크플로가 더욱 지연되었습니다.
모델 추적 및 버전 관리
이 부서는 머신 러닝 모델을 추적, 관리 및 버전 관리하기 위한 강력한 시스템이 부족했습니다. 이로 인해 성능 모니터링, 재현성 보장, 확장 운영에 중요한 배포 파이프라인 자동화가 어려워졌습니다.
협업 및 효율성
중앙 집중화된 개발 환경이 없다면 팀원 간의 협업은 비효율적이었습니다. 이로 인해 중복된 노력, 느린 반복 주기, 데이터 엔지니어링 및 머신 러닝 작업 모두에서 생산성이 저하되었습니다.
데이터 거버넌스 및 책임
부서에는 문서를 만든 사람, 문서에 접근할 수 있는 팀, 문서가 어떻게 활용되는지 추적할 수 있는 체계적인 시스템이 없었습니다. 책임과 투명성이 완전히 결여되어 효과적인 협업이 방해를 받았고, 특히 규제가 엄격한 은행 환경에서 규정 준수에 어려움을 겪었습니다.
모델 배포 자동화
머신 러닝 모델을 배포하는 것은 수동적이고 시간이 많이 걸리는 프로세스였으며, 오류와 불일치의 위험이 커졌습니다. 자동화가 부족하여 새로운 모델을 프로덕션 시스템에 통합하는 것도 지연되었습니다.
구현된 솔루션
Hayat Finans Bank의 인공지능 부서가 직면한 과제를 해결하기 위해 포괄적이고 확장 가능한 솔루션이 개발되었습니다.
중앙화된 Python 개발 환경
JupyterHub 기반 환경은 Python 개발을 위한 중앙 집중식 플랫폼을 제공하기 위해 구현되었습니다. 다양한 부서에서 사용하는 Python 라이브러리 간의 충돌을 방지하기 위해 여러 팀에 대한 커널이 정의되었습니다. 이 시스템은 은행의 내부 소프트웨어 저장소와 통합되어 보안 정책을 손상시키지 않고도 필요한 Python 라이브러리에 대한 통제된 액세스를 가능하게 했습니다. 또한 JupyterHub의 기본 사용자 중심 접근 방식은 부서 중심 모델에 맞게 조정되어 같은 부서 내의 팀 구성원이 서로의 작업에 원활하게 액세스하고 검토할 수 있었습니다.
모델 추적 및 버전 관리
MLflow는 개발에서 배포까지 머신 러닝 모델의 라이프사이클을 관리하는 추적 시스템으로 구축되었습니다. 여기에는 버전 제어, 성능 모니터링, 재현성이 포함되어 모델을 효율적으로 관리하고 업데이트할 수 있도록 보장했습니다.
Streamlit을 사용한 대화형 모델 테스트 및 문서화
Streamlit 기반 플랫폼은 머신 러닝 모델을 문서화하고 대화형 테스트를 가능하게 하기 위해 개발되었습니다. 이 플랫폼은 데이터 계약을 통합하여 팀이 문서를 만든 사람, 공유한 팀, 사용 방법을 추적할 수 있도록 했습니다. 이를 통해 거버넌스, 책임성 및 규정 준수가 강화되고 팀 간 협업이 더욱 향상되었습니다.
자동화된 모델 배포
쿠버네티스는 자동화되고 확장 가능한 배포 파이프라인을 만드는 데 사용되었습니다. 이 시스템은 머신 러닝 모델을 프로덕션에 배포하는 프로세스를 간소화하여 일관성을 보장하고 오류를 최소화했습니다.
협업 및 워크플로우 최적화
JupyterHub, MLflow, Streamlit을 통합하여 데이터 엔지니어링과 비즈니스 팀 간의 워크플로를 최적화하고 협업을 개선하는 중앙 집중형 생태계가 만들어졌습니다. 부서 중심의 JupyterHub 모델은 같은 부서 내에서 팀워크를 더욱 용이하게 했고, 대화형 Streamlit 플랫폼은 비즈니스 사용자가 실시간 피드백을 제공하여 반복 주기를 가속화할 수 있도록 했습니다. Hayat Finans Bank의 AI 부서가 직면한 과제를 해결하기 위해 JupyterHub를 사용하여 중앙 집중형 Python 환경을 구현하여 부서 내에서 원활한 협업을 가능하게 하고 필요한 라이브러리에 대한 안전한 액세스를 보장했습니다. MLflow는 머신 러닝 모델을 수명 주기 전반에 걸쳐 관리하여 버전 제어 및 성능 추적을 제공하기 위해 배포되었습니다. Streamlit 기반 플랫폼은 모델을 대화형으로 문서화하고 테스트하여 데이터 계약을 통한 거버넌스와 협업을 강화하기 위해 개발되었습니다. Kubernetes는 모델 배포를 자동화하고 확장하여 일관성을 보장하고 오류를 최소화하는 데 활용되었습니다. 이 통합된 접근 방식은 워크플로를 간소화하고 팀 간 협업을 강화했습니다.
결과
운영 성공
자동화된 파이프라인을 구현함으로써 머신 러닝 모델이 더 빠르고 안정적으로 배포되었습니다.
중앙 집중식 추적 시스템으로 버전 관리가 개선되고 재현성이 보장되었습니다.
JupyterHub의 부서 중심 접근 방식을 통해 부서 내 협업이 강화되어 팀 간에 원활하게 작업을 공유하고 검토할 수 있었습니다.
부가가치
데이터 계약을 통합함으로써 문서화 및 모델 공유에 대한 책임성과 투명성이 확보되었고, 은행의 거버넌스 요구 사항을 준수하는 데 도움이 되었습니다.
Streamlit을 통한 대화형 테스트와 문서화 덕분에 피드백 주기가 더 빨라지고 비즈니스 목표에 더 잘 부합할 수 있었습니다.
자동화된 워크플로는 운영상의 비효율성을 줄여 팀이 전략적 업무와 혁신에 더 집중할 수 있도록 했습니다.
전체 평가
이 프로젝트는 Hayat Finans Bank가 현대적 MLOps 생태계를 구축하는 여정에서 중요한 이정표를 세웠습니다. 효율적인 모델 추적, 자동화된 배포, 데이터 계약을 통한 거버넌스와 같은 중요한 과제를 해결함으로써 이 프로젝트는 머신 러닝 운영을 위한 확장 가능하고 견고한 플랫폼을 제공했습니다.
JupyterHub, MLflow, Streamlit과 같은 도구를 통합하면 워크플로가 간소화될 뿐만 아니라 팀이 효과적으로 협업하고 더 빠르게 혁신할 수 있는 능력을 갖추게 됩니다. 자동화된 파이프라인과 구조화된 문서화 프로세스는 운영 오버헤드를 크게 줄여 부서가 전략적 AI 이니셔티브를 추진하는 데 집중할 수 있게 했습니다.
MLOps 원칙의 성공적인 구현은 인공지능 부서의 운영을 혁신했을 뿐만 아니라 미래 혁신의 기반을 마련했습니다. Hayat Finans Bank와의 협업은 신뢰를 강화하고 AI 기반 솔루션을 더욱 발전시키는 것을 목표로 하는 장기적 파트너십의 토대를 마련했습니다.