Hayat Finans Bank 소개
하야트 파이낸스 은행, 터키 최초의 디지털 은행새로 설립된 인공지능 부서의 프로세스를 개선하고 머신 러닝 배포 파이프라인을 가속화하는 것을 목표로 합니다.
프로젝트 범위 및 목표
이 프로젝트는 Hayat Finans Bankasi를 위한 확장 가능한 Data Mesh 아키텍처를 설계하고 구현하여 사일로화된 데이터 관리와 데이터 통합의 비효율성이라는 과제를 해결하는 것을 목표로 했습니다. 이 이니셔티브는 데이터 통합과 접근성을 최적화하고, 도메인 소유권과 거버넌스를 보장하면서 부서 간 원활한 데이터 공유를 가능하게 하는 데 중점을 두었습니다. 분석 기능을 강화함으로써 이 플랫폼은 팀에 신뢰할 수 있는 최신 데이터에 직접 액세스할 수 있는 권한을 제공하여 의사 결정 프로세스와 운영 효율성을 개선했습니다. 또한 이 프로젝트는 강력한 보안 조치와 규정 준수를 우선시했습니다. 민감한 재무 데이터를 보호하기 위한 규제 표준을 준수합니다.. 궁극적으로 솔루션은 확장 가능하고 민첩하게 설계되어 변화하는 비즈니스 요구 사항에 대한 적응성을 보장하고 미래 성장을 지원합니다.
도전
Hayat Finans Bankasi를 위한 Data Mesh 플랫폼 구현은 몇 가지 중요한 과제를 안겨주었습니다. 기존 데이터 인프라는 다양한 부서에서 독립적으로 관리되는 시스템으로 특징지어졌으며, 이는 통합 및 협업을 개선할 수 있는 기회를 만들어냈습니다. 또한, 플랫폼은 성능이나 안정성을 손상시키지 않으면서 증가하는 데이터 볼륨과 사용자를 처리할 수 있도록 확장 가능해야 했습니다. 재무 데이터의 민감한 특성으로 인해 강력한 데이터 보안과 규제 표준 준수를 보장하는 것이 중요한 요구 사항이었습니다.
또 다른 과제는 분산형 데이터 소유권 모델로의 전환을 장려하는 것이었습니다. 이 전환에는 팀 전체에서 원활한 도입을 보장하기 위한 교육 및 정렬 노력과 함께 신중한 계획이 필요했습니다. 새로운 플랫폼을 레거시 시스템과 통합하는 데는 기술적, 운영적 어려움이 있었고, 여러 팀과 시스템에 걸쳐 세분화된 액세스 제어 정책을 정의하고 시행하는 데는 복잡성이 더해졌습니다. 이러한 과제를 해결하려면 혁신적인 기술, 전략적 계획 및 효과적인 변경 관리의 조합이 필요했습니다.
구현된 솔루션
Hayat Finans Bankası의 확장 가능하고 분산된 데이터 관리에 대한 요구를 충족하기 위해 포괄적인 Data Mesh 플랫폼이 개발되었습니다. 이 솔루션은 고급 도구와 기술을 통합하여 데이터 처리를 간소화하고, 보안을 강화하고, 분석 기능을 개선했습니다. Apache Airflow와 DBT는 데이터 파이프라인을 조정하고 관리하는 데 사용되었으며, OpenMetadata는 중앙 집중식 카탈로그화 및 메타데이터 관리를 제공하여 조직 전체에서 데이터 검색 가능성과 규정 준수를 보장했습니다.
ClickHouse는 고성능 데이터 마트로 사용되어 원활한 저장 및 분석이 가능했으며, Superset을 사용하여 시각화 및 보고 기능이 강화되었습니다. 예측 분석은 Jupyter Notebooks를 통해 지원되었으며, 이는 쉽게 액세스할 수 있도록 웹 앱으로 게시되었습니다.
Keycloak을 사용하여 ID 및 액세스 관리를 위한 강력한 보안 및 거버넌스 메커니즘을 구현했습니다. Open Policy Agent(OPA)는 플랫폼 전체에서 일관되고 안전한 액세스 제어를 보장하는 정책 시행 도구로 통합되어 세분화된 정책 정의 및 시행이 가능해졌습니다. 또한 정책 관리 시스템을 사용하여 역할과 권한을 조직 요구 사항에 맞췄습니다.
권한 요청 및 할당 프로세스를 효율적으로 관리하기 위해 플랫폼은 JIRA와 통합되었습니다. 사용자는 JIRA에서 티켓을 만들어 권한 요청을 직접 시작할 수 있으며, 승인 및 배포 프로세스가 간소화되었습니다. 이 통합을 통해 액세스 권한을 관리하고 운영 효율성과 규정 준수를 강화하기 위한 투명하고 감사 가능한 워크플로가 가능해졌습니다.
이 아키텍처는 모듈식이고 확장 가능하도록 설계되어 Hayat Finans Bankası가 실시간 통찰력, 향상된 운영 효율성, 규정 준수를 달성하는 동시에 변화하는 비즈니스 요구 사항에 적응할 수 있도록 했습니다.
운영 성공
의 구현 Data Mesh 플랫폼은 부서 간 데이터 공유 및 통합의 효율성을 크게 개선했습니다.. 팀은 신뢰할 수 있는 데이터에 더 빠르게 액세스하여 더 효과적인 의사 결정과 운영 프로세스를 가능하게 했습니다. 또한, 강화된 보안 및 규정 준수 조치로 조직 전체에서 안전하고 통제된 데이터 사용이 보장되었습니다.
부가 가치:
이 플랫폼을 통해 여러 부서가 데이터를 원활하고 안전하게 공유하여 협업을 촉진하고 사일로화된 시스템으로 인한 장벽을 제거할 수 있었습니다. 데이터 소유권을 분산함으로써 팀은 데이터를 제품으로 관리할 수 있는 권한을 부여받아 데이터 워크플로의 병목 현상을 줄이는 동시에 책임성과 사용성을 향상시켰습니다.
전체 평가
이 프로젝트는 주요 과제를 해결하고 원하는 성과를 달성하여 큰 성공을 거두었습니다. Data Mesh 플랫폼은 Hayat Finans Bankasi에 진화하는 비즈니스 요구를 지원하는 현대적이고 확장 가능한 인프라를 제공했습니다. 이 성공적인 협업은 강력하고 장기적인 파트너십의 토대를 마련하여 미래의 혁신과 성장 기회를 가능하게 했습니다.