הנדסת נתונים בבנק חייט פיננס

לקוחות

על בנק חייט פיננס

בנק Hayat Finans, הבנק הדיגיטלי הראשון בטורקיה , ביקש לשפר תהליכים ולהאיץ את צינורות הפריסה של למידת מכונה עבור מחלקת הבינה המלאכותית שהוקמה לאחרונה.

היקף ומטרות הפרויקט

מחלקת הבינה המלאכותית שהוקמה לאחרונה של בנק Hayat Finans התמודדה עם אתגרים משמעותיים בפיתוח ופריסה של מודלים של למידת מכונה. הצוות נאבק ביצירת סביבת פיתוח יעילה של Python, נתקל בהתנגשויות תכופות בין ספריות Python. בשל מדיניות האבטחה המחמירה של הבנק, הם לא הצליחו להוריד ולנהל באופן אוטומטי את הספריות הדרושות, מה שסיבך עוד יותר את תהליך הפיתוח. בנוסף, חסרה למחלקה מערכת חזקה למעקב וניהול מודלים של למידת מכונה, מה שמקשה על מעקב אחר ניהול גרסאות, ביצועים ופריסה. אתגרים אלו הפריעו ליכולת של הצוות לייעל את זרימות העבודה ולספק מודלים ביעילות, והדגישו את הצורך בפתרון מרכזי וניתן להרחבה.

אתגרים

מחלקת הבינה המלאכותית שהוקמה לאחרונה של בנק חייט פיננס עמדה בפני מספר אתגרים מרכזיים:

סביבת פיתוח פייתון

הצוות נאבק בניהול ספריות Python, נתקל לעתים קרובות בקונפליקטים של תלות ששיבשו את תהליך הפיתוח. בשל מדיניות האבטחה המחמירה של הבנק, הם לא הצליחו להביא ולהתקין באופן אוטומטי את הספריות הנדרשות, דבר שעיכב עוד יותר את זרימות העבודה.

מעקב וגרסאות דגמים

למחלקה לא הייתה מערכת חזקה למעקב, ניהול וניהול גרסאות של מודלים של למידת מכונה. זה הקשה על מעקב אחר ביצועים, הבטחת שחזור ואוטומציה של צינורות פריסה, שהם קריטיים לפעולות קנה מידה.

שיתוף פעולה ויעילות

ללא סביבת פיתוח מרכזית, שיתוף הפעולה בין חברי הצוות לא היה יעיל. זה הוביל למאמצים כפולים, מחזורי איטרציה איטיים יותר, ופרודוקטיביות מופחתת הן במשימות הנדסת נתונים והן במשימות למידת מכונה.

ממשל נתונים ואחריות

למחלקה לא הייתה מערכת מובנית לעקוב אחר מי יצר מסמך, לאילו צוותים הייתה גישה אליו או כיצד נעשה בו שימוש. היעדר מוחלט זה של אחריות ושקיפות הפריע לשיתוף פעולה יעיל והציב אתגרי ציות, במיוחד בסביבה הבנקאית המפוקחת ביותר.

אוטומציה של פריסת מודלים

פריסת מודלים של למידת מכונה הייתה תהליך ידני וגוזל זמן, והגדיל את הסיכון לשגיאות וחוסר עקביות. חוסר האוטומציה גם עיכב את השילוב של דגמים חדשים במערכות הייצור.

פתרון מיושם

כדי להתמודד עם האתגרים העומדים בפני מחלקת הבינה המלאכותית של בנק חייט פיננסים, פותח פתרון מקיף וניתן להרחבה:

סביבת פיתוח פייתון מרכזית

סביבה מבוססת JupyterHub הוטמעה כדי לספק פלטפורמה מרכזית לפיתוח Python. גרעינים הוגדרו עבור צוותים שונים, ומונעים התנגשויות בין ספריות Python המשמשות מחלקות שונות. המערכת שולבה עם מאגר התוכנה הפנימי של הבנק, ואיפשרה גישה מבוקרת לספריות Python הנדרשות מבלי לפגוע במדיניות האבטחה. יתרה מזאת, גישת ברירת המחדל של JupyterHub ממוקדת המשתמש הותאמה למודל ממוקד מחלקה, המאפשרת לחברי צוות באותה מחלקה לגשת ולסקור את עבודתו של זה בצורה חלקה.

מעקב וגרסאות דגמים

MLflow נפרס כמערכת מעקב לניהול מחזור החיים של מודלים של למידת מכונה, מפיתוח ועד לפריסה. זה כלל בקרת גרסאות, ניטור ביצועים ושחזור, מה שמבטיח שניתן יהיה לנהל ולעדכן את המודלים ביעילות.

בדיקות ותיעוד מודלים אינטראקטיביים עם Streamlit

פותחה פלטפורמה מבוססת Streamlit כדי לתעד מודלים של למידת מכונה ולאפשר בדיקות אינטראקטיביות. פלטפורמה זו שילבה חוזי נתונים, המאפשרים לצוות לעקוב אחר מי יצר מסמך, איזה צוות שיתף אותו וכיצד הוא נוצל. זה שיפר את הממשל, האחריות והציות, תוך טיפוח שיתוף פעולה טוב יותר בין צוותים.

פריסת מודל אוטומטית

Kubernetes שימש ליצירת צינור פריסה אוטומטי וניתן להרחבה. מערכת זו ייעלה את תהליך פריסת מודלים של למידת מכונה לייצור, תוך הבטחת עקביות ומזעור שגיאות.

שיתוף פעולה ואופטימיזציה של זרימת עבודה

על ידי שילוב של JupyterHub, MLflow ו-Streamlit, נוצרה מערכת אקולוגית מרכזית שמייצבת זרימות עבודה ושיפור שיתוף הפעולה בין הנדסת נתונים וצוותים עסקיים. מודל JupyterHub הממוקד במחלקה איפשר עוד יותר עבודת צוות בתוך אותה מחלקה, בעוד שהפלטפורמה האינטראקטיבית Streamlit אפשרה למשתמשים עסקיים לספק משוב בזמן אמת, והאיצה את מחזור האיטרציה. כדי להתמודד עם האתגרים העומדים בפני מחלקת ה-AI של בנק Hayat Finans, הוטמעה סביבת Python ריכוזית באמצעות JupyterHub, המאפשרת שיתוף פעולה חלק בתוך המחלקות תוך מתן גישה מאובטחת לספריות. MLflow נפרס לניהול מודלים של למידת מכונה לאורך מחזור החיים שלהם, תוך מתן בקרת גרסאות ומעקב אחר ביצועים. פותחה פלטפורמה מבוססת Streamlit כדי לתעד ולבדוק מודלים באופן אינטראקטיבי, תוך שיפור הממשל ושיתוף הפעולה באמצעות חוזי נתונים. Kubernetes שימשה לאוטומטיות ולהרחבה של פריסת מודלים, הבטחת עקביות ומזעור שגיאות. גישה משולבת זו ייעלה את זרימות העבודה וחיזקה את שיתוף הפעולה בין צוותים.

תוצאות שימוש

הצלחה מבצעית

מודלים של למידת מכונה נפרסו מהר יותר ואמינות יותר עם הטמעת צינורות אוטומטיים.
מערכות מעקב מרכזיות שיפרו את ניהול הגרסאות והבטיחו את יכולת השחזור.
שיתוף הפעולה בין המחלקות שופר באמצעות הגישה הממוקדת במחלקה של JupyterHub, המאפשרת לצוותים לשתף ולסקור עבודה בצורה חלקה.

ערך מוסף

השילוב של חוזי נתונים סיפק אחריות ושקיפות בתיעוד ושיתוף מודלים, תוך הבטחת עמידה בדרישות הממשל של הבנק.
בדיקות ותיעוד אינטראקטיביים באמצעות Streamlit עודדו מחזורי משוב מהירים יותר והתאמה טובה יותר עם היעדים העסקיים.
זרימות עבודה אוטומטיות הפחיתו את חוסר היעילות התפעולית, ואפשרו לצוותים להתמקד יותר במשימות אסטרטגיות ובחדשנות.

הערכה כללית

פרויקט זה סימן אבן דרך משמעותית במסעו של בנק Hayat Finans לעבר בניית מערכת אקולוגית מודרנית של MLOps. על ידי התמודדות עם אתגרים קריטיים כמו מעקב מודל יעיל, פריסות אוטומטיות וממשל באמצעות חוזי נתונים, הפרויקט סיפק פלטפורמה ניתנת להרחבה וחזקה לפעולות למידת מכונה.
השילוב של כלים כמו JupyterHub, MLflow ו-Streamlit לא רק ייעל את זרימות העבודה אלא גם העצים את הצוותים עם היכולת לשתף פעולה ביעילות ולחדש מהר יותר. הצינורות האוטומטיים ותהליכי התיעוד המובנים הפחיתו משמעותית את התקורה התפעולית, מה שאפשר למחלקה להתמקד בהנעת יוזמות בינה מלאכותית אסטרטגית.
יישום מוצלח זה של עקרונות MLOps לא רק שינה את הפעילות של מחלקת הבינה המלאכותית אלא גם הקים בסיס לחידושים עתידיים. שיתוף הפעולה עם בנק Hayat Finans חיזק את האמון והניח את הבסיס לשותפות ארוכת טווח שמטרתה להמשיך ולקדם פתרונות מונעי בינה מלאכותית.