A Hayat Finans Bankról
A Hayat Finans Bank, Törökország első digitális bankja , célja a folyamatok fejlesztése és a gépi tanulás bevezetésének felgyorsítása volt az újonnan létrehozott mesterséges intelligencia részlegénél.
A projekt hatóköre és célkitűzései
A Hayat Finans Bank újonnan létrehozott mesterséges intelligencia részlege jelentős kihívásokkal szembesült a gépi tanulási modellek fejlesztése és alkalmazása során. A csapat küzdött egy hatékony Python fejlesztői környezet létrehozásával, és gyakori ütközésekbe ütközött a Python-könyvtárak között. A bank szigorú biztonsági szabályzata miatt nem tudták automatikusan letölteni és kezelni a szükséges könyvtárakat, ami tovább bonyolította a fejlesztési folyamatot. Ezenkívül a részleg nem rendelkezett robusztus rendszerrel a gépi tanulási modellek nyomon követésére és kezelésére, ami megnehezítette a verziószámítás, a teljesítmény és a telepítési folyamatok nyomon követését. Ezek a kihívások hátráltatták a csapatot abban, hogy egyszerűsítse a munkafolyamatokat és hatékonyan szállítson modelleket, ami rávilágított a központosított, méretezhető megoldás szükségességére.
Kihívások
A Hayat Finans Bank újonnan létrehozott mesterséges intelligencia részlege számos kulcsfontosságú kihívással szembesült:
Python fejlesztői környezet
A csapat küzdött a Python-könyvtárak kezelésével, és gyakran találkozott olyan függőségi konfliktusokkal, amelyek megzavarták a fejlesztési folyamatot. A bank szigorú biztonsági szabályzata miatt nem tudták automatikusan lekérni és telepíteni a szükséges könyvtárakat, ami tovább késleltette a munkafolyamatokat.
Modellkövetés és verziószámítás
A részleg nem rendelkezett robusztus rendszerrel a gépi tanulási modellek nyomon követésére, kezelésére és verziószámára. Ez megnehezítette a teljesítmény figyelését, a reprodukálhatóság biztosítását és a telepítési folyamatok automatizálását, amelyek kritikusak a méretezési műveletek szempontjából.
Együttműködés és hatékonyság
Központosított fejlesztői környezet nélkül a csapattagok közötti együttműködés nem volt hatékony. Ez megkettőzött erőfeszítésekhez, lassabb iterációs ciklusokhoz és csökkent termelékenységhez vezetett mind az adatmérnöki, mind a gépi tanulási feladatokban.
Adatkezelés és elszámoltathatóság
Az osztálynak nem volt strukturált rendszere annak nyomon követésére, hogy ki készített egy dokumentumot, mely csapatok fértek hozzá, vagy hogyan használják fel. Az elszámoltathatóság és az átláthatóság teljes hiánya akadályozta a hatékony együttműködést, és megfelelési kihívásokat jelentett, különösen a szigorúan szabályozott banki környezetben.
Modell-telepítési automatizálás
A gépi tanulási modellek bevezetése manuális és időigényes folyamat volt, ami növelte a hibák és következetlenségek kockázatát. Az automatizálás hiánya késleltette az új modellek gyártási rendszerekbe való integrálását is.
Megvalósított megoldás
A Hayat Finans Bank mesterséges intelligencia részlege előtt álló kihívások kezelésére egy átfogó és méretezhető megoldást fejlesztettek ki:
Központi Python fejlesztői környezet
Egy JupyterHub-alapú környezetet vezettek be, hogy központi platformot biztosítsanak a Python fejlesztéshez. A rendszermagokat különböző csapatok számára határozták meg, megakadályozva a különböző részlegek által használt Python-könyvtárak közötti konfliktusokat. A rendszer integrálva volt a bank belső szoftvertárával, lehetővé téve a szükséges Python-könyvtárak ellenőrzött elérését a biztonsági szabályzatok veszélyeztetése nélkül. Ezenkívül a JupyterHub alapértelmezett felhasználó-központú megközelítését egy részlegközpontú modellhez igazították, lehetővé téve az ugyanazon részlegen belüli csapattagok számára egymás munkájának zökkenőmentes elérését és áttekintését.
Modellkövetés és verziószámítás
Az MLflow-t nyomkövető rendszerként vezették be a gépi tanulási modellek életciklusának kezelésére, a fejlesztéstől a telepítésig. Ez magában foglalta a verziókezelést, a teljesítményfigyelést és a reprodukálhatóságot, biztosítva a modellek hatékony kezelését és frissítését.
Interaktív modelltesztelés és -dokumentáció a Streamlit segítségével
Egy Streamlit-alapú platformot fejlesztettek ki a gépi tanulási modellek dokumentálására és az interaktív tesztelésre. Ez a platform adatszerződéseket tartalmazott, lehetővé téve a csapat számára, hogy nyomon követhesse, ki készített egy dokumentumot, melyik csapat osztotta meg azt, és hogyan használták fel. Ez javította az irányítást, az elszámoltathatóságot és a megfelelőséget, miközben elősegíti a csapatok közötti jobb együttműködést.
Automatizált modellbevezetés
A Kubernetes egy automatizált és méretezhető telepítési folyamat létrehozására szolgált. Ez a rendszer leegyszerűsítette a gépi tanulási modellek üzembe helyezésének folyamatát, biztosítva a konzisztenciát és minimalizálva a hibákat.
Együttműködés és munkafolyamat-optimalizálás
A JupyterHub, az MLflow és a Streamlit integrálásával olyan központosított ökoszisztémát hoztak létre, amely optimalizálta a munkafolyamatokat és javította az adatmérnöki és üzleti csapatok közötti együttműködést. Az osztályközpontú JupyterHub modell tovább könnyítette a csapatmunkát ugyanazon a részlegen belül, míg az interaktív Streamlit platform lehetővé tette az üzleti felhasználók számára, hogy valós idejű visszajelzést adhassanak, felgyorsítva az iterációs ciklust. A Hayat Finans Bank mesterséges intelligencia részlege előtt álló kihívások kezelése érdekében a JupyterHub segítségével központi Python-környezetet valósítottak meg, lehetővé téve a részlegeken belüli zökkenőmentes hozzáférést a könyvtárakhoz. Az MLflow-t a gépi tanulási modellek teljes életciklusa során történő kezeléséhez vezették be, verzióvezérlést és teljesítménykövetést biztosítva. Egy Streamlit-alapú platformot fejlesztettek ki a modellek interaktív dokumentálására és tesztelésére, adatszerződéseken keresztül javítva az irányítást és az együttműködést. A Kubernetes-t a modelltelepítés automatizálására és méretezésére használták, biztosítva a konzisztenciát és minimalizálva a hibákat. Ez az integrált megközelítés leegyszerűsítette a munkafolyamatokat és megerősítette a csapatok közötti együttműködést.
Eredmények
Működési siker
A gépi tanulási modellek gyorsabban és megbízhatóbban kerültek bevezetésre az automatizált csővezetékek megvalósításával.
A központosított nyomkövető rendszerek javították a verziókezelést és biztosították a reprodukálhatóságot.
Az osztályokon belüli együttműködést a JupyterHub részlegközpontú megközelítése javította, lehetővé téve a csapatok számára a munka zökkenőmentes megosztását és áttekintését.
Hozzáadott Érték
Az adatszerződések integrálása elszámoltathatóságot és átláthatóságot biztosított a dokumentációban és a modellmegosztásban, biztosítva a bank irányítási követelményeinek való megfelelést.
A Streamliten keresztül végzett interaktív tesztelés és dokumentáció gyorsabb visszacsatolási ciklust és az üzleti célokhoz való jobb igazodást ösztönözte.
Az automatizált munkafolyamatok csökkentették a működési hatékonyságot, így a csapatok jobban összpontosíthatnak a stratégiai feladatokra és az innovációra.
Átfogó értékelés
Ez a projekt jelentős mérföldkövet jelentett a Hayat Finans Banknak a modern MLOps ökoszisztéma kiépítése felé vezető útján. Az olyan kritikus kihívások megoldásával, mint a hatékony modellkövetés, az automatizált üzembe helyezés és az adatszerződéseken keresztüli irányítás, a projekt méretezhető és robusztus platformot biztosított a gépi tanulási műveletekhez.
Az olyan eszközök integrációja, mint a JupyterHub, az MLflow és a Streamlit, nemcsak egyszerűsítette a munkafolyamatokat, hanem a csapatok számára is lehetővé tette a hatékony együttműködést és a gyorsabb innovációt. Az automatizált folyamatok és a strukturált dokumentációs folyamatok jelentősen csökkentették a működési többletköltségeket, lehetővé téve az osztály számára, hogy a stratégiai AI-kezdeményezésekre összpontosítson.
Az MLOps alapelvek sikeres megvalósítása nemcsak a mesterséges intelligencia részleg működését változtatta meg, hanem megalapozta a jövőbeli innovációkat is. A Hayat Finans Bankkal való együttműködés megerősítette a bizalmat, és megteremtette az alapot egy hosszú távú partnerséghez, amelynek célja az AI-vezérelt megoldások továbbfejlesztése.