Opzet en implementatie generiek MLOps Platform voor een grote gemeente

Robuust MLOps platform en CI/CD straat in Azure Machine Learning met gescheiden OTAP omgevingen, ACLs, en meerdere klant specifieke use-cases met productiestatus.

In het team Advanced Analytics van de afdeling Onderzoek en Business Intelligence (OBI) was er behoefte om diverse use-cases, ieder met een eigen focus, naar productie brengen.

Dit vereiste een generieke MLOps platform waarop alle use-cases centraal naar productie gebracht kunnen worden. Het platform dient te voldoen aan meerdere security aspecten conform het beleid van de gemeente: netwerk isolatie, dataprivacy, gescheiden rechten t.a.v. principe van minimale privileges, geautomatiseerde CI/CD straat en robuust product lifecycle management. Daarnaast was het ook noodzakelijk dat alle opgebouwde kennis en ervaring, in de respectieve vakgroepen, centraal wordt geborgd. Dit was nodig voor het opschalen, automatiseren en standaardiseren van de geleverde AI / ML services.

Bijdrage

CIMSOLUTIONS kwam aan boord met expertises in diverse rollen, waaronder Machine Learning Engineer, Data Scientist, AI Architect, Data Platform Engineer, DevOps Engineer, Data Engineer, Cloud Engineer, Cloud Netwerk Specialist, Software Engineer.

CIMSOLUTIONS heeft de initiële opzet van het MLOps platform op Azure Cloud aangescherpt op basis van de behoeften van de gemeente en vervolgens geïmplementeerd in de vorm van IaC (Infrastructure-as-Code) wat zorgt voor de systematische uitrol van de vergelijkbare omgevingen (OTAP-straat). Ook de solution patterns van het MLOps platform (batch, real-time, scheduled model deployments) waren door CIMSOLUTIONS uitgewerkt en toegepast op de concrete business cases. Samen met architecten en product owners van de gemeente heeft CIMSOLUTIONS een sleutelrol gespeeld bij het vaststellen en documenteren van de werkafspraken rondom Identity en Access Management (IAM), Data en Model Management, Cost Management (FinOps), Platform Reliability en Monitoring. CIMSOLUTIONS biedt regelmatig actuele kennis over de best practices op het gebied van data modelering, software engineering, DevOps en MLOps aan interne vakspecialisten van de Gemeente.

Methoden en Technieken

Het team gebruikte geavanceerde technologieën zoals MS Azure Cloud, MS Azure Machine Learning, MS Azure DevOps, Azure Synapse, Azure Databricks, MS Fabric, ADLS Gen 2, Azure KeyVault, Azure Artifacts, Azure App Service, Azure Virtual Network, Private Endpoints, Hub-Spoke network topology, Azure Firewall, Network Security Groups, Custom DNS, Azure ML CLI 2.55+, Python 3.8+, Azure ML Python SDK V1.48+, MLflow 2.1.1+, TensorFlow 2.4+, Pytorch 1.7+, Yolo v5+, LangChain 0.2.3+, Streamlit 1.35+, in een Agile / Scrum omgeving om het state-of-the-art platform te bouwen.

Resultaten

• Een Generiek en Schaalbaar MLOps Platform waarop alle use-cases centraal naar productie gebracht kunnen worden.
• Een Secuur Infrastructuur die voldoet aan het security beleid van de gemeente, waaronder netwerk isolatie, dataprivacy, gescheiden rechten t.a.v. principe van minimale privileges.
• Vastgestelde Werkafspraken rondom Identity en Access Management (IAM), Data en Model Management, Cost Management (FinOps), Platform Reliability en Monitoring.
• Regelmatige Kennisoverdracht en Kennisborging van actuele kennis over de best practices op het gebied van de nieuwste AI/ML-technologieën en DevOps-praktijken.