Foto: M-vector - shutterstock.com
Der aktuelle "State of Modelops 2022"-Report fördert einige interessante Erkenntnisse zutage. Dazu gehören unter anderem:
51 Prozent der befragten Großunternehmen haben zwar bereits KI-Pilotprojekte oder -Experimente auf den Weg gebracht - diese aber noch nicht in die Produktion überführt.
Lediglich 38 Prozent der Befragten sehen sich in der Lage, Fragen von Führungskräften zur Rentabilität von KI-Investitionen beantworten können.
43 Prozent der Studienteilnehmer sind der Überzeugung, ihr Unternehmen sei nicht in der Lage, Probleme zeitnah zu finden und zu beheben.
Diese Resultate werfen die Frage auf, wie sich ML-Modelle in der Produktion effizienter entwickeln, ausliefern und managen lassen.
MLops oder Modelops?
Datenwissenschaftlern stehen heute zahlreiche Analyse-Tools zur Verfügung, um Modelle zu entwickeln, zum Beispiel:
Alteryx,
AWS SageMaker,
Dataiku,
DataRobot,
Google Vertex AI,
KNIME,
Microsoft Azure Machine Learning, oder
SAS.
Zudem unterstützen MLops-Plattformen Data-Science-Teams dabei, ihre Analyse-Tools zu integrieren, Experimente durchzuführen und ML-Modelle während des Entwicklungsprozesses bereitzustellen.
Rohit Tandon, General Manager für ReadyAI und Managing Director bei Deloitte, erklärt die Rolle von MLops bei großangelegten KI-Projekten: "Da Unternehmen versuchen, ihre KI-Entwicklungskapazitäten von Dutzenden auf Hunderte oder sogar Tausende von ML-Modellen zu skalieren, können sie von der gleichen technischen und betrieblichen Disziplin profitieren, die DevOps in die Softwareentwicklung getragen hat. MLops kann dabei helfen, manuelle, ineffiziente Arbeitsabläufe zu automatisieren und alle Schritte der Modellerstellung und -verwaltung zu rationalisieren."
Die Hauptfunktion von MLops-Plattformen besteht darin, Datenwissenschaftler bei Entwicklungs-, Test- und Verbesserungsprozessen zu unterstützen. Modelops-Plattformen und -Praktiken zielen hingegen darauf ab, eine Lücke zu schließen, indem sie Collaboration-, Orechstrierungs- und Reporting-Tools bereitstellen, die darüber Auskunft geben, welche ML-Modelle in der Produktion laufen und wie gut sie aus betrieblicher, Compliance- und Geschäftsperspektive funktionieren. Während MLops für Data Science also mit DevOps-Tools vergleichbar ist, bietet Modelops Governance, Collaboration und Reporting rund um den ML-Lebenszyklus, wobei der Fokus auf Operations, Monitoring und Support liegt.
Zu den Anwendungsbeispielen für Modelops gehören etwa:
Banken, die ML-Modelle für die Kreditvergabe entwickeln;
Krankenhäuser, die ML einsetzen, um Anomalien bei Patienten zu erkennen, oder
Einzelhändler, die mithilfe von Machine Learning Produktionsdurchsatz und Kundennachfrage in Einklang bringen.
Dabei sollten Sie sich bewusst machen, dass es einige verwirrende Überschneidungen in Sachen Terminologie und Fähigkeiten zwischen MLops, Modelops und sogar Dataops gibt.
5 Wege: Modelops als Produktivitäts-Boost
Wenn es darum geht, Data Scientists dabei zu unterstützen, Compliance-konforme ML-Modelle bereitzustellen, zu managen und zu reporten, lassen sich die folgenden fünf Modelops-Funktionen produktivitätssteigernd einsetzen:
1. Über ML-Modellkatalog kollaborieren
Wissen Data-Science-Teams, welche ML-Modelle in der Produktion laufen und wie gut sie funktionieren? Ähnlich wie Data Governance und DataOps Datenkataloge als Anlaufstelle für verfügbare Datensätze nutzen, kann der Modelops-Ansatz operative Transparenz für ML-Modelle bieten.
"Die Produktivität von Datenwissenschaftlern lässt sich daran messen, wie schnell sie Modelle in den Anwendungen und Diensten ihres Unternehmens auf den Markt bringen können", meint Dmitry Petrov, Mitbegründer und CEO des KI-Spezialisten Iterative. Um das zu erreichen, empfiehlt er Unternehmen, die Sichtbarkeit und Zusammenarbeit zwischen den Data-Science-Teams zu verbessern.
Dazu schlägt Petrov vor, einen zentralen Ort einzurichten, an dem alle modellbezogenen Informationen, wie Daten, Experimente, Metriken und Hyperparameter zusammenlaufen. "Diese lassen sich mit entwicklungsorientierten Tools verbinden, um die Einführung von ML-Modellen in die Produktion reibungsloser zu gestalten."
2. Weg zur Produktion automatisieren
Die von Petrov bereits erwähnten DevOps-Tools beziehen sich speziell auf CI/CD-Werkzeuge, die dabei helfen, Code, Parameter und Datenartefakte in Laufzeitumgebungen zu übertragen. Continous Deployment in Produktionsumgebungen zu implementieren, bringt zusätzliche Business Stakeholder mit sich - speziell wenn prädiktive Modelle zum Einsatz kommen sollen, die hinsichtlich der Compliance überprüft werden müssen.
Manasi Vartak, Gründerin und CEO des Operations-Spezialisten Verta, schlägt deshalb vor, Modelops-Plattformen mit Bereitschafts-Checklisten, automatisierten Workflows und eingebauten Zugriffskontrollen für die Governance zu nutzen. Auf diese Weise werde die Entwicklung deutlich erleichtert und beschleunigt: "Data-Science-Teams übergeben Modelle an ihre Model-Risk-Management-, ML-Engineering-, SRE- und DevOps-Teams, um die Betriebszuverlässigkeit, Governance, Sicherheit und Skalierbarkeit von geschäftskritischen Echtzeit-Implementierungen von KI sicherzustellen."
3. ML-Modelle für Operations und Compliance überwachen
Datenwissenschaftler bei der Automatisierung und schnelleren Bereitstellung von mehr Modellen zu unterstützen, kann zu Business-Problemen führen, wenn kein operatives Modelops-Modell eingesetzt wird. Wie Kjell Carlsson, Head of Data Science Strategy and Evangelism bei Domino Data Lab, weiß, ist Model Monitoring ein wesentlicher "operational need": "Mit Hilfe von Modelops-Plattformen können Datenwissenschaftler Modelle schneller entwickeln. Im Idealfall rationalisieren diese Plattformen Bereitstellung und Monitoring dort, wo die Business-Applikationen liegen - sei es On-Premises oder in der Cloud."
4. Business Impacts reporten
Datenwissenschaftler bringen ML-Modelle in die Produktion, die Geschäftsanwender erfahren die Vorteile am eigenen Leib - doch wie ermitteln die Führungskräfte, die die KI-Investition finanziert haben, ab welchem Zeitpunkt sich das rechnet?
"Das Ziel sind schnelle und präzise Entscheidungen, daher sollten Unternehmen die Produktivität eines Datenwissenschaftlers zusammen mit der Produktivität der Analysten und Geschäftsanwender messen, die die KI nutzen", meint Krishna Kallakuri, CEO beim Automatisierungsanbieter Diwo. Iterative-CEO Petrov fügt hinzu, dass Modelops-Plattformen ermöglichen sollten, den Fortschritt bei der Modellerstellung und -verbesserung zu visualisieren und diese Informationen mit den Teammitgliedern und der Geschäftsleitung zu teilen."
Die Auswirkungen von KI und ML in der Produktion sind für Führungskräfte nicht immer sichtbar. Oft ist es ein Bestandteil des Kundenerlebnisses, Mitarbeiter-Workflows oder einer Anwendungsintegration, der die Auswirkungen bewirkt. Modelops-Plattformen mit Executive-Reporting-Funktion zielen darauf ab, diese Lücke zu schließen.
5. ML-Modelllebenszyklus unterstützen
Betrachten wir einige der Funktionen von Modelops-Plattformen, die die Produktivität von Datenwissenschaftlern verbessern:
Produktionsimplementierungen mit Versionierung und Rollback-Funktionen managen;
Collaboration mit anderen Datenwissenschaftlern, Förderung von Wissensaustauschs und Wiederverwendbarkeit;
Modelle in der Produktion identifizieren und priorisieren, die unterdurchschnittliche Performance liefern oder Unterstützung benötigen;
Überprüfbarkeit und Audit-Reporting von Modellen verbessern, damit Datenwissenschaftler möglichst schnell auf Regulierungsbehörden reagieren können;
Geschäftsberichterstattung automatisieren, um Datenwissenschaftlern eine einzige Quelle zur Verfügung zu stellen, die sie mit Stakeholdern und Führungskräften teilen können und der über die Business Impacts der Modelle Aufschluss gibt.
Immer mehr Unternehmen werden künftig mit ML und KI experimentieren. Bleibt die Frage, ob MLops, Modelops oder andere aufkommende Best Practices Datenwissenschaftler in Zukunft dabei unterstützen werden, ML-Modelle in der Produktion zu implementieren, zu verwalten und ihren geschäftlichen Mehrwert zu demonstrieren. (fm)
Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation InfoWorld.