Foto: Blue Planet Studio - shutterstock.com
Mark Twain hat einmal gesagt, dass es drei Arten von Lügen gibt: Lügen, verdammte Lügen und Statistiken. Heute denken viele CIOs genauso über Metriken. Diese sind nur so gut wie ihre Quelle. "Allzu oft bezahlen Technologieunternehmen Beratungs- oder Analystenfirmen dafür, dass sie Metriken auf der Grundlage der besten Eigenschaften ihrer Angebote erstellen", berichtet Judith Hurwitz, CEO des Tech-Beratungsunternehmens Hurwitz Strategies. "CIOs müssen daher vorsichtig sein, wenn es darum geht, Metriken für bare Münze zu nehmen, und Führungskräfte müssen die Daten hinter den Metriken verstehen."
Die Interpretation von Metriken ist im Wesentlichen ein Zahlenspiel, bisweilen auch ein Glücksspiel. Und wie bei jedem Zahlenspiel kann man entweder gewinnen oder verlieren. Im Folgenden finden Sie sieben Wege, auf denen IT-Führungskräfte häufig von KPIs sowie anderen wichtigen Business- und IT-Kennzahlen in die Irre geführt werden.
Fehler 1: Keine Berücksichtigung der Quelle
Bei der Untersuchung einer Kennzahl ist es wichtig zu wissen, wer sie erstellt hat und aus welcher Quelle die Daten stammen. Die Ergebnisse können beispielsweise auf einer Umfrage beruhen. Wenn dies der Fall ist, sollten Sie sich erkundigen, wie viele Personen befragt wurden und welche Rolle sie in ihrem jeweiligen Unternehmen spielten. Überprüfen Sie auch, ob die Kennzahlen auf einer bewährten Methodik beruhen.
"Es ist wichtig, die Forschung und die Daten hinter den Kennzahlen zu verstehen", sagt Hurwitz. Berücksichtigen Sie auch den Zweck der Kennzahl. Wird sie als Planungsinstrument verwendet? Kann sie in diesem Fall dazu beitragen, eine Geschäftsstrategie, eine Technologieauswahl oder einen anderen Bedarf zu bestimmen? "Metriken sind nur ein Instrument zur Entscheidungsfindung", so Hurwitz. "Daher sollten Sie Metriken immer mit Skepsis betrachten."
Fehler 2: Fehlende Zusammenarbeit der Instanzen
Die meisten Unternehmen haben inzwischen einen gewissen Reifegrad im Umgang mit Daten erreicht. "Wenn Ihr Unternehmen über Daten verfügt, nutzen Sie diese auf jeden Fall, um Erkenntnisse aus der Analyse zu gewinnen und bessere Geschäftsergebnisse zu erzielen", empfiehlt John Loury, Präsident und CEO von Cause + Effect Strategy, einem BI-Beratungsunternehmen. "Wir schreiben das Jahr 2022 und haben das Zeitalter von DRIP - "Data Rich, Insight Poor" - hinter uns gelassen.
Loury ist der Meinung, dass die meisten Unternehmen bei der Kommunikation mit den Mitarbeitern an vorderster Front, die die gesammelten Metriken letztendlich für Entscheidungen und Maßnahmen nutzen, nicht tief genug vorgehen. Er empfiehlt daher, vor der Erstellung von Analysen die Business-Anforderungen aller beteiligten Parteien zu sammeln. Mit der Folge, dass Metriken auf Datenpunkte konzentriert werden müssten, die für die Erzielung von Ergebnissen am wichtigsten sind, so Loury. "Priorisieren Sie das, was sich am unmittelbarsten auf die Geschäftsentscheidung auswirkt, die der Benutzer zu treffen versucht".
Der Berater rät zudem, Kommunikationsfähigkeiten aufzubauen und zu verfeinern, um den Teammitgliedern Metrik-basierte Erkenntnisse zu vermitteln. "Moderne CIOs und Leiter von Analytics-Abteilungen müssen in der Lage sein, die wichtigsten Kennzahlen zusammenzustellen, die für ein Team die größten Auswirkungen haben, und sie so zu präsentieren, dass sie für Benutzer sinnvoll sind und ihnen helfen, ihr Verhalten zu steuern", sagt er.
Loury fügt hinzu, dass es auch für CIOs an der Zeit ist, ihre Teams damit zu beauftragen, die Anwender wirklich zu verstehen und für sie maßgeschneiderte, effektive Analyselösungen zu entwickeln. "Die Zeiten, in denen Datenverantwortliche und ihre Teams sich darum bemühten, etwas - oder irgendetwas - zu entwickeln und an die Fachabteilungen zu liefern, liegen hinter uns", erklärt er. "Wir leben mit den Ergebnissen dieser Tage, in denen Business-Teams mit einer Flut von Dashboards überschwemmt werden, die ihnen alles und nichts sagen."
Fehler 3: Eigenverantwortung, Beteiligung und Ausgewogenheit
Metriken bieten eine hervorragende Gelegenheit für Eigenverantwortung und Mitarbeiterbeteiligung sowie für kontinuierliche Verbesserung und Prozesskontrolle. "Der Schlüssel zur richtigen Interpretation von Metriken liegt darin, das gesamte Team einzubeziehen und die Metriken zur kollektiven Verbesserung von Prozessen zu nutzen", sagt Paul Gelter, Koordinator der CIO-Services beim Unternehmens- und Technologieberatungsunternehmen Centric Consulting.
Laut Gelter ist es bei der Bewertung von Kennzahlen wichtig, ein Gleichgewicht zwischen Kosten, Qualität und Service herzustellen. Kostenmetriken könnten beispielsweise in Form von abgeschlossenen Tickets pro Person verfolgt werden, während die Qualität der Tickets durch Nacharbeiten oder wiedereröffnete Tickets beeinträchtigt wird. "Der Service könnte dann durch die Reaktionszeit, den Rückstand und die Betriebszeit beeinflusst werden", merkt er an. Es geht also darum, ein optimales Gleichgewicht zu finden.
Fehler 4: Den falschen Zahlen nachjagen
Zeit ist Geld, also verschwenden Sie keine kostbaren Stunden mit der Untersuchung irrelevanter Kennzahlen. Legen Sie alle Ziele klar fest, bevor Sie entscheiden, welche Kennzahlen Sie untersuchen wollen. In den meisten Fällen sind KPIs, die zukünftige Entscheidungsoptionen nicht unterstützen oder widerspiegeln, unnötig, ablenkend und zeitraubend.
Sobald das Ziel vollständig definiert ist, sollten Sie sich ausreichend Zeit nehmen, um die Faktoren zu verstehen, die Schwankungen in den einzelnen Kennzahlen verursachen, empfiehlt Alex Levin, Mitbegründer des Technologie- und Designstudios L+R. Als Nächstes folgt die Untersuchung, wie die einzelnen Kennzahlen miteinander verknüpft sind und was in den verschiedenen Phasen des Lebenszyklus einer Initiative oder eines Projekts passieren kann, das sich direkt auf KPIs auswirken könnte. In der Zwischenzeit sollten IT-Manager keine Zeit mit dem Verschweigen oder Sammeln von Schlussfolgerungen verschwenden. Levin rät, die Studienergebnisse mit dem Team zu teilen, um sicherzustellen, dass jeder Einzelne die Metrik-gestützten Erkenntnisse zur Verbesserung der Leistung und der Ergebnisse nutzen kann.
Fehler 5: Alleingänge
Die Erforschung und Untersuchung von Metriken darf kein isoliertes Unterfangen sein. Mike Capone, CEO des Entwicklers der Analyse- und Datenintegrationsplattform Qlik sowie Ex-CIO, empfiehlt, von Anfang an mit den Verantwortlichen der Business Units zusammenzuarbeiten, um wertvolle kontextbezogene Details zu sammeln und anzuwenden. "Diese Informationen und Beziehungen geben dem CIO und dem IT-Team das richtige Maß an Verständnis dafür, was im Unternehmen tatsächlich passiert, um die operativen Ziele kurz- und langfristig zu unterstützen", erklärt er. Capone empfiehlt außerdem den Aufbau starker Beratungspartnerschaften mit dem Top-Management und anderen wichtigen Führungskräften.
Fehler 6: Zu viel Vertrauen in die Zahlen
Eine gesunde Portion Skepsis kann Sie davor bewahren, sich zu falschen Schlussfolgerungen verleiten zu lassen. Erinnern Sie sich an Twains Spruch über Statistiken und Lügen: Es besteht immer die Möglichkeit, dass die gesammelten Daten selbst in irgendeiner Weise fehlerhaft sind. Beispielsweise könnte die Stichprobengröße zu gering sein, die Zeitskala könnte falsch sein, oder derjenige, der die Daten gesammelt hat, könnte seine eigenen Schlussfolgerungen vertreten wollen.
"Es ist von entscheidender Bedeutung, dass Sie genau verstehen, wie die Daten erhoben werden und was sie beinhalten, bevor Sie eine Aussage treffen ", fordert Brian Winters, CTO beim ERP-Softwareentwickler ECI Software Solutions. In der Tat kann jede Kennzahl irreführend sein - vor allem, wenn man die Daten nicht richtig verstanden hat. "Dies gilt besonders für Systemmetriken, weil sie oft nur einen sehr kleinen Teil eines großen, komplexen Systems abbilden", so Winters. "Diese eingeschränkte Sichtweise kann leicht in eine Sackgasse führen."
Fehler 7: Nicht über die Statistik hinausblicken
Metriken sind zwar in der Regel aufschlussreich und wertvoll, sagen aber nicht unbedingt alles aus. In der Tat kann es gelegentlich zu völlig falschen Schlussfolgerungen führen, wenn man jede Kennzahl für bare Münze nimmt. "Manchmal muss man mit anderen, weniger offensichtlichen Metriken tiefer graben, um herauszufinden, was wirklich passiert", erklärt Adi Gelvan, CEO und Mitbegründer des Datenbanksoftwareentwicklers Speedb.
Ein hoher Wert für die Speichernutzung könnte zum Beispiel bedeuten, dass eine Anwendung den Speicher überlastet. "Es steckt bisweilen aber auch etwas ganz anderes dahinter - vielleicht eine Komponente, die den Speicher nicht schnell genug aufräumt", sagt Gelvan. Weitere Untersuchungen können auf den wahren Engpass hinweisen, der möglicherweise gar nicht im Speicher liegt. "Wenn zum Beispiel die Speicher-Engine die Daten bei einer hohen I/O-Auslastung nicht effektiv auf die Festplatten auslagern kann, füllt sich der Speicher schnell und beeinträchtigt die Leistung des Systems."
Um sich vor irreführenden Erkenntnissen zu schützen, sollten IT-Manager lernen, kritisch zu denken und nicht sofort zu der scheinbar offensichtlichsten Schlussfolgerung zu greifen. Da Geschäftsprozesse und Datenarchitekturen immer umfangreicher und komplexer werden, können viele Dinge schief gehen, und es kann schwierig sein, die wahre Ursache zu finden. "Am besten ist es daher immer, wenn Sie sich mit einem breit aufgestellten Team von Fachleuten umgeben, die Sie zu Rate ziehen, bevor Sie Entscheidungen treffen", rät Gelvan.
Dieser Artikel basiert auf einem Beitrag unserer Schwesterpublikation cio.com