Social-Media-Monitoring-Tools helfen Unternehmen, einen Überblick über ihre Präsenz im Social Web zu erhalten, sie zu analysieren und auf dieser Basis den Dialog mitzugestalten. Das richtige Tool für die individuellen Anforderungen zu finden ist jedoch nicht einfach. Der folgende Test machte vor allem quantitative Unterschiede der Tools deutlich. Folgende Softwarewerkzeuge (in alphabetischer Reihenfolge) haben sich dem Test gestellt:
Um die Vergleichbarkeit der Tools zu gewährleisten, galt es darauf zu achten, die Ergebnisse nicht durch das Setup des Tests zu verfälschen. Aus diesem Grund wurden einfache Suchbegriffe (Queries) mit zwei international erfolgreichen Markennamen herangezogen, die trotz ihrer Bekanntheit ein überschaubares Volumen an Meldungen aufweisen. Der Testzeitraum erstreckte sich vom 12. bis zum 19. November 2013. Um eine identische Grundvoraussetzung zu gewährleisten, wurde dabei sichergestellt, dass die Testzugänge nicht durch Beschränkungen beim Datenvolumen limitiert waren. Folgende Aspekte wurden im Rahmen des Performance-Tests untersucht:
-
Datenvolumen,
-
Quellenabdeckung,
-
Tonalität,
-
Reaktionszeit.
Analyse des Datenvolumens
Foto: Goldbach Interactive (GBI)
Weil sich die Menge der Plattformen stetig verändert, ist es fast unmöglich, die tatsächliche Zahl der Quellen zu schätzen, die sich täglich zu diesen Marken äußern. Monitoring-Tools helfen, die Meldungen zu überblicken und möglichst alle Plattformen im Web abzusuchen. Eigentlich sollte die Zahl der Erwähnungen zu einem bestimmten Suchbegriff, beispielsweise einer bestimmten Marke, bei allen Tools gleich sein. Überraschenderweise fanden die getesteten Tools jedoch sehr unterschiedlich viele Meldungen - das Datenvolumen der gefundenen Tweets war relativ ähnlich, die Nennungen in Blogs, News und Foren divergierten aber stark.
Durchschnittlich fanden die Tools 164.866 Beiträge zum Suchbegriff 1 und 23.684 Beiträge zum Suchbegriff 2. Das Tool mit den meisten Ergebnissen entdeckte 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen. International fand Talkwalker die meisten Ergebnisse. Für die Schweiz lieferte Brandwatch am meisten.
Foto: Goldbach Interactive (GBI)
Interessant war die Abweichung der Treffer zwischen den beiden Suchbegriffen, die durch die unterschiedlich starke Abdeckung von fachspezifischen Quellen verursacht sein kann. Anzunehmen ist, dass die Zahl der Treffer - und damit eine Rangfolge nach Zahl der Nennungen - sich bei anderen Suchbegriffen wieder verändert. Allerdings zeichnete sich eine Tendenz ab, welche Tools über einen starken Crawler und damit über eine umfangreiche Quellenbasis verfügen.
Die rein quantitative Betrachtung des gemessenen Datenvolumens reicht jedoch nicht aus. Genauso wichtig ist die Qualität gefundener Beiträge. Sind Treffer, die ein Tool ausgibt, irrelevant (Spam) oder falsch kategorisiert (Land, Quelle), wird ein Tool in der Praxis kaum überzeugen. Die stichprobenartige Kontrolle zeigte: Radarly und Brandwatch weisen im Bereich der richtigen Länderzuordnung noch Verbesserungspotenzial auf.
Tipp: Erkundigen Sie sich vor der Wahl eines Monitoring-Tools beim Anbieter, ob Firmen aus dem entsprechenden Industriezweig und der gleichen Region das Tool bereits im Einsatz haben. Dies kann Hinweise auf die Relevanz der Datenbasis des Anbieters geben.
Analyse der Quellenabdeckung
Foto: Goldbach Interactive (GBI)
Da anhand der gefundenen Beiträge nicht zwingend auf eine hochwertige Quellenabdeckung geschlossen werden konnte, wurde neben der Klassifizierung der Meldungen nach Region auch die Zuweisung auf den richtigen Medientyp (News, Blogs, Foren, Twitter und Facebook) untersucht. Im Test zeigte die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine unterschiedliche Aufschlüsselung des Datenvolumens:
Die höchste internationale Quellenabdeckung in News zeigt Synthesio mit gesamthaft 36.655 Nennungen.
Im Bereich Blogs heben sich Engagor (11.825 Nennungen) und Talkwalker (12.770 Nennungen) hervor.
Die breiteste Abdeckung von Foren weist Brandwatch mit 39.151 Nennungen auf.
Foto: Goldbach Interactive (GBI)
Bei Twitter und Facebook zeigte sich folgendes Bild: Das Volumen an Tweets war bei allen Tools auf ähnlichem Niveau. Die Abweichung bei der Zahl gefundener Nennungen liegt bei Twitter nur bei rund fünf Prozent, mit Ausnahme von Radarly. Allerdings überzeugte gerade Radarly beim Facebook-Monitoring und fand hier die meisten Nennungen.
Der Performance Test ergab: Die individuellen Stärken der Tools im Bereich der Quellendurchdringung entpuppten sich als sehr unterschiedlich. Je nach Fokus und gewünschter Periodizität der Durchsuchung einer bestimmten Quellengattung empfiehlt es sich, ein anderes Tool einzusetzen. Im Bereich Twitter ist die Qualität aller Tools - mit Ausnahme von Radarly - ziemlich identisch.
Tipp: Nutzt ein Tool die direkte Anbindung an den Twitter-Datenstrom (Firehouse Access), ist die Grundvoraussetzung einer vollständigen Twitter-Abdeckung in nahezu Echtzeit gegeben.
Analyse der Tonalität
Monitoring-Tools bieten neben einer reinen Dateninterpretation und -darstellung die Bewertung der Stimmung (Tonalität/Sentiment) eines Beitrags an. Meldungen werden als positiv oder negativ klassifiziert. Dabei gibt es unterschiedliche Ansätze:
Die untersuchten Monitoring-Anbieter bewerten automatisch anhand eines in unterschiedlichen Sprachen hinterlegten Vokabulars.
Die Tonalität lässt sich auch mit linguistischen Methoden (manuelle Sentiment-Bestimmung) oder mit der auf Satzbau bezogenen, automatischen Sentiment-Analyse durch spezialisierte Tools wie Attensity oder Web Analyzer bestimmen.
Foto: Goldbach Interactive (GBI)
Die Zahl der positiv und negativ klassifizierten Beiträge variierte je nach Tool. Bei der aggregierten Betrachtung der Beiträge (Ergebnisse zum ersten und zum zweiten Suchbegriff) zeigte Talkwalker die meisten klassifizierten Beiträge an. Der Anbieter stufte 18 Prozent positiv und 18 Prozent negativ ein. Radarly hingegen nahm prozentual gesehen die geringste Bestimmung vor und wies vier Prozent positive und keine negativen Beiträge aus.
Aufgrund einer annähernd gleichen Datenbasis der gefundenen Twitter-Treffer wurde in einem zweiten Schritt die Tonalität im Micro-Blogging-Netzwerk genauer untersucht. Auch hier variierte die Einstufung, allerdings nicht so stark wie bei den anderen sozialen Plattformen. Die beiden Grafiken stellen die Tonalitäts-Bewertung der Twitter-Treffer dar.
Foto: Goldbach Interactive
Die Ergebnisse lassen darauf schließen, dass eine automatisierte Tonalitätsanalyse nicht verlässlich und allenfalls als Trend zu verstehen ist. Diese These stützen auch die Stichproben. Allerdings bieten alle Tools die Option einer nachträglichen manuellen Klassifizierung.
Aktuell lässt sich die tatsächliche Genauigkeit der Tonalitätsbestimmung nur abschätzen. Es gibt Tool-Hersteller, die eine Genauigkeit bei der Tonalität von etwa 70 Prozent versprechen. Das wäre nicht weit entfernt von den Ergebnissen einer manuellen Auswertung, die aufgrund individueller Fehler in der Regel auf eine Genauigkeit von etwa 80 Prozent kommt.
Tipp: Die Sentiment-Analyse ist lediglich als Indikator zu verstehen, und je nach Wichtigkeit empfiehlt es sich, die Ergebnisse manuell zu verifizieren. Bei der Interpretation sind vor allem große Verschiebungen zu überprüfen und zu analysieren. Aber auch bei der individuellen Einschätzung ist eine Fehlertoleranz zu berücksichtigen.
Analyse der Reaktionszeit
Hinsichtlich der Reaktionszeit wurde untersucht, mit welcher Schnelligkeit ein Tweet im Monitoring-System erscheint und ein E-Mail-Alert verschickt wird. Ausgewiesen wird jeweils die schnellste Zeit, die ein Tool benötigt, um auf Basis des Test-Tweets einen E-Mail-Alert anzuzeigen.
Foto: Goldbach Interactive (GBI)
Hinsichtlich der Reaktionszeiten überzeugten vier der sechs Tools mit (nahezu) Echtzeit-Monitoring und fanden Meldungen innerhalb weniger Sekunden. Vor allem auf Engagement ausgerichtete Werkzeuge dominierten hier (Engagor und Radarly). Generell erlauben alle untersuchten Tools durch die Priorisierung gewisser Social-Media-Accounts ein Echtzeit-Tracking. Bei weiteren Quellen (Blogs, Foren, Online- News) waren die Angaben der Tool-Hersteller bezüglich der Häufigkeit der Seitenabfragen sehr unterschiedlich, unterlagen allerdings auch gewissen Restriktionen: Gegebenenfalls kann ein Seitenanbieter (zum Beispiel eine News-Quelle) den Crawler eines Monitoring-Tools blockieren, was Auswirkungen auf die Periodizität bei der Durchsuchung hat.
Tipp: Klären Sie ab, wie schnell ein Favoriten-Tool präferierte Quellen absuchen kann und welche Crawl-Zeiten gelten.
Ergebnisse und Fazit
Die Stärken der jeweiligen Tools sind unterschiedlich. Die Ergebnisse des Performance-Tests erlauben verschiedene Rückschlüsse für Unternehmen, die auf Monitoring des Social Web setzen.
Das genaue Hinschauen lohnt sich: Vergleicht man verschiedene Monitoring- Tools, sollte nicht nur die Zahl der gefundenen Beiträge den Ausschlag geben - sie wird nie zu 100 Prozent akkurat sein -, sondern genauso sollte die individuelle Stärke in den verschiedenen Channels berücksichtigt werden.
Beim Setup eines Monitoring-Tools lässt sich meist die Quellenbasis ausbauen. Zur Verfügung stehende Quellen sind immer zu prüfen und gegebenenfalls zu erweitern, um sicherzustellen, dass branchenspezifische Quellen und Plattformen berücksichtig werden.
Foto: Goldbach Interactive (GBI)
Je nach strategischem Fokus ist ein anderes Tool zu wählen, denn jedes Tool hat seine Stärken: Brandwatch überzeugte im Bereich der Schweizer Quellenabdeckung, Talkwalker vor allem international. Engagor dominierte durch eine starke Blog-Abdeckung. Im Echtzeit-Monitoring taten sich Radarly, Engagor und Sysomos besonders hervor. Radarly stach außerdem durch die meisten auf Facebook gefundenen Beiträge hervor. Synthesio gewann in der News-Abdeckung.
|
Jedes Jahr untersucht Goldbach Interactive (GBI), eine Deutsch-Schweizer Agentur für digitales Marketing, den Tool-Markt für Social-Media-Monitoring und zeigt besonders herausragende Werkzeuge auf. Die sechs Top-Tools 2013 überzeugten durch innovative und vielfältige Monitoring- sowie Analysemöglichkeiten und setzten sich bei der Auswertung in einem Feld von mehr als 300 Tools ab. Dabei standen die Funktionsvielfalt und die Demo-Account-Performance im Fokus. In einem weiteren Vergleich wurden die Top-Tools erneut unter die Lupe genommen, um die Performance-Unterschiede genauer zu beleuchten. Details zu den Funktionen und Vorzügen können im „Toolreport 2013“ von GBI nachgelesen werden. |