Twitter und Foren durchsuchen

Sechs Social-Analytics-Tools im Vergleich

19.12.2013 von Jan Sedlacek, Stephanie Wörmann und Tobias Lehr
Die besten von über 300 Beobachtungswerkzeugen haben im Performance-Test unterschiedliche Stärken gezeigt. Je nach Einsatzland oder Art der Datenquelle - Twitter, Blogs, News, Foren - empfiehlt sich ein anderes Tool.

Social-Media-Monitoring-Tools helfen Unternehmen, einen Überblick über ihre Präsenz im Social Web zu erhalten, sie zu analysieren und auf dieser Basis den Dialog mitzugestalten. Das richtige Tool für die individuellen Anforderungen zu finden ist jedoch nicht einfach. Der folgende Test machte vor allem quantitative Unterschiede der Tools deutlich. Folgende Softwarewerkzeuge (in alphabetischer Reihenfolge) haben sich dem Test gestellt:

Um die Vergleichbarkeit der Tools zu gewährleisten, galt es darauf zu achten, die Ergebnisse nicht durch das Setup des Tests zu verfälschen. Aus diesem Grund wurden einfache Suchbegriffe (Queries) mit zwei international erfolgreichen Markennamen herangezogen, die trotz ihrer Bekanntheit ein überschaubares Volumen an Meldungen aufweisen. Der Testzeitraum erstreckte sich vom 12. bis zum 19. November 2013. Um eine identische Grundvoraussetzung zu gewährleisten, wurde dabei sichergestellt, dass die Testzugänge nicht durch Beschränkungen beim Datenvolumen limitiert waren. Folgende Aspekte wurden im Rahmen des Performance-Tests untersucht:

Analyse des Datenvolumens

Durchschnittlich fanden die sechs getesteten Social-Media-Monitoring-Tools im World Wide Web 164.866 Beiträge zum Suchbegriff 1.
Foto: Goldbach Interactive (GBI)

Weil sich die Menge der Plattformen stetig verändert, ist es fast unmöglich, die tatsächliche Zahl der Quellen zu schätzen, die sich täglich zu diesen Marken äußern. Monitoring-Tools helfen, die Meldungen zu überblicken und möglichst alle Plattformen im Web abzusuchen. Eigentlich sollte die Zahl der Erwähnungen zu einem bestimmten Suchbegriff, beispielsweise einer bestimmten Marke, bei allen Tools gleich sein. Überraschenderweise fanden die getesteten Tools jedoch sehr unterschiedlich viele Meldungen - das Datenvolumen der gefundenen Tweets war relativ ähnlich, die Nennungen in Blogs, News und Foren divergierten aber stark.

Durchschnittlich fanden die Tools 164.866 Beiträge zum Suchbegriff 1 und 23.684 Beiträge zum Suchbegriff 2. Das Tool mit den meisten Ergebnissen entdeckte 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen. International fand Talkwalker die meisten Ergebnisse. Für die Schweiz lieferte Brandwatch am meisten.

Den zweiten Suchbegriff fanden die Tools durchschnittlich 23.684 Beiträge zum Suchbegriff 2. Die Unterschiede waren insgesamt beträchtlich. Das Werkzeug mit den meisten Ergebnissen fand 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen.
Foto: Goldbach Interactive (GBI)

Interessant war die Abweichung der Treffer zwischen den beiden Suchbegriffen, die durch die unterschiedlich starke Abdeckung von fachspezifischen Quellen verursacht sein kann. Anzunehmen ist, dass die Zahl der Treffer - und damit eine Rangfolge nach Zahl der Nennungen - sich bei anderen Suchbegriffen wieder verändert. Allerdings zeichnete sich eine Tendenz ab, welche Tools über einen starken Crawler und damit über eine umfangreiche Quellenbasis verfügen.

Die rein quantitative Betrachtung des gemessenen Datenvolumens reicht jedoch nicht aus. Genauso wichtig ist die Qualität gefundener Beiträge. Sind Treffer, die ein Tool ausgibt, irrelevant (Spam) oder falsch kategorisiert (Land, Quelle), wird ein Tool in der Praxis kaum überzeugen. Die stichprobenartige Kontrolle zeigte: Radarly und Brandwatch weisen im Bereich der richtigen Länderzuordnung noch Verbesserungspotenzial auf.

Tipp: Erkundigen Sie sich vor der Wahl eines Monitoring-Tools beim Anbieter, ob Firmen aus dem entsprechenden Industriezweig und der gleichen Region das Tool bereits im Einsatz haben. Dies kann Hinweise auf die Relevanz der Datenbasis des Anbieters geben.

Analyse der Quellenabdeckung

Die quellenbasierte Analyse der verschiedenen Tools zeigt je nach Social-Media-Plattform ebenfalls eine unterschiedliche Aufschlüsselung des gefundenen Datenvolumens.
Foto: Goldbach Interactive (GBI)

Da anhand der gefundenen Beiträge nicht zwingend auf eine hochwertige Quellenabdeckung geschlossen werden konnte, wurde neben der Klassifizierung der Meldungen nach Region auch die Zuweisung auf den richtigen Medientyp (News, Blogs, Foren, Twitter und Facebook) untersucht. Im Test zeigte die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine unterschiedliche Aufschlüsselung des Datenvolumens:

Die höchste internationale Quellenabdeckung in News zeigt Synthesio mit gesamthaft 36.655 Nennungen.

Im Bereich Blogs heben sich Engagor (11.825 Nennungen) und Talkwalker (12.770 Nennungen) hervor.

Die breiteste Abdeckung von Foren weist Brandwatch mit 39.151 Nennungen auf.

Auffallend ist, dass die Zahl der Twitter-Treffer, die die verschiedenen Plattformen liefern, bei beiden Suchbegriffen nicht so stark variieren.
Foto: Goldbach Interactive (GBI)

Bei Twitter und Facebook zeigte sich folgendes Bild: Das Volumen an Tweets war bei allen Tools auf ähnlichem Niveau. Die Abweichung bei der Zahl gefundener Nennungen liegt bei Twitter nur bei rund fünf Prozent, mit Ausnahme von Radarly. Allerdings überzeugte gerade Radarly beim Facebook-Monitoring und fand hier die meisten Nennungen.

Der Performance Test ergab: Die individuellen Stärken der Tools im Bereich der Quellendurchdringung entpuppten sich als sehr unterschiedlich. Je nach Fokus und gewünschter Periodizität der Durchsuchung einer bestimmten Quellengattung empfiehlt es sich, ein anderes Tool einzusetzen. Im Bereich Twitter ist die Qualität aller Tools - mit Ausnahme von Radarly - ziemlich identisch.

Tipp: Nutzt ein Tool die direkte Anbindung an den Twitter-Datenstrom (Firehouse Access), ist die Grundvoraussetzung einer vollständigen Twitter-Abdeckung in nahezu Echtzeit gegeben.

Analyse der Tonalität

Monitoring-Tools bieten neben einer reinen Dateninterpretation und -darstellung die Bewertung der Stimmung (Tonalität/Sentiment) eines Beitrags an. Meldungen werden als positiv oder negativ klassifiziert. Dabei gibt es unterschiedliche Ansätze:

Die untersuchten Monitoring-Anbieter bewerten automatisch anhand eines in unterschiedlichen Sprachen hinterlegten Vokabulars.

Die Tonalität lässt sich auch mit linguistischen Methoden (manuelle Sentiment-Bestimmung) oder mit der auf Satzbau bezogenen, automatischen Sentiment-Analyse durch spezialisierte Tools wie Attensity oder Web Analyzer bestimmen.

Tonalitäts-Bewertung der Twitter-Treffer für den Suchbegriff 1. (Angaben in Prozent)
Foto: Goldbach Interactive (GBI)

Die Zahl der positiv und negativ klassifizierten Beiträge variierte je nach Tool. Bei der aggregierten Betrachtung der Beiträge (Ergebnisse zum ersten und zum zweiten Suchbegriff) zeigte Talkwalker die meisten klassifizierten Beiträge an. Der Anbieter stufte 18 Prozent positiv und 18 Prozent negativ ein. Radarly hingegen nahm prozentual gesehen die geringste Bestimmung vor und wies vier Prozent positive und keine negativen Beiträge aus.

Aufgrund einer annähernd gleichen Datenbasis der gefundenen Twitter-Treffer wurde in einem zweiten Schritt die Tonalität im Micro-Blogging-Netzwerk genauer untersucht. Auch hier variierte die Einstufung, allerdings nicht so stark wie bei den anderen sozialen Plattformen. Die beiden Grafiken stellen die Tonalitäts-Bewertung der Twitter-Treffer dar.

Tonalitäts-Bewertung der Twitter-Treffer für den Suchbegriff 2. (Angaben in Prozent)
Foto: Goldbach Interactive

Die Ergebnisse lassen darauf schließen, dass eine automatisierte Tonalitätsanalyse nicht verlässlich und allenfalls als Trend zu verstehen ist. Diese These stützen auch die Stichproben. Allerdings bieten alle Tools die Option einer nachträglichen manuellen Klassifizierung.

Aktuell lässt sich die tatsächliche Genauigkeit der Tonalitätsbestimmung nur abschätzen. Es gibt Tool-Hersteller, die eine Genauigkeit bei der Tonalität von etwa 70 Prozent versprechen. Das wäre nicht weit entfernt von den Ergebnissen einer manuellen Auswertung, die aufgrund individueller Fehler in der Regel auf eine Genauigkeit von etwa 80 Prozent kommt.

Tipp: Die Sentiment-Analyse ist lediglich als Indikator zu verstehen, und je nach Wichtigkeit empfiehlt es sich, die Ergebnisse manuell zu verifizieren. Bei der Interpretation sind vor allem große Verschiebungen zu überprüfen und zu analysieren. Aber auch bei der individuellen Einschätzung ist eine Fehlertoleranz zu berücksichtigen.

Analyse der Reaktionszeit

Hinsichtlich der Reaktionszeit wurde untersucht, mit welcher Schnelligkeit ein Tweet im Monitoring-System erscheint und ein E-Mail-Alert verschickt wird. Ausgewiesen wird jeweils die schnellste Zeit, die ein Tool benötigt, um auf Basis des Test-Tweets einen E-Mail-Alert anzuzeigen.

Vier der sechs untersuchten Werkzeuge registrierten Meldungen schnell und reagierten darauf innerhalb weniger Sekunden.
Foto: Goldbach Interactive (GBI)

Hinsichtlich der Reaktionszeiten überzeugten vier der sechs Tools mit (nahezu) Echtzeit-Monitoring und fanden Meldungen innerhalb weniger Sekunden. Vor allem auf Engagement ausgerichtete Werkzeuge dominierten hier (Engagor und Radarly). Generell erlauben alle untersuchten Tools durch die Priorisierung gewisser Social-Media-Accounts ein Echtzeit-Tracking. Bei weiteren Quellen (Blogs, Foren, Online- News) waren die Angaben der Tool-Hersteller bezüglich der Häufigkeit der Seitenabfragen sehr unterschiedlich, unterlagen allerdings auch gewissen Restriktionen: Gegebenenfalls kann ein Seitenanbieter (zum Beispiel eine News-Quelle) den Crawler eines Monitoring-Tools blockieren, was Auswirkungen auf die Periodizität bei der Durchsuchung hat.

Tipp: Klären Sie ab, wie schnell ein Favoriten-Tool präferierte Quellen absuchen kann und welche Crawl-Zeiten gelten.

Social Media - eine Entwicklung verändert die Welt
Heute ist klar: Social Media kann Gesellschaften ebenso auf den Kopf stellen wie Geschäftsprozesse radikal ändern. Einen Weg zurück gibt es nicht.
Was im Internet in 60 Sekunde passiert
Quellen: www.pcmag.com, www.go-gulf.com, www.businessinsider.com, www.dailymail.co.uk, www.4mat.com, www.scoop.intel.com, IDC, Gartner, eigene Recherche
Genutzt Internet-Dienste
n = 6.739; Mehrfachnennungen; Angaben in Prozent
Die 20 Firmen mit den meisten Fans bei Facebook im Oktober 2013
Weltweit; Angaben Millionen Fans
Die Top 10 der deutschsprachigen Leitmedien der Social-Network-Nutzer im September 2013
Welche Magazine, Nachrichten-Websites und Blogs werden bei Facebook, Twitter und Google+ am häufigsten empfohlen, geliket, verlinkt?

Business kontra IT: 3 Top-Gründe
Angaben in Prozent; Untersuchung von Experton bei 309 deutschen Unternehmen mit mindestens 100 Mitarbeitern.

Welche sozialen Medien besuchen Nutzer am häufigsten?
Unique Visitors pro Monat in Tausend vom Dezember 2012 bis Mai 2013
Haben sich Ihre Social-Media-Aktivitäten für Ihr Unternehmen bisher gelohnt?
2012In Prozent (Anteil der Befragten); Deutschland; Basis 2012: n = 124, Basis 2011: n = 13;Forschungswerk; Business Intelligence Group; 2011 und 2012

Nutzer von sozialen Netzwerken von 2011 bis 2017 weltweit
Internet-Nutzer, die ein soziales Netz mit irgendeinem Gerätetyp mindestens einmal im Monat besuchen.

Internet und Gewalt
n = 1.953; Angaben in Prozent; Kategorie „weiß nicht“ wurde nicht berücksichtigt

Welche sozialen Netze nutzen die Fortune 500-Unternehmen?
Prozentanzeil der Nutzung von jedem der sozialen Netze im Juli 2013

Welche der folgenden Social-Media-Marketing-Instrumente setzen Sie ein?
Anteil der Befragten in Prozent; Deutschland; n 0 536 Unternehmen
Warum sind Sie "Fan" oder "Follower" von einem Unternehmen oder einer Marke?
In Prozent

Wenn Facebook eine Nation wäre ...

Welche genauen Ziele verfolgen Sie mit Ihrem Social-Media-Marketing-Maßnahmen?
Anteil der Unternehmen in Prozent; Deutschland; n = 616 Unternehmen
Wichtigstes Medium
In Prozent; alle Befragten (n = 3.050; 70.214 Mio. Personen ab 14 Jahre); 2011: 3.076 Befragte; 2009: 2.000 Befragte; In Prozent; alle Befragten (n = 3.050; 70.214 Mio. Personen); Max. VS / HS: n = 589; 26,706 Mio.); Mittlerer Bildungsab-schluss (n = 1.039; 23,760 Mio.); (Fach-) Hochschule (n= 1.388; 18,312 Mio.)

Ergebnisse und Fazit

Die Stärken der jeweiligen Tools sind unterschiedlich. Die Ergebnisse des Performance-Tests erlauben verschiedene Rückschlüsse für Unternehmen, die auf Monitoring des Social Web setzen.

Das genaue Hinschauen lohnt sich: Vergleicht man verschiedene Monitoring- Tools, sollte nicht nur die Zahl der gefundenen Beiträge den Ausschlag geben - sie wird nie zu 100 Prozent akkurat sein -, sondern genauso sollte die individuelle Stärke in den verschiedenen Channels berücksichtigt werden.

Beim Setup eines Monitoring-Tools lässt sich meist die Quellenbasis ausbauen. Zur Verfügung stehende Quellen sind immer zu prüfen und gegebenenfalls zu erweitern, um sicherzustellen, dass branchenspezifische Quellen und Plattformen berücksichtig werden.

Die Testergebnisse im Überblick: Talkwalker fand und bewertete die meisten Ergebnisse. Im Echtzeit-Monitoring überzeugten Engagor, Radarly und Sysomos.
Foto: Goldbach Interactive (GBI)

Je nach strategischem Fokus ist ein anderes Tool zu wählen, denn jedes Tool hat seine Stärken: Brandwatch überzeugte im Bereich der Schweizer Quellenabdeckung, Talkwalker vor allem international. Engagor dominierte durch eine starke Blog-Abdeckung. Im Echtzeit-Monitoring taten sich Radarly, Engagor und Sysomos besonders hervor. Radarly stach außerdem durch die meisten auf Facebook gefundenen Beiträge hervor. Synthesio gewann in der News-Abdeckung.

Tool-Markt im Blick

Jedes Jahr untersucht Goldbach Interactive (GBI), eine Deutsch-Schweizer Agentur für digitales Marketing, den Tool-Markt für Social-Media-Monitoring und zeigt besonders herausragende Werkzeuge auf. Die sechs Top-Tools 2013 überzeugten durch innovative und vielfältige Monitoring- sowie Analysemöglichkeiten und setzten sich bei der Auswertung in einem Feld von mehr als 300 Tools ab. Dabei standen die Funktionsvielfalt und die Demo-Account-Performance im Fokus. In einem weiteren Vergleich wurden die Top-Tools erneut unter die Lupe genommen, um die Performance-Unterschiede genauer zu beleuchten. Details zu den Funktionen und Vorzügen können im „Toolreport 2013“ von GBI nachgelesen werden.