Das wichtigste Ergebnis ist, dass sich keines der sieben untersuchten Tools als gänzlich unbrauchbar erwies. Die Berater ermittelten jedoch gravierende Unterschiede zwischen den einzelnen Produkten. Nur drei Tools schafften es, die Anforderungen größtenteils zu erfüllen. Testsieger war "Quicktest Professional V8.2 " von Mercury Interactive. Mit geringem Abstand folgt das Werkzeug "Silktest V2006" von Borland, bereits mit "gebührlichem Abstand" die IBM-Rational-Lösung "Functional Tester V6.1 ".
Leichter Einstieg in die Test-Automatisierung
Der Analyse zufolge bietet Mercury mit Quicktest Professional ein professionelles Werkzeug an, das auch unerfahrenen Benutzern einen leichten Einstieg in die Test-Automatisierung bietet. Möglich wird dies vor allem durch die angebotene Funktionalität für "keyword driven" Tests, mit denen Test-Skripte auch ohne Programmier-Kenntnisse erstellt werden können.
Zudem ist das Werkzeug gut bedienbar, fördert eine hohe Lernkurve und überzeugt durch eine "vorbildliche Dokumentation". Das Testwerkzeug unterstützt zudem die wichtigsten Applikations-Technologien, wie Web, Visual Basic, Java, ActiveX, MFC, Win32 und .NET. Selbst Passwörter können - im Unterschied zu Silktest und Functional Tester - im Skript verschlüsselt werden. Bei diesem Tool fällt einzig der relativ hohe Preis aus dem Rahmen.
Getrübtes Gesamtbild
Auch Silktest von Borland ist ein anwenderfreundliches und professionelles Tools. Das positive Gesamtbild trübten vor allem der vergleichsweise hohe Einarbeitungsaufwand für die optional nutzbare Funktionalität des Testplans sowie Test-Szenarien, in denen das Test-Objekt umfangreiches Tabellenmaterial enthielt. Da Tabellen von Silktest nicht als Ganzes betrachtet werden, muss der Benutzer jedes zu testende Element manuell auswählen, was den Beratern zufolge sehr aufwändig ist.
Zwei Schwächen
Der Functional Tester von IBM wiederum glänzt den Analysten zufolge mit hohem Bedienungskomfort. Benutzer mit unterschiedlichstem Vorwissen können sich schnell und effizient einarbeiten und zwischen den zwei Programmier-Sprachen Java oder Visual Basic wählen.
In zwei Punkten zeigte das Tool jedoch massive Schwächen. Zum einen kam es häufig zu Programmabstürzen, die einen Neustart des Rechners erforderten. Zum anderen konnten Testergebnisse unter gleichen Voraussetzungen auffallend häufig nicht reproduziert werden. Dadurch, so die Berater, leidet das Vertrauen des Benutzers massiv, da die Aussagekraft eines Testergebnisses nicht zweifelhaft sein darf.
Vier sind Durchschnitt
Die übrigen vier Tools hinterließen nur ein durchschnittliches Bild in der Bewertung. Das waren "Testpartner V5.4" von Compuware, "QAWizard V4.04" von QA Systems, "QF-Test V2.0 Beta" von Quality First Software sowie der "GUIdancer V1.1" von Bredex.
K. O.-Kriterien erfüllen
Grundlage für die Auswahl dieser sieben Tools für den "Functional Testing Tools Report 2007: Vergleichende Untersuchung und Praxistest" von Pentasys war eine Liste so genannter "K.O.-Kriterien", die von allen Tools voll erfüllt werden mussten. Dazu gehört beispielsweise die Präsenz auf dem deutschen Markt.
Weiterhin wurde der Vergleich auf Basis von Bewertungs-Kriterien durchgeführt, die den Ansprüchen und Bedürfnissen des deutschen Marktes bestmöglich entsprechen. Auf dieser Grundlage wurden die Tools zu den drei Kategorien "Markt", "Planung, Verwaltung und Abschluss" sowie "Testdurchführung" anhand von 34 Einzel-Kriterien untersucht und bewertet.