Im Rahmen der Studie waren in einem ersten Schritt die Hersteller zu deren Versprechen, Commitments sowie über die gesetzten Maßnahmen im Bereich Applikationssicherheit befragt worden. Um die Produktversprechen der Hersteller in der Praxis zu überprüfen, wurden im zweiten Schritt reale Angriffe auf die Software von drei ausgewählten Produkten simuliert.

Die Kernbankensysteme wurden nach der sogenannten "Black-Box"-Methode überprüft. Hierbei werden die Tests ohne Kenntnis über die inneren Funktionsweisen der zu testenden Systeme und ohne Zugriff auf den Quellcode durchgeführt. "Black-Box"-Tests liefern der Studie zufolge einen guten ersten Eindruck über den bestehenden Sicherheitsgrad - allerdings fiel dieser negativ aus. Bei allen drei getesteten Kernbankensystemen wurden schwere Sicherheitsmängel aufgedeckt, die den Sicherheitskontrollen der Softwarehersteller entgingen.

Als "hoch, vollentwickelt oder fortgeschritten" schätzen dagegen die befragten Hersteller die Applikationssicherheit ihrer Anwendungen ein - und kommunizieren dies auch so am Markt.

Gravierende Qualitätsunterschiede bei Sicherheitstests

Positiv sei, so hebt die Studie hervor, dass alle Hersteller in die Applikationssicherheit ihrer Produkte investieren. "Threat Modeling", Trainings, "Software Process Improvements" sind hierbei state-of-the-art. Speziell im Bereich der Sicherheitstests, gibt es der Studien zufolge jedoch gravierende Qualitätsunterschiede. Grund dafür sei, dass die Tests von Hersteller zu Hersteller und von Produkt zu Produkt unterschiedlich durchgeführt würden.