Seit knapp zwei Jahren steht die Deduplikation ganz oben auf der Liste der "heißen" Themen, die Storage-Experten und Administratoren in den Unternehmen gleichermaßen umtreiben. Nachdem der Trend zunächst das IT-Mutterland USA erfasste, interessieren sich inzwischen auch immer mehr heimische Anwender für die noch relativ neue Methode der Reduktion mehrfach abgespeicherter Dateien, von der sie sich vor allem umfangreiche Zeitgewinne bei Backup und Recovery versprechen.
Klassische Unternehmensanwendungen, etwa ERP-Systeme, Groupware und Datenbanken, produzieren ebenso wie die in dieser Hinsicht zu Recht gefürchteten Web-2.0- bzw. Multimedia-Applikationen täglich eine nach Zehn- bis Hunderttausenden zählende Menge von Dateien, die gespeichert, gesichert und für die Notfallvorsorge repliziert werden müssen. Dass damit der Speicherbedarf exponentiell wächst und die Kosten für Storage-Systeme wie für typische Operationen – namentlich Backup und Recovery – ebenfalls sprunghaft steigen, wird für die meisten Unternehmen zu einem großen Problem. Die Situation wird noch dadurch verschärft, dass rechtliche Vorgaben wie z. B. die Grundsätze zum Datenzugriff und zur Prüfbarkeit digitaler Unterlagen (GDPdU) die Anwender zwingen, mehr Informationen als bisher "in Reichweite" zu halten, so dass Steuer- und gegebenenfalls Strafverfolgungsbehörden ohne Zeitverlust darauf zurückgreifen können. Um den Aufwand in vertretbaren Grenzen zu halten, reichen herkömmliche Verfahren der Datenreduktion wie Kompression nur noch in den wenigsten Fällen aus.
Von daher war es nur logisch, dass sich vor einigen Jahren zunächst eine Reihe von Spezialisten auf die Suche nach effizienteren Methoden machte. Zu diesem Zweck nahmen sie im ersten Schritt typische Informationsbestände von Unternehmen unter die Lupe – und förderten in der Tat Erstaunliches zu Tage. Denn: In einer durchschnittlichen verteilten Umgebung setzen sich die vorgehaltenen, regelmäßig hin und her bewegten Datensätze zu 60 bis über 90 Prozent aus bekannten, miteinander identischen Elementen zusammen. Das hier schlummernde Einsparpotenzial erschließt sich sogar Laien auf den ersten Blick. Folgerichtig gingen die erwähnten Spezialisten – unter ihnen Firmen wie Rocksoft (heute Quantum) und FalconStor – daran, Algorithmen zu entwickeln, die derartige Doubletten zuverlässig aufspüren und aussortieren bzw. nach Möglichkeit gar nicht erst entstehen lassen. Das war die Geburtsstunde der so genannten Deduplikationslösungen.
Datenbestand bereinigen
Zu den Wegbereitern der neuen Technik gehörte auch Avamar Corporate, das für seine Axion getaufte Paketlösung 2006 die Auszeichnung "Produkt des Jahres" des renommierten US-Fachmagazins Storage erhielt. "Paketlösung" bedeutet in diesem Zusammenhang, dass die eigentliche Deduplikationssoftware auf einem dedizierten Server installiert wird, der als zentraler Backup-Speicher dient. Auf allen anderen Servern im Unternehmen laufen sog. Agenten, welche die dort anfallenden Daten analysieren und aus diesen mit Hilfe eines Hash-Algorithmus zunächst einen 20 Byte langen Fingerabdruck erstellen, den sie an den zentralen Speicher übermitteln. Bei einer erstmals zu sichernden Datei existieren solche Fingerabdrücke natürlich noch nicht, deswegen zerlegt der Agent die Informationen in variabel große Blöcke und vergleicht die zugehörigen Hash-Codes mit bereits lokal gespeicherten. Nicht vorhandene Hashes – und damit Datenblöcke, die von diesem Client noch nie gesichert wurden – werden zur Abfrage an den Server geschickt. Dieser vergleicht in einer globalen Datenbank, ob Hash-Codes bereits vorhanden sind, und weist den Agenten an, alle zugehörigen Datenblöcke zu schicken, die noch nie am Server angelegt wurden.
Der zentrale Server bildet mit ID-Pointer alle Dateien und Filesysteme der Clients ab, die bei weiteren Zugriffen auf das "Originaldokument" verweisen. Das Ergebnis verursacht deutlich weniger Aufwand als die Sicherung der kompletten Datei.
