Best Practices zum Optimieren der Cloud-Kosten

Einer der größten Vorteile der Cloud besteht darin, dass sie sich entsprechend dem Bedarf skalieren lässt und somit Betriebsausgaben sinken. Dies ist insbesondere dann nützlich, wenn die Nachfrage von Kunden unerwartet schwankt.

Google Cloud verfügt über ein ganzes Team von Lösungsarchitekt:innen, die Kunden bei der Verwaltung ihrer Cloud-Betriebskosten unterstützt. Dank seiner langjährigen Zusammenarbeit mit seinen größten Kunden hat Google einige Erfahrung darin zu sehen, was Nutzer:innen gewöhnlich übersehen, wenn sie nach Möglichkeiten zur Kostenoptimierung suchen. Deshalb haben wir die wichtigsten Punkte hier als Best Practices zusammengefasst, damit Sie Ihre Cloud-Ausgaben an Ihre Geschäftsanforderungen anpassen und diese herausfordernden und unberechenbaren Zeiten bestmöglich meistern können.

1. Mit Tools für das Abrechnungs- und Kostenmanagement vertraut machen

Aufgrund der variablen On-Demand-Nutzung der Cloud ist es wichtig, die Kosten genau zu verfolgen. Sobald Sie Ihre Ausgaben verstehen, können Sie diese genauestens kontrollieren und optimieren. Google Cloud bietet dafür eine Reihe kostenloser Tools für das Abrechnungs- und Kostenmanagement. Sie erhalten damit die erforderliche Transparenz für die Bereitstellung von Cloud-Diensten.

Beispielsweise sollten Sie sich einen groben Überblick darüber verschaffen, welche Projekte am meisten kosten und warum. Zunächst ist es wichtig, dass Sie Ihre Kosten entsprechend Ihren Geschäftsanforderungen strukturieren. Anschließend können Sie mit Abrechnungsberichten Details zu den Diensten abrufen, um eine Übersicht über Ihre Kosten zu erhalten. Informieren Sie sich außerdem darüber, wie Sie mithilfe von Labels Abteilungen oder Teams Kosten zuordnen und benutzerdefinierte Dashboards für detailliertere Kostenübersichten erstellen können. Kontingente, Budgets und Benachrichtigungen ermöglichen zusätzlich eine genaue Verfolgung Ihrer aktuellen Kostenentwicklungen sowie Prognosen, um das Risiko einer Budgetüberschreitung zu verringern.

Wenn Sie sich mit den Abrechnungs- und Kostenmanagement-Tools von Google vertraut machen möchten, können Sie für begrenzte Zeit eine kostenlose Schulung absolvieren, um grundlegende Kenntnisse zur Optimierung Ihrer Google Cloud-Kosten zu erlangen. Eine umfassende Schritt-für-Schritt-Anleitung finden Sie in einer Cloud Billing-Anleitung sowie in der Videoreihe Beyond Your Bill. Unbedingt empfehlenswert sind auch diese englischsprachigen praxisorientierten Schulungen: Manage Google Cloud Costs und Optimizing Your GCP Costs.

2. Nur für benötigte Rechenleistungen zahlen

Nachdem Sie einen ausführlichen Einblick in Ihre Cloud-Kosten gewonnen haben, prüfen Sie Ihre kostenintensivsten Projekte, um Rechenressourcen mit unzureichender Rentabilität zu ermitteln.

Ungenutzte VMs (und Laufwerke) identifizieren: Ihre Ausgaben für die Google Cloud Platform lassen sich am einfachsten senken, indem Sie sich von nicht mehr benötigten Ressourcen trennen. Denken Sie an Proof-of-Concept-Projekte, deren Priorität heute geringer ist, oder an Zombie-Instanzen, die niemand gelöscht hat. Google Cloud bietet mehrere Recommenders zur Optimierung dieser Ressourcen, darunter einen Recommender für ungenutzte VMs, der inaktive VMs und nichtflüchtigen Speicher anhand von Nutzungsmesswerten identifiziert.

Löschen Sie VMs jedoch mit Bedacht. Fragen Sie sich vor dem Löschen einer Ressource immer, welche Auswirkungen dies haben kann und wie Sie die Ressource bei Bedarf wiederherstellen können. Beim Löschen von Instanzen werden die zugrundeliegenden Laufwerke und all ihre Daten gelöscht. Als Best Practice empfiehlt es sich, vor dem Löschen einer Instanz einen Snapshot zu erstellen. Sie können die VM auch einfach anhalten. Dadurch wird die Instanz beendet, während Ressourcen wie Laufwerke oder IP-Adressen erhalten bleiben, bis Sie diese trennen oder löschen.

Weitere Informationen finden Sie in der Recommender-Dokumentation. Werfen Sie am besten regelmäßig einen Blick darauf, da Google sein Portfolio laufend mit neuen nutzungsbasierten Recommenders erweitert.

Automatischen Start und Stopp von VMs planen: Der Vorteil einer Plattform wie Compute Engine ist, dass Sie nur für die tatsächlich genutzten Rechenressourcen zahlen. Produktionssysteme laufen meist rund um die Uhr. VMs in Entwicklungs-, Test- oder privaten Umgebungen werden jedoch normalerweise nur während der Geschäftszeiten verwendet. Durch das Herunterfahren dieser VMs können Sie einige Kosten sparen. Eine VM, die nur von Montag bis Freitag täglich 10 Stunden läuft, kostet beispielsweise 75Prozent weniger, als wenn sie rund um die Uhr ausgeführt wird.

Zum Einstieg finden Sie hier eine serverlose Lösung, mit der Sie VMs im großen Maßstab automatisch herunterfahren können.

Auswählen des richtigen Maschinentypen per Instanz: Ein Maschinentyp bezeichnet eine Reihe von virtualisierten Hardwareressourcen, die der Instanz einer VM zur Verfügung stehen. Hierzu gehören beispielsweise die Systemspeicherkapazität, die Anzahl der virtuellen CPUs (vCPUs) und der maximal verfügbare nichtflüchtige Speicher. In Compute Engine werden Maschinentypen für verschiedene Arbeitslasten gruppiert und nach Familien sortiert.

Pro Instanz muss ein Maschinentyp ausgewählt werden. Je nach Arbeitslast wird ein anderer Maschinentyp gewählt. Um die Beste Price-Performance Ratio zu erhalten, sollten Intel Machine Typen der 2ten Generation Xeon Scalable namens Cascade Lake ausgewählt werden.

Für allgemeine Zwecke bietet hier Intels Cascade Lake Platform N2-Maschinentypen an mit bis zu 80 vCPUs und 8 GB Arbeitsspeicher pro vCPU.

Größe von VMs anpassen: In Google Cloud können Sie bereits erheblich sparen, wenn Sie benutzerdefinierte Maschinentypen mit der richtigen CPU- und RAM-Kapazität für Ihre Anforderungen erstellen. Die Workload-Anforderungen können sich jedoch im Laufe der Zeit ändern. Instanzen, die einmal optimiert waren, verarbeiten jetzt vielleicht weniger Nutzeranfragen und Traffic. In den Größenempfehlungen von Google für VM-Instanzen erfahren Sie, wie Sie den Maschinentyp durch eine geänderte vCPU- und RAM-Nutzung effektiv verkleinern können. Die Größenempfehlungen für den Maschinentyp Ihrer Instanz (oder die verwaltete Instanzgruppe) werden anhand von Systemmesswerten generiert, die von Cloud Monitoring in den vorangegangenen acht Tagen erfasst wurden.

VMs auf Abruf nutzen: VMs auf Abruf sind äußerst erschwingliche Compute-Instanzen, die bis zu 24 Stunden aktiv und bis zu 80 Prozent günstiger als reguläre Instanzen sein können. VMs auf Abruf eignen sich optimal für fehlertolerante Arbeitslasten wie Big Data, Genomics, Medientranscodierung, Finanzmodelle und Simulationen. Sie können auch eine Mischung aus regulären und auf Abruf verfügbaren VMs nutzen, um rechenintensive Arbeitslasten schnell und kostengünstig zu verarbeiten. Richten Sie hierfür einfach eine eigene verwaltete Instanzgruppe ein.

Sie müssen auf Abruf verfügbare VMs jedoch nicht auf eine Compute Engine-Umgebung begrenzen. Auch GPUs, GKE-Cluster und sekundäre Instanzen in Dataproc können auf Abruf verfügbare VMs verwenden. Mithilfe von Flexible Resource Scheduling können Sie ergänzend zu regulären Instanzen auf Abruf verfügbare VMs nutzen, um Ihre Kosten für Cloud Dataflow-Analysen (Stream und Batch) zu reduzieren.

Besuchen Sie den Google Cloud Knowledge Hub, um auf interessante Whitepaper, Artikel und Videos zu den Themen Innovation, Nachhaltigkeit und betriebliche Effizienz zuzugreifen. Zusätzlich erwarten Sie exklusive Partnerangebote, Webinar-Aufzeichnungen zu Themen wie KI/ML, Modernisierung der Infrastruktur, API-Verwaltung, Data Warehouse Modernisierung und vieles mehr. Zum Google Cloud Knowledge Hub

3. Die Kosten und Leistungen von Cloud Storage optimieren

Beim Betrieb eines eigenen Rechenzentrums gehen die Speicherkosten häufig in den allgemeinen Infrastrukturkosten unter, was das Kostenmanagement erschwert. In der Cloud hingegen wird der Speicher als separater Posten abgerechnet. Durch eine effektive Speichernutzung und -konfiguration lassen sich erhebliche Kosteneinsparungen erzielen.

Darüber hinaus ändern sich die Speicheranforderungen ähnlich dem Rechenbedarf ständig. Eine während der Einrichtung Ihrer Umgebung gewählte Speicherklasse ist für eine aktuelle Arbeitslast möglicherweise nicht mehr angemessen. Außerdem bietet Cloud Storage mittlerweile zahlreiche neue Funktionen, die es vor einem Jahr noch nicht gab.

Prüfen Sie zur Einsparung von Speicherkosten beispielsweise die folgenden Parameter:

Speicherklassen: Cloud Storage bietet verschiedene Speicherklassen - Standard, Nearline, Coldline und Archive - mit unterschiedlichen Preismodellen und Anwendungsfällen. Wenn Sie nur die Standardklasse verwenden, empfiehlt es sich, Ihre Arbeitslasten und die Häufigkeit des Datenabrufs zu prüfen und neu zu bewerten. Viele Unternehmen archivieren ihre Daten in der Standardklasse und könnten ihre Ausgaben reduzieren, wenn sie zum Archivieren die Nearline- oder Coldline-Speicherklasse verwenden. Wenn Sie Daten haben, die Sie beispielsweise zur Wahrung der gesetzlichen Aufbewahrungsfrist in einem "kalten" Speicher ablegen möchten, können Sie mit der neuen Archivierungsklasse möglicherweise noch mehr Kosten sparen.

Lebenszyklusrichtlinien: Sie können nicht nur Kosten durch die Verwendung unterschiedlicher Speicherklassen sparen, sondern letztere durch die Verwaltung des Objektlebenszyklus automatisieren. Konfigurieren Sie eine Lebenszyklusrichtlinie, um programmatisch festzulegen, dass die Speicherklasse eines Objekts anhand einer Reihe von Bedingungen angepasst wird oder nicht mehr benötigte Objekte komplett gelöscht werden. Nehmen wir beispielsweise an, Sie analysieren mit Ihrem Team Daten innerhalb des ersten Monats ihrer Erstellung. Anschließend benötigen Sie die Daten nur noch zu regulatorischen Zwecken. Sie legen in diesem Fall eine Richtlinie fest, mit der Ihre Daten nach 31 Tagen automatisch in die Coldline- oder Archivspeicherklasse verschoben werden.

Deduplizierung: Eine weitere häufige Ursache für die Vergeudung von Speicherumgebungen sind Datenduplikate. Natürlich gibt es Situationen, in denen diese notwendig sind. Beispielsweise können Sie ein Dataset in verschiedenen geografischen Regionen duplizieren, damit die Teams vor Ort schnell darauf Zugriff haben. Die Zusammenarbeit von Google mit seinen Kunden hat jedoch gezeigt, dass viele duplizierte Daten die Folge einer nachlässigen Versionskontrolle sind. Die Verwaltung der resultierenden Duplikate kann aufwendig und teuer sein.

Glücklicherweise gibt es viele Methoden, um Datenduplikate zu vermeiden, sowie Tools, die ein versehentliches Löschen von Daten verhindern. Folgende Punkte sollten Sie hierbei berücksichtigen:

• Wenn Sie versuchen, mit einer Single Source of Truth die Ausfallsicherheit zu wahren, kann es sinnvoller sein, einen Bucket für mehrere Regionen zu verwenden, als mehrere Kopien in verschiedenen Buckets zu erstellen. Dieses Feature führt zu Georedundanz der gespeicherten Objekte. Ihre Daten werden dadurch asynchron an mehreren Standorten repliziert. Dies schützt vor regionalen Ausfällen infolge von Naturkatastrophen.

• Viele Datenduplikate entstehen aus einer falschen Verwendung der Objektversionsverwaltung in Cloud Storage. Die Objektversionsverwaltung verhindert, dass Daten aus Versehen überschrieben oder gelöscht werden. Die dadurch entstehenden Duplikate können sich jedoch summieren. Möglicherweise sind nicht unbedingt fünf Kopien Ihrer Daten erforderlich. Mitunter reicht eine geschützte Version aus.

Sie befürchten, kein Rollback durchführen zu können? Legen Sie Richtlinien zur Objektversionsverwaltung fest, damit Sie immer über eine passende Anzahl von Kopien verfügen.

Sie befürchten, dass Daten aus Versehen verloren gehen könnten? Sorgen Sie mit der Bucket-Sperre dafür, dass Elemente erst nach einem bestimmten Datum bzw. einer bestimmten Uhrzeit gelöscht werden können. Dieses Feature ist nützlich, um die Einhaltung mehrerer wichtiger Vorschriften zu demonstrieren.

Kurz gesagt: Wenn Sie die Objektversionsverwaltung verwenden, gibt es mehrere Features, die Ihre Daten schützen und nicht unnötig Speicherplatz vergeuden.

4. Data Warehouse optimieren

Unternehmen jeder Größe erwägen BigQuery als modernen Ansatz für die Datenanalyse. Bei den Konfigurationen gibt es jedoch Preisunterschiede. Sehen wir uns kurz Ihre BigQuery-Umgebung an, um ein paar Leitlinien zur Kostenkontrolle einzurichten.

Kontrollen erzwingen: Vermeiden Sie lange Abfragen, die ewig laufen und hohe Kosten verursachen. Begrenzen Sie die Abfragekosten mit der Einstellung Maximale Menge abgerechneter Bytes. Bei Überschreiten des Limits schlägt die Abfrage fehl und es fallen keine Kosten an (siehe unten).

Partitionierungen und Cluster verwenden: Durch die Partitionierung und das Clustering Ihrer Tabellen können Sie die Kosten der Abfrageverarbeitung verringern und die Leistung verbessern. Heutzutage können Sie eine Tabelle anhand der Uhrzeit oder des Datums der Aufnahme oder einer beliebigen Zeitstempelspalte partitionieren. Damit für Ihre Abfragen und Jobs tatsächlich partitionierte Tabellen verwendet werden, empfiehlt Google, das Feature Partitionsfilter anfordern zu aktivieren. Dies zwingt Nutzer, die Partitionierungsspalte in die WHERE-Klausel einzubeziehen.

Ein weiterer Vorteil der Partitionierung ist, dass BigQuery den Preis für gespeicherte Daten in einer Partition oder Tabelle automatisch um 50 Prozent reduziert, wenn diese 90 Tage lang nicht bearbeitet wurde. Sie wird zu diesem Zweck in einen Langzeitspeicher verschoben. Es ist kostengünstiger und effektiver, Ihre Daten in BigQuery zu belassen, anstatt sie mit hohem Aufwand zu niedrigeren Speicherebenen zu migrieren. Die langfristige Speicherung einer Tabelle oder Partitionierung bewirkt keinerlei Verschlechterung der Leistung, Langlebigkeit, Verfügbarkeit oder sonstiger Funktionen.

Streaming-Insert-Anweisungen prüfen: Sie können Daten auf zwei Weisen in BigQuery laden: als Batchladejob oder über Echtzeitstreaming mithilfe von Streaming-Insert-Anweisungen. Zur Optimierung Ihrer BigQuery-Kosten sollten Sie zuerst in Ihrer Rechnung prüfen, ob Ihnen Streaming-Insert-Anweisungen berechnet werden. Wenn dies der Fall ist, fragen Sie sich, ob Ihre Daten sofort (innerhalb von Sekunden anstatt Stunden) in BigQuery verfügbar sein müssen und ob Sie diese Daten in BigQuery für Echtzeit-Anwendungsfälle verwenden werden. Wenn dies nicht der Fall ist, empfiehlt Google, die Daten stattdessen kostenlos als Batch zu laden.

Flex-Slots verwenden: Standardmäßig werden von BigQuery variable On-Demand-Preise berechnet, die sich nach der durch die Abfrage verarbeiteten Byte-Zahl richten. Wenn Sie große Datenmengen verarbeiten und stabile Arbeitslasten haben, ist es möglicherweise kostengünstiger, auf Pauschalpreise umzusteigen, da Sie mit dieser Option eine unbegrenzte Anzahl von Bytes für feste, vorhersehbare Kosten verarbeiten können.

Angesichts der sich laufend verändernden geschäftlichen Anforderungen hat Google Flex-Slots eingeführt. Damit können Sie BigQuery-Slots ergänzend zu monatlichen und jährlichen Pauschalpreis-Zusicherungen für kurze Zeit (ab 60 Sekunden) kaufen. Mit dieser Kombination aus On-Demand- und Pauschalpreisen können Sie schnell und wirtschaftlich reagieren, wenn sich der Analysebedarf ändert.

5. Netzwerkpakete filtern

Logging und Monitoring sind die Eckpfeiler von Netzwerk- und Sicherheitsvorgängen. Umgebungen, die sowohl Cloud-Umgebungen als auch lokale Infrastrukturen umfassen, erschweren jedoch mitunter den klaren und umfassenden Einblick in die Netzwerknutzung. Das kann genauso schwierig sein, wie wenn Sie ermitteln möchten, wie viel Strom der Küchenherd im letzten Monat verbraucht hat. Google Cloud bietet in der Tat mehrere Tools für einen transparenten Einblick in Ihren Netzwerk-Traffic und damit in Ihre Kosten. Außerdem können Sie Ihre Netzwerkkosten im Handumdrehen mit ein paar einfachen Konfigurationsänderungen senken. Werfen wir nun einen Blick darauf.

Dienste mit hohem Traffic ermitteln: Haben Sie sich jemals gefragt, welche Dienste die meiste Bandbreite belegen? Mit Cloud Platform SKUs können Sie schnell die Kosten für einen Google Cloud-Dienst ermitteln. Außerdem sollten Sie mit Ihrer Netzwerkstruktur vertraut sein und wissen, wie der Traffic zwischen Anwendungen und Nutzern übertragen wird. Network Topology, ein Modul des Network Intelligence Center, bietet einen umfassenden Einblick in Ihre gesamte GCP-Bereitstellung und die Interaktion mit öffentlichen Internet-Diensten. Dies beinhaltet eine unternehmensweite Ansicht der Topologie und der zugehörigen Messwerte für die Netzwerkleistung. Sie können dadurch ineffiziente Bereitstellungen identifizieren und Maßnahmen ergreifen, um Ihre Kosten für ausgehenden regionalen und interkontinentalen Netzwerk-Traffic zu optimieren. In diesem kurzen Video erhalten Sie eine Übersicht über das Network Intelligence Center und Network Topology.

Netzwerkdienststufen: Google Cloud bietet zwei Netzwerkdienststufen: Premium und Standard. Mit der Premium-Stufe profitieren Sie von erstklassiger Leistung auf der ganzen Welt. Google schlägt die Premium-Stufe als bevorzugte Wahl vor. Die Standard-Stufe bietet eine geringere Leistung, kann jedoch bei kostensensiblen Arbeitslasten eine geeignete Alternative sein.

Cloud-Logging: Sie können die Transparenz des Netzwerk-Traffics beeinflussen, indem Sie nicht mehr benötigte Logs herausfiltern. Hier sind ein paar gängige Beispiele von Logs, die Sie ohne Bedenken ausschließen können. Dies gilt auch für mitunter ziemlich große Audit-Logs für den Datenzugriff, für die zusätzliche Kosten anfallen können. Für Entwicklungsprojekte beispielsweise benötigen Sie diese Logs wahrscheinlich nicht. Für VPC Flow Logs und Cloud Load Balancing können Sie außerdem die Logprobenahme aktivieren.

Dadurch kann sich die Menge des Logtraffics, der in die Datenbank geschrieben wird, erheblich reduzieren. Sie können den Wert hierfür von 1,0 (100 Prozent der Logeinträge werden aufbewahrt) auf 0,0 ändern (0 Prozent, keine Logaufbewahrung). Bei der Fehlerbehebung oder bei benutzerdefinierten Anwendungsfällen haben Sie immer die Möglichkeit, Telemetriedaten für ein bestimmtes VPC-Netzwerk oder -Subnetz zu erfassen oder die Analyse zu erweitern, um eine spezifische VM-Instanz oder virtuelle Schnittstelle zu überwachen.

Möchten Sie mehr erfahren?

Unabhängig davon, ob es sich um ein junges Start-Up-Unternehmen oder um ein global agierendes großes Unternehmen handelt - jeder möchte mit anfallenden Kosten bewusst umgehen. Die Tipps in diesem Beitrag sind hierfür bereits sehr hilfreich. Weitere Informationen zur Optimierung Ihrer Google Cloud-Kosten finden Sie in der Video-Playlist zum Kostenmanagement sowie in den Strategien zur Kostenoptimierung in den Bereichen BigQuery, Cloud-Speicher, Netzwerk, Compute Engine und Cloud Logging und Monitoring. Auch können Sie sich direkt an einen Spezialisten zur Kostenoptimierung wenden. Das Team von Google Cloud unterstützt Sie gerne bei dieser Aufgabe.