Dataflow Kosten sind vCPU-Stunden und GiB-Stunden der Worker, auf denen ein Job läuft, sekundengenau, zu einem Batch-Satz, einem günstigeren FlexRS-Satz für Batch-Jobs, die warten dürfen, und einem höheren Streaming-Satz, dazu die Daten, die der Dienst im Batch je GiB umverteilt, oder die Streaming-Engine-Recheneinheiten im Streaming, die Datenträger der Worker je GiB-Stunde und GPUs je Stunde; Dataflow Prime ersetzt die Ressourcen durch Data Compute Units. Managed Service for Apache Spark, vormals Dataproc, berechnet serverlose Jobs je Data-Compute-Unit-Stunde und Cluster eine Verwaltungsgebühr je vCPU-Stunde zusätzlich zum Compute-Engine-Preis jedes Nodes; Managed Service for Apache Airflow, Cloud Composer, berechnet eine Umgebung je Recheneinheit-Stunde und Datenbankspeicher, oder in der zweiten Version die Umgebungsgebühr nach Größe plus CPU, Speicher und Datenträger der Worker. Auf der Rechnung dominieren Dataflow-Streaming-Jobs, die nie enden, und Dataproc-Cluster, die niemand löscht, und eine Composer-Umgebung kostet ihre Gebühr jede Stunde, ob ein DAG läuft oder nicht.
Preisdimensionen
Google bepreist die drei Dienste nach den Ressourcen, die der Job belegt, und der Zeit, die er sie belegt, und jeder Dienst und Satz hat seine eigene SKU je Region; die Compute-Engine-Nodes hinter Dataproc-Clustern behalten ihre eigenen SKUs.
| Dimension | Einheit | Was sie treibt | Optional |
|---|---|---|---|
| Dataflow-Worker | vCPU-Stunde und GiB-Stunde je Worker, sekundengenau, zum Batch-, FlexRS- oder Streaming-Satz; Streaming mit ein- oder dreijährigen Commitments | Worker-Zahl, Maschinentyp und Laufzeit des Jobs; Autoscaling-Grenzen | Nein |
| Dataflow Shuffle und Streaming Engine | GiB umverteilter Daten im Batch und FlexRS; Streaming-Engine-Recheneinheiten je Stunde im Streaming, oder alte Streaming-Datenverarbeitung je GiB | Group-by- und Join-Stufen, Zustandsgröße, Nachrichtenvolumen | Nein, die dienstbasierten Varianten sind die Vorgabe |
| Dataflow Prime | Data Compute Units je Stunde im Batch und Streaming statt vCPU, Speicher und Shuffle | Jobs auf Prime | Ja |
| Dataflow-Datenträger und GPUs | GiB-Stunde Persistent Disk oder Hyperdisk je Worker; GPU je Stunde nach Typ mit Dataflow-Aufschlag | Datenträgergröße der Worker, Beschleuniger | Ja |
| Dataproc serverlos | Data-Compute-Unit-Stunde in der Standard- oder Premium-Stufe, sekundengenau mit einer Minute Minimum, plus Shuffle-Speicher je GiB-Stunde; ein- oder dreijährige Commitments | Spark-Batches und -Sitzungen ohne Cluster | Ja |
| Dataproc-Cluster | Verwaltungsgebühr je vCPU-Stunde über Master, Worker und sekundäre Worker, sekundengenau mit einer Minute Minimum, plus jeder Node zum Compute-Engine-Preis mit seinen Datenträgern; sekundäre Spot-Worker zum Spot-Preis | Cluster vom Anlegen bis zum Löschen, untätig oder nicht | Ja |
| Composer 3 | Recheneinheiten je Stunde für Scheduler, Worker, Webserver und Triggerer der Umgebung, mit der Last skaliert, plus Datenbankspeicher je GiB-Monat | Umgebungsgröße und DAG-Last | Nein |
| Composer 2 | Umgebungsgebühr je Stunde nach Größe (klein, mittel, groß) und Ausfallsicherheit, plus vCPU-Stunden, GiB-Stunden und Datenträger der Worker und Datenbankspeicher | Umgebungsgröße, Autoscaling-Grenzen der Worker | Nein, solange die Umgebung besteht |
| Rund um die Jobs | Cloud Storage für Eingaben, Staging und Checkpoints, BigQuery-Speicher und -Abfragen, Pub/Sub-Durchsatz, Egress | Quellen und Senken jeder Pipeline | Ja (BigQuery-Preise, Pub/Sub- und Eventarc-Preise) |
| Kaufoption | Commitments für Dataflow-Streaming und Dataproc serverlos über ein oder drei Jahre; das flexible Compute-CUD deckt sie nicht | Gleichmäßige Streaming- und Spark-Last | Ja (Google Cloud Committed Use Discounts) |
Die Zeit ist der Preis: Ein Dataflow-Batch-Job zahlt seine Worker vom Start bis zum Stopp, also sind Laufzeit und Worker-Zahl die Rechnung, und ein Streaming-Job zahlt sie rund um die Uhr, zu einem Satz rund ein Viertel über Batch, mit den Recheneinheiten der Streaming Engine obendrauf für den Zustand und Shuffle, den sie im Dienst hält. FlexRS senkt den Batch-Satz um rund ein Drittel, indem es den Job innerhalb von sechs Stunden auf unterbrechbaren und regulären Workern zusammen einplant, was nächtlichen Jobs passt und Fristen nicht. Dataproc-Cluster sind Compute Engine mit Verwaltungsgebühr: Jeder Node zahlt seinen Instanzpreis, ob ein Job läuft oder nicht, die Gebühr fügt einen Cent je vCPU-Stunde hinzu, und ein Cluster, der übers Wochenende läuft, zahlt das Wochenende; serverloses Spark ersetzt das durch Data Compute Units, die sekundengenau berechnet werden, solange der Batch läuft, zu einem Satz, der die Maschine enthält, also mehr je Einheit und nichts zwischen den Jobs. Composer ist das Gegenteil: Eine Umgebung ist ein Scheduler, eine Datenbank und Worker, die dauernd laufen, also fallen ihre Gebühr oder ihre Recheneinheiten jede Stunde an, ob ein DAG läuft oder nicht, und die Last fügt Worker hinzu; kleine Umgebungen zahlen die Basis, große die Worker. Die Mechanik aller drei Anbieter erklärt Data Warehouses und Analytik.
So erscheint es in den Abrechnungsdaten
Im Abrechnungsexport tragen die Dataflow-Zeilen service.description Cloud Dataflow und eine sku.description je Ressource und Modus: vCPU Time Batch Frankfurt, RAM Time Batch Frankfurt, vCPU Time Streaming Frankfurt, RAM Time Streaming Frankfurt, vCPU Time FlexRS Frankfurt, Shuffle Data Processed Frankfurt, Streaming Engine Compute Unit Frankfurt, Local Disk Time PD Standard Frankfurt, Data Compute Unit Batch Frankfurt für Prime; usage.unit ist Stunde, Gibibyte-Stunde, Gibibyte oder Anzahl. resource.name im Export mit Ressourcendetails nennt den Job, und die Labels des Jobs in labels sind die Zuordnung je Pipeline und Team; ohne Ressourcendetails summieren sich die Jobs eines Projekts zu einer Zeile je SKU und Tag. Dataproc-Zeilen tragen service.description Cloud Dataproc mit Licensing Fee for Cloud Dataproc je vCPU-Stunde für Cluster, während die Nodes unter Compute Engine stehen, mit dem Label goog-dataproc-cluster-name, das Dataproc setzt; serverlose Batches erscheinen als Dataproc Serverless Standard DCU Frankfurt und Dataproc Serverless Shuffle Storage. Composer-Zeilen tragen service.description Cloud Composer mit Cloud Composer 3 Standard DCU Frankfurt und Cloud Composer 3 Database Storage, oder für die zweite Version Cloud Composer Compute CPUs, Cloud Composer Compute Memory, Cloud Composer Compute Storage und Small Cloud Composer Environment Fee; resource.name nennt die Umgebung.
Commitments erscheinen als credits.type COMMITTED_USAGE_DISCOUNT neben den Streaming- oder Serverless-Zeilen, und die Compute-Engine-Nodes eines Dataproc-Clusters tragen Nutzungs- und Spot-Credits wie jede Instanz. Den Aufbau des Exports beschreibt Google-Cloud-Abrechnungsexport; im FOCUS-Export trägt ServiceName Cloud Dataflow, Cloud Dataproc oder Cloud Composer, ServiceCategory Analytics, SkuId die SKU und ChargeCategory Usage (FOCUS-Spalten). Was ein Job gekostet hat, steht auch in den Metriken des Jobs: Die Dataflow-Jobseite zeigt die berechneten Ressourcen je Job und Dataproc die DCU-Stunden des Batches.
Stellhebel
Konfiguration: Bei Dataflow ist der erste Hebel der Maschinentyp der Worker und das Autoscaling-Maximum, weil ein Job, der für eine schiefe Stufe auf 100 Worker skaliert, 100 Worker zahlt; der zweite FlexRS für Batch-Jobs, die sechs Stunden warten können; der dritte die Streaming Engine und Dataflow Prime, die Zustand und Shuffle von den Workern nehmen und kleinere Worker erlauben. Bei Dataproc ist der Hebel das Leben des Clusters: flüchtige Cluster je Job, vom Workflow gelöscht, oder serverlose Batches, und sekundäre Spot-Worker für den Teil des Clusters, der unterbrochen werden darf; ein untätiger Cluster zahlt Nodes und Gebühr für nichts, wie ungenutzte und verwaiste Ressourcen beschreibt. Bei Composer ist der Hebel die Umgebungsgröße und die Zahl der Umgebungen: eine Umgebung für viele DAGs, dimensioniert nach den Schedulern und Workern, die die Last braucht, nicht eine je Team.
Kaufoption: Commitments auf Dataflow-Streaming und Dataproc serverlos für die Grundlast, die rund um die Uhr läuft; Batch-Jobs und Cluster nehmen die Compute-Engine-Commitments und Spot ihrer Nodes (Commitment-Strategie).
Architektur: Ein Streaming-Job nur, wo die Latenz es braucht, weil dieselben Daten stündlich im Batch einen Bruchteil zahlen; serverloses Spark für Jobs, die Minuten laufen, Cluster für Jobs, die Stunden auf gepackten Nodes laufen; und der Speicher der Pipeline in der Region des Jobs, weil jeder Shuffle zu einem Bucket anderswo Egress zahlt (Netzwerkpreise). Was die Nodes kosten, steht unter Compute-Engine-Preise.
Wo es schiefgeht
- Der Streaming-Job läuft für ein Feature, das niemand liefert. Eine Streaming-Pipeline zahlt ihre Worker und Recheneinheiten jede Stunde, über Monate. Die Jobliste nach Startdatum nennt die alten; entleeren und abbrechen.
- Der Cluster hat den Job überlebt. Ein von Hand angelegter Dataproc-Cluster zahlt Nodes und Gebühr bis zum Löschen. Workflow-Vorlagen mit Löschung oder ein Leerlauf-Löschtimer beenden es.
- Autoscaling in die Schieflage. Ein heißer Schlüssel lässt den Job für eine Stufe auf sein Maximum skalieren und alle Worker für die ganze Stufe zahlen. Ein niedrigeres Maximum und eine Neupartitionierung sind die Lösung.
- Batch zum Streaming-Satz. Ein als unbegrenzte Pipeline geschriebener Batch-Job zahlt Streaming-Sätze und die Streaming Engine. Begrenzte Quellen und Batch-Modus kosten ein Viertel weniger.
- Der Shuffle ist die Rechnung. Ein Job, der Terabytes gruppiert, zahlt den Shuffle je GiB zusätzlich zu den Workern. Combiner vor dem Group-by und die Streaming Engine senken ihn.
- Eine Composer-Umgebung je Team. Jede Umgebung zahlt ihre Gebühr oder Recheneinheiten den ganzen Monat. Eine Umgebung mit Ordnern je Team trägt die DAGs.
- Worker für die Spitze dimensioniert. Composer-Worker am Maximum den ganzen Monat zahlen die nächtliche Spitze rund um die Uhr. Autoscaling-Grenzen auf die gemessene Last.
Beispiel
Listenpreise in USD für Frankfurt (europe-west3), gelesen am 2026-10-21 von den Preisseiten von Dataflow, Managed Service for Apache Spark und Managed Service for Apache Airflow: Dataflow-Batch-Worker kosten 0,0672 USD je vCPU-Stunde und 0,0042684 USD je GiB-Stunde, FlexRS 0,0433 USD und 0,0027499 USD, Streaming 0,0828 USD und 0,0042684 USD, 0,06624 USD und 0,04968 USD je vCPU-Stunde mit ein- und dreijährigem Commitment; Batch-Shuffle 0,01417 USD je GiB, Streaming-Datenverarbeitung 0,02319 USD je GiB, eine Streaming-Engine-Recheneinheit 0,105 USD je Stunde, eine Prime-Batch-Data-Compute-Unit 0,071 USD je Stunde; Standard Persistent Disk der Worker 0,0000648 USD je GiB-Stunde. Dataproc serverlos kostet 0,077307 USD je Standard-Data-Compute-Unit-Stunde und 0,114672 USD je Premium-Einheit, Shuffle-Speicher 0,000065753 USD je GiB-Stunde, die Cluster-Verwaltungsgebühr 0,01 USD je vCPU-Stunde. Composer 3 kostet 0,0708 USD je Recheneinheit-Stunde und 0,000274795 USD je GiB-Stunde Datenbankspeicher; eine kleine Composer-2-Umgebung 0,45 USD je Stunde Gebühr, mittel 0,71 USD, groß 1,10 USD, Worker 0,058 USD je vCPU-Stunde und 0,006 USD je GiB-Stunde.
Ein nächtlicher Dataflow-Batch-Job auf 20 Workern n2-standard-4, der zwei Stunden läuft und 500 GiB umverteilt, kostet 30 × (2 × 20 × (4 × 0,0672 + 16 × 0,0042684) + 500 × 0,01417) = 30 × (13,48 + 7,09) = 617,08 USD im Monat; auf FlexRS 408,40 USD; dieselbe Pipeline als Streaming-Job auf fünf solchen Workern rund um die Uhr 730 × 5 × (4 × 0,0828 + 16 × 0,0042684) = 1.458,03 USD plus die Einheiten der Streaming Engine. Ein Dataproc-Cluster mit einem Master und vier Workern n2-standard-4, der rund um die Uhr läuft, kostet 730 × 5 × 0,250248 = 913,41 USD an Nodes plus 730 × 20 × 0,01 = 146,00 USD Gebühr; derselbe Cluster für die zwei Stunden des Jobs am Tag 60,06 USD plus 9,60 USD; der Job als serverloser Batch mit 16 DCUs für zwei Stunden am Tag 30 × 2 × 16 × 0,077307 = 74,21 USD. Eine kleine Composer-2-Umgebung mit zwei Workern zu 2 vCPUs und 8 GiB kostet 730 × 0,45 = 328,50 USD Gebühr plus 730 × 2 × (2 × 0,058 + 8 × 0,006) = 239,44 USD Worker, 567,94 USD im Monat, bevor ein DAG läuft. Die Zahlen zeigen, dass die Uhr, nicht die Daten, diese Rechnungen trägt, dass ein nach dem Job gelöschter Cluster ein Zehntel eines laufenden kostet, und dass ein Orchestrator seine Basis jede Stunde zahlt.
Quellen
Gelesen am 2026-10-21. Preise: Dataflow Preise, Managed Service for Apache Spark Preise, Managed Service for Apache Airflow Preise. Dienst: Dataflow FlexRS, Dataflow Streaming Engine, Geplantes Löschen von Dataproc-Clustern. Abrechnungsdaten: Struktur des Standard-Exports der Cloud-Billing-Daten.