クラウドAI
Dataflowとは?
Dataflowとは、Google Cloudでバッチ処理やストリーム処理のデータパイプラインを実行するサービスです。
関連表記: Dataflow / データフロー / ストリーム処理 / バッチ処理
試験で問われるポイント
- データを収集、変換、集計してBigQueryなどへ流す用途で使われます。
- リアルタイム分析やETL/ELTと関係します。
- Cloud Digital Leaderではデータ分析基盤の構成要素として押さえたい用語です。
具体例
Pub/Subから流れるログを処理し、BigQueryに分析しやすい形で格納します。
混同しやすい点
- DataflowをBIダッシュボードの表示サービスと考える。
- データ変換とデータ保存を同じ役割として扱う。
関連問題で復習
あるEC企業がIoTセンサーやクリックログを到着後すぐに分析し、即時に施策へ反映したいと考えています。最も適切なGoogle Cloudのアプローチはどれですか。
業務データベースの変更を継続的に取得して分析基盤へ連携したい場合に、最も適切なGoogle Cloudのサービスはどれですか。
ある製造企業がDataflowで構築するデータパイプラインに、データ品質チェックを組み込む理由として最も適切なものはどれか。
ある企業が注文システムと在庫システムを疎結合にし、イベントを非同期に受け渡して連携させたいと考えています。最も適切なGoogle Cloudのアプローチはどれですか。
ある金融企業が日次のバッチ集計とリアルタイムのストリーミング集計を同じ仕組みで扱えるデータ処理基盤を求めています。最も適切なGoogle Cloudのアプローチはどれですか。
ある企業がビジネスユーザー向けにダッシュボードを提供し、KPIを共有して意思決定を支援したいと考えています。最も適切なGoogle Cloudのアプローチはどれですか。
小売企業の分析担当者はSQLに習熟していますが、専用の機械学習環境の構築は避けたいと考えています。BigQueryに蓄積した売上データからSQLだけで予測モデルを作れる機能はどれですか。
小売企業がECサイトのクリックイベントをリアルタイムに受け取り、加工したうえで分析基盤に蓄積したいと考えています。最も自然なGoogle Cloudのサービス構成はどれですか。