データ・DX
データエンジニアリングとは？
データエンジニアリングとは、データを収集、加工、蓄積、提供するための基盤や処理を設計・運用する領域です。
別名・表記: データエンジニアリング / Data Engineering
試験で問われるポイント
- 分析やAIの前提として、データ基盤とデータ加工が必要です。
- DB、DWH、ETL/ELT、SQLなどと結びつきます。
- DS検定ではデータサイエンスとは別領域として扱われます。
具体例
複数システムのデータをDWHへ集約し、分析しやすい形に整えます。
混同しやすい点
- データ分析者だけがデータ基盤を考えればよいと考える。
- データを集めれば自動的に活用できると考える。
関連問題で復習
受注表 `orders(order_id, ordered_at, region, amount, status)` から、2026年8月の地域別確定売上をExcelで作成する。抽出仕様として最も適切なものはどれか。
解約分析へ次のデータを使う案がある。 | データ | 対象 | 取得時の案内 | 加工 | |---|---|---|---| | 購買履歴 | 国内顧客 | 配送と請求 | 顧客IDあり | | 閲覧ログ | EU居住者を含む | サービス運用 | IDをハッシュ化 | 収集前の対応として最も適切なものはどれか。
問い合わせWebサービスで、応答遅延と有人転送の原因を分析できるログ仕様を設計する。最も適切なものはどれか。
DB基盤の要件は次のとおりである。 | 項目 | 要件 | |---|---| | 可用性 | 主系・待機系の2台 | | 配置 | 非公開サブネット | | 接続 | アプリサーバーから5432番だけ | | 保護 | 日次バックアップを別領域へ暗号化保存 | | 監視 | 主系・待機系の両方 | 条件をすべて満たす構成はどれか。
顧客テーブルと注文テーブルを設計する。顧客には複数の注文があり、各注文は1人の顧客に属する。この関係の表し方として最も適切なものはどれか。
orders(customer_id, amount)から顧客別の購入金額合計を求めるSQLとして、最も適切なものはどれか。
受注明細は1受注1行で、顧客タグ表は1顧客に複数行ある。両表をcustomer_idで結合した後に顧客別売上を集計すると、タグ数の多い顧客の売上が過大になった。集計粒度を保つ修正として最も適切なものはどれか。
次のデータから、注文のない顧客も含め、確定注文だけの金額を顧客別に表示したい。 | customers.id | name | |---:|---| | 1 | A社 | | 2 | B社 | | 3 | C社 | | orders.customer_id | amount | status | |---:|---:|---| | 1 | 100 | paid | | 1 | 50 | cancelled | | 2 | 80 | paid | A社100、B社80、C社0を返すSQLはどれか。