データ基盤構築 — サイロ解消とMedallionアーキテクチャ

8部門に散在するデータソースの統合基盤を、BigQuery + dbt のMedallionアーキテクチャで設計・構築。Phase 1（3部門）でROI実証後、全社展開へ。

ROLE

データエンジニアリングリード / アーキテクト

TEAM

4名（DE 2名 + Analytics Engineer 1名 + PM 1名）

PERIOD

14ヶ月

主な成果

週次レポート作成工数: 10時間 → 1時間（-90%）
Phase 1対象3部門でKPI定義を統一し、全社用語辞書（案）を策定
データ品質テスト: 380+ tests（dbt tests + Great Expectations）
Phase 1 → Phase 2: 3部門でROI実証後、全8部門への展開決定

TECHNOLOGIES

BigQuerydbtFivetranAirflowLookerTerraformPythonGreat ExpectationsPagerDutyGCP

Before/After比較 — 8部門のデータサイロ状態と統合後のSingle Source of Truthアーキテクチャ — Before/After: 8部門のサイロ状態から統合基盤へ

Medallionアーキテクチャ全体図 — Sources → Ingestion → Bronze → Silver → Gold → Consumption の7レイヤー構成 — Medallion Architecture: Bronze / Silver / Gold の3層データ品質保証

パイプライン監視ダッシュボード — Airflow DAG実行状況、データ品質スコア、SLAコンプライアンス — Pipeline Monitoring: DAG実行監視とデータ品質ダッシュボード

背景・課題

全社8部門がそれぞれ独自のデータソース（Salesforce、Google Analytics、Zendesk、SAP、Firebase等）とレポーティングを運用しており、「アクティブユーザー」の定義が3種類存在するなど、部門間でKPIの整合性が取れない状態だった。経営会議のたびに数値突合で半日以上を要し、営業→CS→マーケの顧客データが断絶してLTV分析も不可能だった。

アプローチ

まず8部門のデータアセスメントを実施し、関連性の高い営業・マーケティング・CS の3部門をPhase 1として統合を開始。BigQuery上にMedallionアーキテクチャ（bronze_* / silver_* / gold_* のdataset分割、IAMによる権限境界を設定。Bronze: 生データ複製 → Silver: クレンジング・名寄せ → Gold: 全社統一KPI）を構築し、dbtによるデータ変換と380以上の品質テストを整備。Fivetranによるデータソース（Salesforce, Zendesk等）の自動取り込みとGA4のBigQuery Export連携でデータ収集を整備。Airflowによるオーケストレーション、Terraformによるインフラコード化を実装。Phase 1でROIを実証後、残り5部門への段階的拡大ロードマップを策定。