RedshiftからDatabricksへ、約150名が使うDWHを一人で移行

背景と課題

本社が Databricks に基盤を統一する方針を打ち出す一方、日本法人は Redshift 上に独自のパイプラインを抱えていました。日本法人のデータ担当は一人だけ。その体制で、日常の分析業務を止めずに基盤を移し替える必要がありました。あわせて、倉庫管理システムの変更にともなうパイプラインの再設計も重なっていました。

アプローチ

• 旧環境（Redshift）から新環境（Databricks）への移行計画を策定し、実装まで単独で担当
• ETL とデータマートの定義を再設計し、検証環境で数字の一致を確認してから本番移行
• 倉庫管理システムの変更にあわせて、データパイプラインを再設計・実装
• ノーコードETLツールを導入し、営業・マーケティング部門が自分でデータを集計・可視化できるように整備
• dbt のコード管理のために GitHub を導入し、変更履歴とレビューの仕組みを確立

成果

本社との基盤統一により、データ連携のコストが下がりました。パイプラインの見直しで、更新エラーやロジックの誤りによる異常値の発生が減っています。ノーコードETLツールの導入により、ビジネス部門が自律的にデータを扱えるようになり、データ担当一人への依存が緩和されました。