Akira Tanaka’s Blog
概要
dbt のドキュメントを読み、その内容をまとめる。
dbtドキュメント
アナリティクスエンジニアとは
アナリティクスエンジニアリングは、エンドユーザーにクリーンなデータセットを提供し、エンドユーザーが自身の疑問に答えることができるようにデータをモデリングする、現代のデータチームにおける新しい役割である。
データの変換、テスト、デプロイ、文書化を行い、バージョン管理や継続的インテグレーションなどのソフトウェアエンジニアリングのベストプラクティスをアナリティクスコードベースに適用します。
アナリティクスエンジニアの台頭は、クラウドベースのデータウェアハウス、データパイプラインサービス、ビジネスインテリジェンスツールの出現に起因しています。
アナリティクスエンジニアは、組織のデータをキュレーションし、研究者のリソースとして機能するライブラリアンのような存在です。
dbt コミュニティは、アナリティクスエンジニアがこの新しい役割を一緒に考えていく上で、貴重なリソースとなるのです。
データエンジニアとの違い
データエンジニアは、データパイプライン、データウェアハウス、ETL などの基盤を担当することが多いです。
データエンジニアは、データの移動、保存、処理、監視などに関する問題に取り組みます。データエンジニアの役割は、バッチ処理、ストリーミング処理、データのセキュリティ、データの可用性、データ品質などに及びます。
アナリティクスエンジニアは、データエンジニアリングにより提供されるデータを利用して、ビジネスの問題に対処する分析業務をエンジニアリングによって解決することに注力します。アナリティクスエンジニアは、データのクリーニング、変換、モデリングなどを行い、エンドユーザーがデータを理解し、ビジネスの問題を解決するための洞察を得ることができるようにします。
分析のためのクリーンな変換されたデータの整備や、アナリティクスコードへソフトエンジニアのベストプラクティスの適応（バージョン管理、テスト、継続的インテグレーション）、データに関するドキュメントや定義の整備、ビジネスユーザへの可視化ツールトレーニングの実施などを主に行います。
データエンジニアとアナリティクスエンジニアは、両方ともデータの移動、保存、処理に関わることがあります。しかし、データエンジニアは、基盤を構築し、アナリティクスエンジニアは、データを活用するための整備に注力しています。