データマネジメント

データマネジメント#

データレイク（data lake）：生データ・非構造化データ（画像や音声など）を中心に貯蔵したもの。

データソース（=水源）から流れてきたデータがはじめに貯蔵される場所。

生データのコピーをデータレイクの定義とする本もある。例えば、システムの本番環境RDBからコピーしている分析用のレプリカDBがデータレイク。

AWSのサービスでいうと、非構造化データならS3で、構造化データならRDSやRedshiftなど？

データウェアハウス （data warehouse: DWH）：構造化データ（テーブルデータ）を分析・BI用に置いておく場所。

AWSでいうとRedshiftとか？（企業によってはテラバイトやペタバイトの単位になってくるため）

企業の財務部門、マーケティング部門、営業部門など、特定のビジネスユニットのニーズに合わせてデータを絞ったデータウェアハウス

AWSでいうとS3にcsvやParquetで貯めておいてAthenaでSQLクエリを書いて取り出せるようにしてるものとか。

ETL (Extract：データ抽出、Transform : データ整形、Load : データ出力）ツールは、データソースからデータレイクやデータウェアハウスにデータを流し込むツールのこと。

たとえば構造化データならAWS Glue