作成日: 2026-03-29 / 作成者: SAS-Sasao
flowchart LR
subgraph sources["データソース"]
DB["On-Prem DB"]
STREAM["Streaming Events"]
FILE["File Upload"]
end
subgraph aws["AWS Cloud"]
subgraph ingest["取り込み"]
DMS["AWS DMS CDC"]
KDS["Kinesis Data Streams"]
KDF["Kinesis Firehose"]
SFN["Step Functions"]
end
subgraph medallion["Medallion Architecture"]
S3B["S3 Bronze Raw"]
GLUE["Glue ETL"]
S3S["S3 Silver Cleaned"]
EMR["EMR Spark"]
S3G["S3 Gold Aggregated"]
end
subgraph analytics["分析"]
ATHENA["Amazon Athena"]
RS["Redshift Serverless"]
end
QS["Amazon QuickSight"]
subgraph governance["ガバナンス"]
CATALOG["Glue Data Catalog"]
LF["Lake Formation"]
end
end
DB --> DMS --> S3B
STREAM --> KDS --> KDF --> S3B
FILE --> SFN --> S3B
S3B --> GLUE --> S3S --> EMR --> S3G
S3G --> ATHENA --> QS
S3G --> RS --> QS
GLUE -.-> CATALOG
EMR -.-> CATALOG
CATALOG -.-> LF
LF -.-> ATHENA
LF -.-> RS
Medallionアーキテクチャ(Bronze/Silver/Gold)による段階的なデータ品質向上を実現する モダンデータレイクハウスの参照構成図。バッチ(DMS)、ストリーミング(Kinesis)、 ファイルアップロード(Step Functions)の3つの取り込みパターンに対応し、 Glue ETL / EMR Sparkによる処理パイプラインを経て、Athena / Redshift Serverlessで分析。
| レイヤー | AWSサービス | 用途 |
|---|---|---|
| データソース | On-Prem DB / Streaming / File | 3種類の取り込みパターン |
| 取り込み(Batch) | AWS DMS | CDC差分レプリケーション |
| 取り込み(Realtime) | Kinesis Data Streams + Firehose | ストリーミング取得・S3配信 |
| 取り込み(File) | Step Functions | ファイルアップロードオーケストレーション |
| Bronze | Amazon S3 | 生データ保持(スキーマオンリード) |
| ETL処理 | AWS Glue ETL | Bronze→Silverのクレンジング |
| Silver | Amazon S3 | クレンジング・型変換・重複排除済み |
| Spark処理 | Amazon EMR | Silver→Goldの集計・結合 |
| Gold | Amazon S3 | ビジネスロジック適用済み(分析最適化) |
| カタログ | Glue Data Catalog | スキーマ・パーティション管理 |
| ガバナンス | Lake Formation | 列/行レベルのアクセス制御 |
| アドホック分析 | Amazon Athena | サーバーレスSQLクエリ |
| DWH分析 | Redshift Serverless | 高性能DWHクエリ・定期レポート |
| 可視化 | Amazon QuickSight | BIダッシュボード |
Generated by /company-drawio — draw.io MCP Server (AWS Architecture Icons)