Data-Driven Decision Platform on AWS

凡例

DB Repl. --- ERP/CRM/SKILL_HUB からの DB レプリケーション（DMS）

API Stream --- SharePoint/Redmine からのストリーム取り込み（Firehose）

Raw Data --- Glue ETL によるデータレイク書き込み

Master Data --- MDM ゴールデンレコード連携

Structured --- DWH から BI/ML への構造化データ

Unstructured --- データレイクから ML への非構造化データ

AI --- SageMaker/Bedrock からユーザーへの分析結果

概要

社内の複数システム（ERP、CRM、SKILL_HUB、SharePoint、Redmine）から情報を収集し、AWSのマネージドサービスでデータ統合・蓄積・分析を行い、経営者・マーケティング・営業がデータドリブンな意思決定を行える基盤です。

SKILL_HUBは社内マスタデータ管理WebApp（SmartHR連携/Backlog連携/RDB+VectorDB）で、生成AI対応のVectorDBを搭載。AWS DMS でデータベースレベルのレプリケーション、Kinesis Data Firehose でドキュメント/チケット系のストリーム取り込みを行い、Glue ETL で変換後にS3データレイクとDynamoDB MDMに振り分けます。

データフロー

DB Repl. ERP / CRM / SKILL_HUB → データ取り込み

ERP / CRM / SKILL_HUB → AWS DMS (DB Replication) → AWS Glue ETL

Stream SharePoint / Redmine → ストリーム取り込み

SharePoint / Redmine → Kinesis Data Firehose → AWS Glue ETL

Raw データレイク蓄積

AWS Glue ETL → S3 Raw/Curated Zone → Lake Formation → Redshift DWH

Master MDM ゴールデンレコード

AWS Glue ETL → DynamoDB (Golden Record) → Glue Data Catalog → Redshift DWH

BI 構造化データ分析

Redshift DWH → QuickSight BI → 経営者 / マーケティング

AI AI/ML 予測分析

Redshift + S3 → SageMaker ML Pipeline → Bedrock GenAI/RAG → マーケティング / 営業

レイヤー構成

レイヤー	AWSサービス	用途
データ取り込み	AWS DMS	ERP/CRM/SKILL_HUBからのDBレプリケーション
データ取り込み	Kinesis Data Firehose	SharePoint/Redmineからのストリーム取り込み
ETL	AWS Glue ETL	データ変換・クレンジング・振り分け
データレイク	Amazon S3 (Raw/Curated)	生データ・加工済みデータの永続化
	AWS Lake Formation	データガバナンス・Fine-grained ACL
	Glue Data Catalog	メタデータ管理・スキーマレジストリ
MDM	Amazon DynamoDB	マスタデータのゴールデンレコード管理
DWH	Amazon Redshift Serverless	構造化データの分析用ウェアハウス
分析・AI/ML	Amazon QuickSight	BIダッシュボード・定型レポート
	Amazon SageMaker	ML学習・推論パイプライン
	Amazon Bedrock	GenAI/RAG による自然言語インサイト
暗号化	AWS KMS	全データストアの暗号化キー管理

コスト概算

ap-northeast-1 (東京) リージョン基準の月額概算。実際の費用は利用量により変動します。為替レート: $1 = 150円

サービス	構成	Dev (月額)	Prod (月額)
AWS DMS	レプリケーション	$20-40 (3,000-6,000円)	$40-80 (6,000-12,000円)
Kinesis Data Firehose	ストリーム配信	$5-15 (750-2,250円)	$15-50 (2,250-7,500円)
S3	データレイク (100-500GB)	$3-12 (450-1,800円)	$12-50 (1,800-7,500円)
Glue ETL	データ変換	$10-50 (1,500-7,500円)	$50-200 (7,500-30,000円)
Glue Data Catalog	メタデータ管理	$1-3 (150-450円)	$3-5 (450-750円)
Lake Formation	アクセス制御	$0 (無料)	$0 (無料)
DynamoDB	操作ログ (On-Demand)	$5-15 (750-2,250円)	$15-50 (2,250-7,500円)
Redshift Serverless	DWH (8-32 RPU)	$50-150 (7,500-22,500円)	$200-600 (30,000-90,000円)
QuickSight	BI (Author 2名 + Reader 5名)	$73 (10,950円)	$73-200 (10,950-30,000円)
SageMaker	ML推論 (ml.m5.large)	$50-100 (7,500-15,000円)	$100-300 (15,000-45,000円)
Bedrock	生成AI (Claude/Titan)	$10-50 (1,500-7,500円)	$50-200 (7,500-30,000円)
KMS	暗号化キー	$1 (150円)	$1-3 (150-450円)
合計		$228-449 (約34,200-67,350円)	$559-1,738 (約83,850-260,700円)

前提条件: Dev=テストデータ100GB、Prod=500GB+日次増分。Redshift RPUは業務時間帯利用。Bedrock利用はバッチ推論中心。

コスト最適化: Redshift Serverlessは夜間自動停止。Glue ETLの差分処理でDPU使用を最小化。S3 Intelligent-Tieringで低頻度アクセスデータを自動移行。

設計のポイント

サーバーレス中心 --- Glue, Firehose, Redshift Serverless, DynamoDB (PAY_PER_REQUEST) を採用し、運用負荷とコストを最小化。ワークロード変動に自動スケール。
2系統のデータ取り込み --- RDB系ソース（ERP/CRM/SKILL_HUB）はDMSでCDCレプリケーション、ドキュメント/チケット系（SharePoint/Redmine）はFirehoseでストリーム取り込み。ソース特性に応じた最適な取り込みパターン。
MDMとデータレイクの並行パイプライン --- Glue ETLからS3データレイク（Raw→Curated）とDynamoDB MDM（ゴールデンレコード）に並行書き込み。両者がRedshift DWHに合流し、品質担保された構造化分析を実現。
KMS一元暗号化 --- 全データストア（S3, DynamoDB, Redshift, Firehose）を共通KMSキーで暗号化。Lake FormationでFine-grained ACLを実現し、セキュリティとガバナンスを統一管理。
BI + GenAI のデュアル分析 --- QuickSightで定量的BIダッシュボード、Bedrock GenAI/RAGで自然言語によるインサイト提供。経営層にはBI、マーケ/営業にはAI予測という利用者特性に応じた分析チャネル。

Generated by /company-diagram — AWS Diagram MCP Server + AWS Knowledge MCP Server