クリックで拡大表示
データウェアハウス（Redshift）やデータレイク（S3 Gold Layer）に蓄積されたデータを活用し、機械学習モデルの開発・学習・デプロイ・運用までを一気通貫で実現するモダンMLパイプラインの参照構成図です。
SageMaker を中心に、特徴量エンジニアリング（Glue / EMR）、実験管理（Studio Notebook）、モデル学習・登録（Training Job / Model Registry）、推論（リアルタイムエンドポイント / バッチ推論）、モニタリング（CloudWatch / EventBridge）の全フェーズをカバーしています。
さらに、Bedrock による RAG（Retrieval-Augmented Generation）を組み合わせることで、DWHの業務知識を活用した生成AIアプリケーションへの拡張も可能です。
| レイヤー | AWSサービス | 用途 |
|---|---|---|
| データソース | Redshift DWH / S3 Gold Layer | DWHの集計データ、データレイクの加工済みデータ |
| 特徴量エンジニアリング | AWS Glue ETL / Amazon EMR (Spark) | 特徴量抽出・変換・正規化。大規模データはEMR、定型処理はGlue |
| 実験・開発 | SageMaker Studio Notebook | EDA（探索的データ分析）、モデル実験、ハイパーパラメータ探索 |
| モデル学習 | SageMaker Training Job | 分散学習、Spot Instance活用、学習ジョブの自動スケーリング |
| モデル管理 | SageMaker Model Registry | モデルバージョン管理、承認ワークフロー、系統追跡 |
| オーケストレーション | Step Functions | 特徴量生成→学習→評価→登録の自動パイプライン |
| リアルタイム推論 | SageMaker Endpoint + Lambda | API経由のリアルタイム予測。Lambdaで前処理を実行 |
| バッチ推論 | AWS Batch (SageMaker Transform) | 大量データに対する一括推論処理 |
| GenAI拡張 | Amazon Bedrock | DWHの業務知識をナレッジベースとしたRAG構成 |
| モニタリング | CloudWatch + EventBridge + SNS | モデルドリフト検知、レイテンシ監視、アラート通知 |
ap-northeast-1 (東京) リージョン基準の月額概算。実際の費用は利用量により変動します。為替レート: $1 = 150円
| サービス | 構成 | Dev (月額) | Prod (月額) |
|---|---|---|---|
| SageMaker Studio | 開発環境 (ml.t3.medium) | $30-60 (4,500-9,000円) | $30-60 (4,500-9,000円) |
| SageMaker Training | 学習ジョブ (ml.m5.xlarge) | $20-80 (3,000-12,000円) | $80-400 (12,000-60,000円) |
| SageMaker Endpoint | 推論エンドポイント (ml.m5.large) | $50-100 (7,500-15,000円) | $100-300 (15,000-45,000円) |
| SageMaker Model Registry | モデル管理 | $0-1 (0-150円) | $1-3 (150-450円) |
| S3 | 学習データ + モデル成果物 | $5-20 (750-3,000円) | $20-80 (3,000-12,000円) |
| Glue ETL | 特徴量エンジニアリング | $10-50 (1,500-7,500円) | $50-200 (7,500-30,000円) |
| EMR | 大規模データ前処理 | $30-80 (4,500-12,000円) | $80-300 (12,000-45,000円) |
| Step Functions | MLパイプライン | $1-5 (150-750円) | $5-20 (750-3,000円) |
| AWS Batch | バッチ推論 | $10-30 (1,500-4,500円) | $30-100 (4,500-15,000円) |
| Bedrock | 生成AI活用 | $10-50 (1,500-7,500円) | $50-200 (7,500-30,000円) |
| EventBridge + SNS | モデルイベント・通知 | $0-2 (0-300円) | $2-5 (300-750円) |
| CloudWatch | モデル監視 + メトリクス | $10-20 (1,500-3,000円) | $20-40 (3,000-6,000円) |
| 合計 | $176-498 (約26,400-74,700円) | $468-1,708 (約70,200-256,200円) | |
前提条件: Dev=週次学習・テストデータ50GB、Prod=日次学習・データ500GB。SageMaker Endpointは24/7稼働。GPU利用時は別途費用。
コスト最適化: SageMaker Spot Trainingで学習コスト最大90%削減。推論エンドポイントのAuto Scalingでアイドル時のコスト削減。EMR SpotインスタンスでETLバッチ処理のコスト最適化。Bedrock Batch APIでバッチ推論50%削減。
Step Functions によるパイプライン自動化: 特徴量生成 → モデル学習 → 評価 → Model Registry 登録 → エンドポイントデプロイの一連のフローを自動化。手動介入なしで継続的な再学習が可能です。
Model Registry による承認ワークフロー: 学習済みモデルを Model Registry に登録し、「Approved」ステータスのモデルのみを本番デプロイ。データサイエンティストとMLエンジニアの責務を分離できます。
モデルモニタリング: CloudWatch でエンドポイントのレイテンシ・エラー率を監視し、EventBridge ルールで閾値超過時に SNS 通知。モデルドリフト（入力データの分布変化）も SageMaker Model Monitor で検知できます。
Bedrock RAG との統合: DWHに蓄積された業務データをベクトル化し、Bedrock の Knowledge Base として活用。従来のML予測と生成AIによる自然言語での洞察提供を組み合わせたハイブリッドな分析基盤を構築できます。
Powered by AWS Diagram MCP Server