IT・情報処理 / AWS 認定

AWS Certified Data Engineer – Associateの例題・出題範囲・重要用語

Data ingestion/processing/transformation; storage/partitioning; security; operations & monitoring

出題範囲

  • Storage & Modeling (Lake Formation/S3/Redshift)
  • Data Ingestion (Kinesis/MSK/DMS)
  • Security (IAM/KMS/LF permissions)
  • Operations & Monitoring (CloudWatch/CloudTrail)
  • Data Processing & Transformation (Glue/EMR)

例題に挑戦

スキルサートのAIが生成した演習問題のサンプルです。アプリでは毎週新しい問題が追加されます。

例題1

大規模なストリーミングデータを処理するためにAmazon Kinesis Data Streamsを使用しています。トラフィックの増加に伴い、シャードの書き込みスループット制限を超過する「ProvisionedThroughputExceededException」が発生し始めました。スループットを向上させるために実施すべき最も適切な操作はどれですか。

  1. シャードの分割を実行する
  2. データ保持期間をデフォルトの24時間から延長する
  3. パーティションキーを削除してランダムな分散を行う
  4. コンシューマーアプリケーションのインスタンスタイプを強化する
  5. ストリームの拡張ファンアウト機能を無効化する
解答と解説を見る

正解: シャードの分割を実行する

正解は「シャードの分割を実行する」です。Amazon Kinesis Data Streamsでは、ストリームのキャパシティはシャードの数によって決定されます。1つのシャードは秒間1MBまたは1,000レコードの入力制限があるため、これを超えるトラフィックが発生した場合は「シャードの分割（Resharding / Splitting）」を行ってシャード数を増やすことで、スループットを拡張できます。データ保持期間の延長はデータの蓄積時間を変えるだけであり、スループット制限の解決にはなりません。また、パーティションキーを削除することはできず、適切な設計が求められます。

例題2

AWS Database Migration Service (AWS DMS) を使用して、オンプレミスのOracleデータベースをAmazon Aurora PostgreSQLへ移行する計画を立てています。AWS DMSの機能と制約に関する記述のうち、**誤っているもの**はどれですか。

  1. ソースとターゲットで異なるデータベースエンジン間での移行をサポートしている
  2. 変更データキャプチャ（CDC）を使用して、継続的なレプリケーションが可能である
  3. ストアドプロシージャやビューなどの複雑なスキーマ変換を自動的にすべて完結させる
  4. 移行タスクを個別のレプリケーションインスタンス上で実行し、リソースを管理する
  5. AWS Snowball Edgeと統合して、初期フルロードのデータ移行を高速化できる
解答と解説を見る

正解: ストアドプロシージャやビューなどの複雑なスキーマ変換を自動的にすべて完結させる

正解は「ストアドプロシージャやビューなどの複雑なスキーマ変換を自動的にすべて完結させる」です。これが誤りである理由は、AWS DMSはデータの移動と基本的なデータ型の変換を得意としていますが、異なるエンジン間（例：OracleからPostgreSQL）におけるストアドプロシージャ、トリガー、ビューなどの複雑なスキーマ変換を自動ですべて行う機能はないためです。これらの変換には、AWS Schema Conversion Tool (AWS SCT) を併用する必要があります。その他の選択肢は、DMSの標準的な機能や特性として正しい記述です。

重要用語

Amazon Kinesis Data Streams
リアルタイムで大規模なデータストリーミングを収集・処理するためのサービスです。データは「シャード」という単位で管理され、データの順序保証やミリ秒単位の低レイテンシーが特徴です。複数のコンシューマーが同時にデータを読み取ることが可能で、データの保存期間を設定して、ストリーム処理やリアルタイム分析の基盤として活用されます。
Amazon Kinesis Data Firehose
ストリーミングデータをAmazon S3、Redshift、OpenSearchなどのAWSサービスへ、ニアリアルタイムで配信・ロードするためのフルマネージドサービスです。データのバッファリング、圧縮、変換機能を備えており、サーバーレスで管理が容易なのが特徴です。独自のコードを書かずに、データレイクやデータウェアハウスへの取り込みを自動化できます。
Amazon Managed Streaming for Apache Kafka (MSK)
Apache KafkaをAWS上で簡単に実行・管理できるフルマネージドサービスです。KafkaのAPIをそのまま利用できるため、既存のKafkaアプリケーションを最小限の変更で移行できます。ブローカーやZooKeeperの管理負荷を軽減しつつ、高い可用性とセキュリティを備えた大規模な分散ストリーミングプラットフォームを構築可能です。
AWS Database Migration Service (DMS)
データベースやデータウェアハウスをAWSへ迅速かつ安全に移行するためのサービスです。移行中もソースデータベースを稼働し続けることができるため、ダウンタイムを最小限に抑えられるのが大きな利点です。同種データベース間だけでなく、異なるデータベースエンジン間の移行もサポートしており、継続的なデータの同期にも利用されます。
Change Data Capture (CDC)
データベースで発生したデータの挿入、更新、削除といった変更内容をリアルタイムで追跡し、別のシステムへ反映させる技術です。AWS DMSの主要機能として提供され、初期移行後の増分データのみを継続的に転送することで、ソースとターゲットの間でデータの整合性を保ちながら、低負荷なデータ同期を実現します。
AWS Schema Conversion Tool (SCT)
異なる種類のデータベース間で移行を行う際、テーブル定義やストアドプロシージャなどのスキーマを変換するツールです。例えばOracleからPostgreSQLへの移行など、非互換性がある場合にターゲットDBに適した形式へ自動変換します。DMSと組み合わせて使用することで、異種DB移行に伴う開発工数を大幅に削減できます。
Kinesis Producer Library (KPL)
Kinesis Data Streamsにデータを高効率で書き込むためのライブラリです。複数のレコードを1つのリクエストにまとめて送信する「集約」機能により、書き込みのスループットを向上させ、コストを最適化できます。また、リトライ処理やエラーハンドリングを自動で行うため、堅牢なデータ送信の実装を容易にします。
MSK Connect
Apache Kafka Connectのマネージド版であり、Amazon MSKとS3や外部DBなどのシステム間でデータを簡単に移動させるための機能です。サーバーの管理を行うことなくコネクタをデプロイでき、データの取り込みやエクスポートを自動でスケーリングします。これにより、ストリーミングデータパイプラインの構築と運用を簡素化できます。

AWS Certified Data Engineer – Associateの対策はアプリで

AIが毎週生成する新作問題・ランクマッチ・週次ランキング・AI診断で「続けられる」資格学習を。無料で始められます。

Download on the App Store Google Play で手に入れよう

IT・情報処理の他の資格