ホーム ›
対応資格一覧 ›
IT・情報処理 › AWS Certified Data Engineer – Associate 出題範囲(5分野) Storage & Modeling (Lake Formation/S3/Redshift)80問 Data Ingestion (Kinesis/MSK/DMS)79問 Security (IAM/KMS/LF permissions)80問 Operations & Monitoring (CloudWatch/CloudTrail)80問 Data Processing & Transformation (Glue/EMR)75問 AWS Certified Data Engineer – Associateの例題(6問・解説つき) スキルサートのAIが出題範囲に沿って作成した演習問題です(過去問ではありません)。アプリでは毎週新しい問題が追加されます。
例題1Storage & Modeling (Lake Formation/S3/Redshift) AWS Lake Formationを使用して、別のアカウントのIAMプリンシパルに、特定のカタログリソースへのアクセスを許可したいと考えています。管理のオーバーヘッドを最小限に抑えつつ、複数のアカウントにまたがるデータカタログのリソースを安全に共有するための最適な方法はどれか。
AWS Glueの接続機能を使用して、ターゲットアカウントにカタログの複製を作成する Amazon Redshift Spectrumのフェデレーテッドクエリを使用して、リモートカタログを参照する AWS Lake Formationのクロスアカウント許可を使用して、AWS Resource Access Manager (RAM) を介してリソースを共有する 各アカウントにIAMロールを作成し、S3バケットポリシーを手動で更新してクロスアカウントアクセスを許可する S3の署名付きURLを生成し、一時的なアクセス権を他アカウントのユーザーに渡す 解答と解説を見る 正解: AWS Lake Formationのクロスアカウント許可を使用して、AWS Resource Access Manager (RAM) を介してリソースを共有する
正解は「AWS Lake Formationのクロスアカウント許可を使用して、AWS Resource Access Manager (RAM) を介してリソースを共有する」です。AWS Lake FormationはAWS Resource Access Manager (RAM) と統合されており、これを利用することで、個別のS3バケットポリシーやIAMポリシーを複雑に管理することなく、一元化されたインターフェースから他のアカウントや組織単位(OU)に対してカタログリソースの権限を付与できます。これにより、大規模なマルチアカウント環境でのデータ共有が簡素化され、ガバナンスの維持が容易になります。
例題2Data Ingestion (Kinesis/MSK/DMS) 大規模なストリーミングデータを処理するためにAmazon Kinesis Data Streamsを使用しています。トラフィックの増加に伴い、シャードの書き込みスループット制限を超過する「ProvisionedThroughputExceededException」が発生し始めました。スループットを向上させるために実施すべき最も適切な操作はどれですか。
シャードの分割を実行する データ保持期間をデフォルトの24時間から延長する パーティションキーを削除してランダムな分散を行う コンシューマーアプリケーションのインスタンスタイプを強化する ストリームの拡張ファンアウト機能を無効化する 解答と解説を見る 正解: シャードの分割を実行する
正解は「シャードの分割を実行する」です。Amazon Kinesis Data Streamsでは、ストリームのキャパシティはシャードの数によって決定されます。1つのシャードは秒間1MBまたは1,000レコードの入力制限があるため、これを超えるトラフィックが発生した場合は「シャードの分割(Resharding / Splitting)」を行ってシャード数を増やすことで、スループットを拡張できます。データ保持期間の延長はデータの蓄積時間を変えるだけであり、スループット制限の解決にはなりません。また、パーティションキーを削除することはできず、適切な設計が求められます。
例題3Security (IAM/KMS/LF permissions) AWS Lake Formationを使用して他のAWSアカウントとデータカタログのリソースを共有する場合、共有先のアカウントでAthenaからデータをクエリするために最低限必要となるLake Formationアクションの組み合わせはどれですか?
SUPERUSER と ALL INSERT と DELETE CREATE_TABLE と ALTER ALTER と DROP DESCRIBE と SELECT 解答と解説を見る 正解: DESCRIBE と SELECT
正解は「DESCRIBE と SELECT」です。AWS Lake Formationにおいてクロスアカウントでリソースを共有する場合、リソースを所有するアカウントから共有先のアカウント(または組織)に対して、メタデータを参照するためのDESCRIBE権限と、データ自体を読み取るためのSELECT権限を付与する必要があります。これにより、AWS Resource Access Manager (RAM) を介してカタログリソースが共有され、共有先のアカウントのプリンシパルがAthenaなどを使用してクエリを実行できるようになります。IAMポリシーだけでは不十分であり、Lake Formationの設定内で明示的にこれらの権限を付与する必要があります。
例題4Operations & Monitoring (CloudWatch/CloudTrail) Amazon CloudWatch Logs に保存されている過去 30 日間のアプリケーションログを、長期保存とコンプライアンス要件を満たすために Amazon S3 バケットにアーカイブする必要があります。最も運用効率の高い方法はどれですか。
ログデータの保持期間を「無制限」に設定し、S3 への移動を避ける。 AWS CloudTrail を使用して、すべてのアプリケーションログを S3 に自動的に転送するように設定する。 CloudWatch Logs 統合機能を無効にして、アプリケーションから直接 S3 に書き込むように設定変更する。 Lambda 関数を作成し、ログを 1 行ずつ読み取って S3 に書き込む。 CreateExportTask を使用して、ロググループから S3 バケットにデータをエクスポートする。 解答と解説を見る 正解: CreateExportTask を使用して、ロググループから S3 バケットにデータをエクスポートする。
正解は「CreateExportTask を使用して、ロググループから S3 バケットにデータをエクスポートする。」です。CloudWatch Logs の CreateExportTask API を使用すると、特定のログストリームやロググループから Amazon S3 バケットに既存のログデータを効率的にバッチエクスポートできます。これは、監査や長期保存のためにログを低コストな S3 ストレージクラスへ移動させる標準的な方法です。Lambda を自作して一行ずつ処理する方法は開発コストと実行コストが高くなるため推奨されません。また、CloudTrail は AWS API 呼び出しの履歴を記録するサービスであり、アプリケーション内のカスタムログの収集・転送には使用されません。
例題5Data Processing & Transformation (Glue/EMR) Amazon S3上に保存された大量の小さなJSONファイルをAWS Glue ETLジョブで効率的に処理するため、読み込み時のパフォーマンスを向上させる最適な方法はどれですか。
groupFilesを「inPartition」または「acrossPartition」に設定する GlueジョブのワーカータイプをG.2Xにアップグレードする S3のオブジェクトをすべて1つの大きなファイルに手動で統合してから処理を開始する S3 Selectを使用して読み込み時にすべてのフィールドをフィルタリングする Glueデータカタログのパーティションインデックスを無効化する 解答と解説を見る 正解: groupFilesを「inPartition」または「acrossPartition」に設定する
正解は「groupFilesを「inPartition」または「acrossPartition」に設定する」です。Amazon S3上の大量の小さなファイルを処理する場合、AWS Glueは各ファイルに対して個別のメタデータ取得やタスク割り当てを行うため、大きなオーバーヘッドが発生します。`groupFiles` パラメータ(または `useS3ListImplementation` との組み合わせ)を使用することで、複数のファイルを1つのグループとしてまとめて読み込むことが可能になり、並列処理の効率が劇的に向上します。これにより、ジョブの実行時間が短縮され、管理負荷とコストの両方を抑えることができます。
例題6Storage & Modeling (Lake Formation/S3/Redshift) Amazon S3に保存された数ギガバイトのCSVファイルから、特定の列と条件に一致する行のみを抽出してAWS Lambdaで処理する必要があります。アプリケーションの実行時間を短縮し、データ転送コストを最小限に抑えるための最も効率的な手法はどれか。
S3 Replicationを使用して、データを処理専用のバケットに移動してからLambdaを起動する S3 Selectを使用して、必要なデータのみをフィルタリングして取得する AWS Glue DataBrewを使用して、Lambdaを実行する前にデータをあらかじめクリーニングする S3バケットの全オブジェクトをLambdaのメモリに読み込み、PythonのPandasライブラリでフィルタリングする Amazon AthenaでCTASクエリを実行して結果を新しいS3ファイルに出力し、それをLambdaで読み込む 解答と解説を見る 正解: S3 Selectを使用して、必要なデータのみをフィルタリングして取得する
正解は「S3 Selectを使用して、必要なデータのみをフィルタリングして取得する」です。S3 Selectを使用すると、SQLステートメントを使用してS3オブジェクトのコンテンツを照会し、必要なデータのサブセットのみを取得できます。これにより、LambdaがS3からダウンロードするデータ量が大幅に削減されるため、ネットワーク転送時間の短縮とコストの削減、さらにLambdaの計算リソース(メモリおよび実行時間)の節約に直結します。これは構造化されたCSV、JSON、Parquetファイルに対して非常に有効な手法です。
AWS Certified Data Engineer – Associateの重要用語
AWS Lake Formation データレイクのセットアップ、管理、セキュリティを一元化するサービスです。Amazon S3上のデータに対して、データベース、テーブル、列レベルでの詳細なアクセス制御を容易に実装できます。タグベースのアクセス制御(TBAC)を用いることで、大規模な環境でも権限管理を効率化でき、データガバナンスの構築において中心的な役割を果たします。
Amazon Kinesis Data Streams リアルタイムで大規模なデータストリーミングを収集・処理するためのサービスです。データは「シャード」という単位で管理され、データの順序保証やミリ秒単位の低レイテンシーが特徴です。複数のコンシューマーが同時にデータを読み取ることが可能で、データの保存期間を設定して、ストリーム処理やリアルタイム分析の基盤として活用されます。
IAM (Identity and Access Management) AWSリソースへのアクセスを安全に管理するためのサービスです。ユーザー、グループ、ロールを作成し、それぞれにどのような操作を許可するかを定義します。データエンジニアリングにおいては、S3へのアクセスやGlueジョブの実行権限を適切に設定する「最小特権の原則」を適用するための基盤となります。
Amazon CloudWatch Logs AWSリソースやアプリケーションからログファイルを収集、監視、保存するサービスです。データエンジニアリングにおいては、GlueジョブやLambdaの実行ログを中央管理し、エラーの特定やパフォーマンスのデバッグに利用します。ロググループやログストリームといった単位で管理され、保持期間の設定やS3へのアーカイブも可能です。
AWS Glue Data Catalog AWS Glueの中央メタデータリポジトリです。Amazon S3やRDSなどのデータソースからメタ情報を抽出し、テーブル定義やスキーマ情報を一元管理します。Amazon Athena、Amazon EMR、Amazon Redshift Spectrumなどのサービスと連携し、データレイク内のデータを簡単に検索・照会できるようにするためのハブとして機能します。
Amazon S3 (Simple Storage Service) 高いスケーラビリティと可用性を備えたオブジェクトストレージで、データレイクの基礎となります。構造化・非構造化データを問わず保存でき、ライフサイクルポリシーによるコスト最適化や、バージョニングによるデータ保護が可能です。試験では、データレイクのストレージ層としての役割や、他サービスとの連携方法が頻出します。
Amazon Kinesis Data Firehose ストリーミングデータをAmazon S3、Redshift、OpenSearchなどのAWSサービスへ、ニアリアルタイムで配信・ロードするためのフルマネージドサービスです。データのバッファリング、圧縮、変換機能を備えており、サーバーレスで管理が容易なのが特徴です。独自のコードを書かずに、データレイクやデータウェアハウスへの取り込みを自動化できます。
AWS KMS (Key Management Service) データの暗号化に使用される暗号鍵(KMSキー)を作成・管理するマネージドサービスです。S3やRedshiftなどのデータストアと連携し、データの機密性を保護します。キーポリシーによって「誰が鍵を使用してデータを復号できるか」を制御し、CloudTrailで鍵の使用履歴を詳細に追跡することが可能です。 よくある質問
AWS Certified Data Engineer – Associateの問題はスキルサートで何問解けますか? 全394問・5分野の問題を用意しています。問題は出題範囲に沿って随時追加しています。
無料で使えますか? 無料プランで週10回の演習(1回10問)と、毎日の「今日の1問」を利用できます。解説を読み、わからない点はAIに質問できます。
ここの問題は過去問ですか? 過去問ではありません。出題範囲に沿ってAIが作成した演習問題です。すべて解説つきで、間違えた問題は繰り返し解けます。 AWS Certified Data Engineer – Associateの対策はアプリで AIが毎週生成する新作問題・ランクマッチ・週次ランキング・AI診断で「続けられる」資格学習を。無料で始められます。