出題範囲(10分野)
- NLP)seq2seq79問
- NLP)Transformer70問
- NLP)HRED80問
- NLP)Word2Vec (Skip-gram)80問
- MODEL)VGG80問
- MODEL)GoogLeNet80問
- MODEL)ResNet/WideResNet75問
- MODEL)MobileNet74問
- MODEL)EfficientNet70問
- MODEL)DenseNet77問
AI実装検定S級の例題(6問・解説つき)
スキルサートのAIが出題範囲に沿って作成した演習問題です(過去問ではありません)。アプリでは毎週新しい問題が追加されます。
例題1NLP)seq2seq
seq2seq(Sequence-to-Sequence)モデルの基本的な構造において、Encoderが入力系列を処理した結果として生成する「コンテキストベクトル」の役割として最も適切なものはどれか。
- 学習率を動的に調整するためのハイパーパラメータとして機能する
- Decoderの各ステップで次に生成されるべき単語の確率分布を保持する
- 学習データに含まれる外れ値の影響を排除するためのマスク
- 入力系列の単語数に応じて次元数が変化する動的なベクトル
- Encoderで抽出した入力系列の情報を集約した固定長ベクトル
解答と解説を見る
正解: Encoderで抽出した入力系列の情報を集約した固定長ベクトル
正解は「Encoderで抽出した入力系列の情報を集約した固定長ベクトル」です。seq2seqモデルでは、RNNなどを用いたEncoderが可変長の入力系列を1ステップずつ処理し、最後の隠れ状態を固定サイズのベクトル(コンテキストベクトル)として出力します。このベクトルに情報のすべてが圧縮され、Decoderに渡されることで、文脈を維持したまま別の系列(翻訳文など)を生成することが可能になります。しかし、入力文が長すぎると固定長の制限により情報が溢れる「ボトルネック」が生じることがあります。
例題2NLP)Transformer
TransformerのMulti-Head Attentionにおいて、各ヘッドで計算された出力を結合(Concatenate)した後に重み行列 $W^O$ を掛ける主な目的として、最も適切なものはどれか。
- アテンション重みの正規化を行うため
- 勾配消失問題を回避するために残差接続を準備するため
- 学習時の並列化効率を最大化するため
- 複数のヘッドから得られた情報を統合し、元のモデルの次元数に投影するため
- 非線形活性化関数を適用して表現力を高めるため
解答と解説を見る
正解: 複数のヘッドから得られた情報を統合し、元のモデルの次元数に投影するため
正解は「複数のヘッドから得られた情報を統合し、元のモデルの次元数に投影するため」です。Multi-Head Attentionでは、入力を複数の低次元なヘッドに分割してアテンションを並列計算します。それぞれのヘッドから出力されたベクトルは最後に結合されますが、そのままでは次元数が大きくなる、あるいはモデルの期待する隠れ層の次元数と一致しません。そこで、学習可能な重み行列 $W^O$ を掛けることで、各ヘッドが捉えた異なる情報を効果的に統合しながら、モデルの規定の次元へと線形投影し直す役割を担っています。これにより、後続の層であるFeed-Forward Networkなどへ適切な形式でデータを渡すことが可能になります。
例題3NLP)HRED
HRED(Hierarchical Recurrent Encoder-Decoder)が、対話履歴を表現するために導入している3つのRNNの構成として、正しい組み合わせはどれか。
- Input RNN、Attention RNN、Output RNN
- Word RNN、Sentence RNN、Utterance RNN
- Encoder RNN、Memory RNN、Decoder RNN
- Encoder RNN、Context RNN、Decoder RNN
- Encoder RNN、Hidden RNN、Predictor RNN
解答と解説を見る
正解: Encoder RNN、Context RNN、Decoder RNN
正解は「Encoder RNN、Context RNN、Decoder RNN」です。HRED(Hierarchical Recurrent Encoder-Decoder)は、対話の文脈を考慮するために3つのRNNを階層的に組み合わせたモデルです。まずEncoder RNNが各発話内の単語列を固定長ベクトルに圧縮し、次にContext RNNがそれらの発話ベクトルを時系列順に処理することで対話の履歴(文脈)を保持します。最後にDecoder RNNがその履歴情報を基に、次の発話となる単語列を生成します。この階層構造により、単純なSeq2Seqよりも長いスパンの対話を扱うことが可能になります。
例題4NLP)Word2Vec (Skip-gram)
Word2VecのSkip-gramモデルの基本的な仕組みに関する記述として、最も適切なものはどれか。
- 出力層においてSoftmax関数を使用せず、常に単一のニューロンによる回帰分析を行う手法である。
- 周辺にある複数の文脈単語から、その中心に位置する単語を予測する手法である。
- 学習データのコーパスサイズが非常に小さい場合に、CBOWよりも計算効率が劇的に向上する手法である。
- 単語の出現順序を完全に無視して、文書全体の単語頻度のみをベクトル化する手法である。
- 特定の単語から、その周辺にある文脈単語を予測する手法である。
解答と解説を見る
正解: 特定の単語から、その周辺にある文脈単語を予測する手法である。
正解は「特定の単語から、その周辺にある文脈単語を予測する手法である。」です。Skip-gramは、ある中心単語を入力として、その前後にある周辺語(コンテキスト)を予測するようにネットワークを学習させます。これに対し、周辺語から中心単語を予測する手法はCBOW(Continuous Bag-of-Words)と呼ばれます。Skip-gramは、1つの中心語に対して複数の周辺語とのペアで学習機会が発生するため、特に大規模なコーパスや出現頻度の低い単語において、CBOWよりも質の高い分散表現を獲得できる傾向があります。
例題5MODEL)VGG
VGG16の構造的特徴として、畳み込み層に用いられるフィルタサイズに関する説明として適切なものはどれか。
- 各インセプションモジュール内で異なるサイズのフィルタを並列に適用し、特徴を統合する。
- 計算効率化のために、1x3と3x1の非対称なフィルタに分解して適用する手法を採用している。
- 7x7の大きなフィルタを用いて、1つの層でより広範囲の空間情報を一度に抽出する構成をとっている。
- 3x3の小さなフィルタを複数重ねることで、非線形性を高めつつパラメータ数を抑制する。
- プーリング層の代わりとして、ストライドを大きく設定した5x5の畳み込み層を配置している。
解答と解説を見る
正解: 3x3の小さなフィルタを複数重ねることで、非線形性を高めつつパラメータ数を抑制する。
正解は「3x3の小さなフィルタを複数重ねることで、非線形性を高めつつパラメータ数を抑制する」です。VGGの最大の特徴は、大きな受容野を持つ単一のフィルタ(例:7x7)を使用する代わりに、3x3の小さなフィルタを複数重ねることにあります。これにより、各層の後に活性化関数を適用できるため、モデルの非線形性が向上し、表現力が豊かになります。また、7x7のフィルタ1層のパラメータ数(49)に対し、3x3のフィルタ3層は(27)となり、同じ受容野を維持しつつパラメータ数を大幅に削減できるという利点があります。
例題6MODEL)GoogLeNet
GoogLeNet(Inception-v1)の核心部であるInceptionモジュールにおいて、計算コストを抑えつつ多様なスケールの特徴を抽出するために採用されている設計手法として、最も適切なものはどれか。
- ネットワーク全体を単一の大きな畳み込みカーネルで構成し、パラメータの共有を最大化する。
- すべての畳み込み層の後に、ドロップアウト率0.5の層を一律に配置する。
- プーリング層をすべて廃止し、代わりにストライドを2以上に設定した畳み込み層でダウンサンプリングを行う。
- 畳み込みカーネルのサイズを層が深くなるにつれて、11x11から3x3へと段階的に縮小させる。
- 3x3や5x5の畳み込み処理を行う前に、1x1畳み込み層を挿入してチャンネル数を圧縮する。
解答と解説を見る
正解: 3x3や5x5の畳み込み処理を行う前に、1x1畳み込み層を挿入してチャンネル数を圧縮する。
正解は『3x3や5x5の畳み込み処理を行う前に、1x1畳み込み層を挿入してチャンネル数を圧縮する。』です。GoogLeNetでは、計算量を抑えながらネットワークを深く・広くするために「Inceptionモジュール」を導入しました。このモジュール内では、3x3や5x5といった大きなカーネルによる畳み込みの前に1x1畳み込みを配置することで、入力の次元(チャンネル数)を削減する「ボトルネック構造」を実現しています。これにより、計算コストの爆発を防ぎつつ、異なるサイズの畳み込みを並列に実行し、多角的な特徴抽出を可能にしています。
AI実装検定S級の重要用語
- Seq2seq
- ある系列データから別の系列データを生成するモデルの総称です。主に翻訳や対話生成、要約などに用いられます。EncoderとDecoderの2つのRNNで構成され、入力文を一度固定長のベクトルに圧縮した後、それを元に出力文を生成する仕組みです。深層学習を用いた自然言語処理の基礎的な手法として広く知られており、その後のTransformerなどの発展に大きな影響を与えました。
- Transformer
- 2017年に提案されたAttention機構のみを用いたニューラルネットワークモデル。RNNやCNNを使用せず、並列計算が可能なため、学習速度と性能が劇的に向上した。現在の自然言語処理におけるデファクトスタンダードであり、BERTやGPTといった主要なモデルの基礎となっている重要なアーキテクチャである。
- HRED (Hierarchical Recurrent Encoder-Decoder)
- 対話の履歴を階層的な構造で処理する深層学習モデル。従来、単一の入力のみを扱っていたSeq2Seqを拡張し、各発話をエンコードする層と、それら発話の並び(文脈)を処理する層の二段階に分けることで、過去の対話の流れを汲み取った応答生成を可能にしている。チャットボット等のマルチターン対話タスクの基礎となる手法である。
- Skip-gram
- 中心となる一つの単語から、その周囲にある文脈単語を予測するように学習を行うWord2Vecのモデル手法。CBOWと比較して計算量は多いが、低頻度の単語であっても精度の高いベクトル表現を獲得しやすい特徴がある。特に大規模なコーパスにおいて、単語間の意味的な類似性や関係性を捉える能力に優れており、自然言語処理の基礎的な技術として広く利用される。
- VGG16
- オックスフォード大学のVGGチームが開発した16層の畳み込みニューラルネットワークです。2014年のILSVRCで準優勝し、そのシンプルかつ高性能な設計で注目を集めました。すべての畳み込み層に3x3の小さなフィルターを採用し、層を深く重ねることで非線形性を高め、複雑な特徴を捉えることができます。深層学習モデルのベンチマークや転移学習のベースとして現在も広く活用されています。
- インセプションモジュール
- GoogLeNetの中核を成す構造です。1x1、3x3、5x5の畳み込み層と3x3のマックスプーリングを並列に配置し、それぞれの出力を連結します。これにより、異なるサイズの受容野で特徴を同時に抽出でき、ネットワークを深くしながらも計算効率を維持することが可能です。複数のスケールに対応できる点が最大の特徴です。
- ResNet (Residual Network)
- 深層学習において、100層を超える極めて深いネットワークの学習を可能にしたモデルです。2015年のILSVRCで優勝し、画像認識のデファクトスタンダードとなりました。残差学習という概念を導入することで、層を深くしても精度が低下する「劣化問題」を解決した点が最大の特徴であり、後の様々な深層学習モデルの基礎となっています。
- Depthwise Separable Convolution
- 通常の畳み込みを、空間方向の計算を行うDepthwise畳み込みと、チャンネル方向の計算を行うPointwise畳み込みの2段階に分離する手法。MobileNetの基幹技術であり、計算量とパラメータ数を大幅に削減しつつ、精度への影響を最小限に抑えることが可能。モバイル端末などのリソースが限られた環境で深層学習を動かすために不可欠な技術。
よくある質問
- AI実装検定S級の問題はスキルサートで何問解けますか?
- 全765問・10分野の問題を用意しています。問題は出題範囲に沿って随時追加しています。
- 無料で使えますか?
- 無料プランで週10回の演習(1回10問)と、毎日の「今日の1問」を利用できます。解説を読み、わからない点はAIに質問できます。
- ここの問題は過去問ですか?
- 過去問ではありません。出題範囲に沿ってAIが作成した演習問題です。すべて解説つきで、間違えた問題は繰り返し解けます。
AI実装検定S級の対策はアプリで
AIが毎週生成する新作問題・ランクマッチ・週次ランキング・AI診断で「続けられる」資格学習を。無料で始められます。