LLM・生成AI
Transformerとは？
読み: とらんすふぉーまー英語: Transformer更新日: 2026-06-23
Transformerとは、Self-Attentionを中心に文脈中の単語同士の関係を扱う、現在のLLMの基盤的なモデル構造です。
生成AIパスポートG検定AWS AI Practitioner
関連表記: Transformer / トランスフォーマー / Self-Attention / Attention
試験で問われるポイント
- RNNのような逐次処理に限定されず、並列処理しやすい構造です。
- 離れた単語同士の関係を捉えやすい点が重要です。
- GPTやBERTなど多くのモデルに使われます。
具体例
長文の前後関係を踏まえて、次に続く単語を予測するLLMで使われます。
混同しやすい点
- 画像処理専用の仕組みだと考える。
- トークン化が不要になる仕組みだと考える。
関連問題で復習
G検定ディープラーニングの要素技術
「Transformer」の特徴として、最も適切なものはどれか。
生成AIパスポートLLM・テキスト生成AI
Transformerの特徴として適切なものを2つ選べ。
AWS AI Practitioner生成AIの基礎
TransformerアーキテクチャをベースとするLLMの導入を検討する企業が、その得意分野を整理しています。TransformerベースのLLMが得意としやすい処理として最も適切なものはどれか。
G検定ディープラーニングの要素技術
「Positional Encoding（位置エンコーディング）」がTransformerで必要な理由として、最も適切なものはどれか。
G検定ディープラーニングの応用例
「Vision Transformer（ViT）」の説明として、最も適切なものはどれか。
生成AIパスポートAI・生成AIの基礎
Transformerアーキテクチャの核心技術で、入力の重要な部分に焦点を当てて処理する仕組みを何と呼ぶか。
生成AIパスポートLLM・テキスト生成AI
多くの大規模言語モデルの基盤となっているTransformerに関する説明として最も適切なものはどれか。
G検定ディープラーニングの要素技術
TransformerのAttentionにおけるQuery、Key、Valueの役割として、最も適切なものはどれか。