LLM・生成AI
トークンとは？
読み: とーくん英語: Token更新日: 2026-06-23
トークンとは、LLMが文章を処理するために分割する単位です。単語、文字、単語の一部などになります。
生成AIパスポートG検定AWS AI Practitioner
関連表記: トークン / Token / トークナイザー / Tokenizer / トークン化
試験で問われるポイント
- 入力長や出力長はトークン数で制限されることがあります。
- 日本語では文字数とトークン数が一致しない場合があります。
- 料金や処理可能な文脈量にも関係します。
具体例
長い議事録を投入すると、コンテキストウィンドウの上限に達することがあります。
混同しやすい点
- 1トークンは必ず1単語だと考える。
- 文字数だけ見ればLLMの処理量が分かると考える。
関連問題で復習
生成AIパスポートLLM・テキスト生成AI
LLMが文章を処理する際、テキストを「トークン」と呼ばれる単位に分割する処理を指す言葉として、最も適切なものはどれか。
AWS AI Practitioner生成AIの基礎
Amazon Bedrockの基盤モデルを利用するアプリの月額費用を抑えたい担当者が、課金の仕組みを理解しようとしています。多くの生成AIサービスにおけるトークンベース課金の説明として最も適切なものはどれか。
AWS AI Practitioner基盤モデルの活用
生成AIアプリでトークン使用量を抑えてコストとレイテンシを改善する方法として最も適切なものはどれか。
生成AIパスポートAI・生成AIの基礎
ChatGPTの利用料金が「トークン数」に基づいて計算される。日本語の場合、1文字あたりのトークン数として一般的なのはどれか。
生成AIパスポートLLM・テキスト生成AI
LLMにおける「トークン」の説明として、最も適切なものはどれか。
生成AIパスポートLLM・テキスト生成AI
ChatGPTなどのLLMで、一度に扱える入力と出力の分量（トークン数）の上限を指す言葉として、最も適切なものはどれか。
生成AIパスポートLLM・テキスト生成AI
大規模言語モデルが文章を処理する最小単位である「トークン」に関する説明として最も適切なものはどれか。
AWS AI Practitioner基盤モデルの活用
長い契約書全体を要約させる生成AIアプリを構築する担当者が、基盤モデルを選定する際にコンテキスト長(入出力の最大トークン数)を確認すべき理由として、最も適切なものはどれですか。