トランスフォーマーとは【図解でわかりやすく】
最終更新日:2026年7月15日
30秒でわかる結論
トランスフォーマー(Transformer)は2017年にGoogleが発表した論文「Attention Is All You Need」で登場した、現在の生成AIの土台となるネットワーク構造。LSTMが「1語ずつ順番に」読むのに対し、文章全体を一度に見渡して単語間の関係に「注目(アテンション)」する並列処理が革新的でした。ChatGPTの「GPT」はGenerative Pre-trained Transformerの略で、名前にそのまま入っています。
トランスフォーマー=アテンション(注意機構)で文章全体を一度に見渡す。現在のLLMの土台。
トランスフォーマーはG検定・生成AIパスポート両方で最重要の用語です。論文タイトルとアテンションの仕組みを図解で押さえましょう。
図解
解説
LSTMが「前から順に1語ずつ」読んでいたのに対し、トランスフォーマーは文章全体を一度に見渡し、どの単語とどの単語が関係しているかに「注目(アテンション)」します。利点は、(1)並列処理で高速=大規模化(巨大LLM)が可能になった、(2)遠く離れた単語の関係も捉えられる。ChatGPTのGPTは「Generative Pre-trained Transformer」の略で、名前にそのまま入っています。
具体例
翻訳の例:「彼女は自分の友人が彼女を好きではないと思った」という文で「彼女」「自分」「彼女」がそれぞれ誰を指すかを判断するには文脈全体が必要です。LSTMは逐次処理で遠い単語の関係が薄れますが、トランスフォーマーはアテンションで「この彼女はどの彼女と強く関係するか」を全単語ペアで同時に計算します。この仕組みによりBERT(双方向・理解が得意)・GPT(一方向・生成が得意)・T5・Geminiなどの大規模言語モデルへと発展しました。
間違えやすい類似用語
- LSTM:LSTMは時刻順に1語ずつ処理するため並列化が難しく、長距離の依存関係が薄まる。トランスフォーマーはアテンションで全単語を同時に関係付けるため並列処理が可能で大規模化に適する。現代のLLMはほぼトランスフォーマーベースで、LSTMは主役の座を譲っている。
- アテンション(注意機構):アテンションはトランスフォーマーの中核となる仕組みそのもの。トランスフォーマーはアテンションを多頭(マルチヘッド)で並列に走らせ、複数の視点から単語関係を捉える構造全体の名称。「アテンション=仕組み、トランスフォーマー=その仕組みを使ったモデル構造」という関係。
覚え方
GPTのT=Transformer。武器はアテンション=全体を見渡して注目
試験での問われ方
G検定・生成AIパスポートともに「論文タイトル(Attention Is All You Need)」「発表年(2017年)」「アテンション=文章全体を見渡して単語間の重みを計算」「LSTMとの違い(逐次→並列)」「ChatGPTのGPT=Generative Pre-trained Transformer」が頻出です。「GPTのT=Transformer」と関連語(BERT・GPT・Gemini)もセットで整理しましょう。
確認問題
2017年に発表された論文「Attention Is All You Need」で登場し、現在のChatGPTをはじめとする生成AI・LLMの土台となるネットワーク構造を何と呼ぶでしょう?
- A. パーセプトロン
- B. オートエンコーダ
- C. トランスフォーマー(Transformer)
- D. ボルツマンマシン
正解:C. トランスフォーマー(Transformer)
トランスフォーマーは2017年の論文「Attention Is All You Need」で発表された、LLMの土台です。アテンション(注意機構)で文章全体を一度に見渡し、どの単語がどの単語と関係するかに注目します。ChatGPTのGPT=Generative Pre-trained Transformerの略です。
関連用語
出典・参考資料
- G検定公式テキスト(一般社団法人 日本ディープラーニング協会)
- Attention Is All You Need(Vaswani et al., 2017)
監修:横浜ITコンサル合同会社
提供:横浜ITコンサル合同会社