I Trust AI

Generic selectors
Search in title
Search in content
Post Type Selectors
コラム
AI用語集

GPTとは？「生成・事前学習・Transformer」の3文字を正しく読む

執筆者:

Yamazaki Takashi

カテゴリ:

用語：GPT

分類：AIの基礎・学習・モデル

ひとことで：GPTは、Transformerを基盤に大量のデータで事前学習し、典型的にはそれまでのトークンから次のトークンを予測しながら文章を生成するGenerative Pre-trained Transformer系モデルです。

GPTは、AIの文脈では一般に Generative Pre-trained Transformer の略です。日本語では「生成事前学習済みTransformer」などと説明されます。名前の通り、生成（Generative）、事前学習（Pre-trained）、Transformerという3つの要素を組み合わせた言語モデルの系譜です。

GPTという言葉はChatGPTの普及によって一般名詞のように使われるようになりましたが、GPT、LLM、Transformer、ChatGPTは同じものではありません。この違いを押さえると、ニュースや製品説明で「GPT搭載」「GPTベース」と書かれたときに、何が実際に説明されているのかを読み分けやすくなります。

目次

GはGenerative――「生成する」

GPTのGはGenerative、つまり生成を意味します。典型的なGPT型言語モデルは、これまでに並んだトークンを手がかりに、次に来るトークンの確率分布を予測します。

たとえば「今日は空が」と入力されたとき、モデルは次に「青い」「曇って」「とても」などが来る確率を計算します。選ばれたトークンを列に追加し、さらにその続きを予測する。この処理を繰り返すことで文章が生成されます。

この方式は自己回帰（autoregressive）と呼ばれます。Decoder-only Transformerの典型的な設定では、ある位置のトークンが参照できるのは自分自身とそれ以前の位置です。未来側を見ないようにする因果的なAttentionが使われます。

PはPre-trained――先に大量のデータで学ぶ

GPTのPはPre-trained、事前学習済みという意味です。

2018年のOpenAIの原典では、大量のラベルなしテキストを使って汎用的な言語モデルを先に学習し、その後、個別の自然言語理解タスクへファインチューニングする方法が示されました。OpenAIはこのアプローチを、Transformerと教師なし事前学習の組み合わせとして説明しています。

現在の大規模言語モデルでは、事前学習後にInstruction Tuning、SFT、人間やAIの選好を使った最適化、安全性調整など、さまざまなポストトレーニングが加わる場合があります。そのため、現代のチャットAIの挙動を「事前学習だけ」で説明することはできません。

TはTransformer――モデルの土台となるアーキテクチャ

GPTのTはTransformerです。TransformerはAttentionを中心に系列データを処理するニューラルネットワークアーキテクチャです。

ただし「GPT＝Transformer」ではありません。Transformerにはエンコーダー型、デコーダー型、エンコーダー・デコーダー型などさまざまな使い方があります。BERTもTransformerを使いますが、GPTとは学習目的や典型的な情報の流れが異なります。

GPT系の代表的な言語モデルは、自己回帰生成に適したTransformerのデコーダー型構成を採る系譜として理解するとよいでしょう。

2018年のGPTは、現在のチャットAIと同じではない

OpenAIが2018年に示した最初期のGPTは、大量のラベルなしテキストで言語モデルを事前学習し、その表現を個別タスクへ転用することを主眼にしていました。

その後、モデル規模の拡大、より大量のデータ、プロンプトによるタスク指定、Instruction Tuning、選好最適化、ツール利用、マルチモーダル化などが積み重なりました。

したがって「GPTとは2018年の方式そのもの」と固定して考えるのも、「GPTとは現在のChatGPTが持つ全機能の名前」と考えるのも、どちらも狭すぎます。GPTという語は歴史的なモデル系列と、そこから発展したモデル名の両方に関わります。

GPTとBERTの違い

BERTもGPTもTransformerを使った事前学習モデルですが、典型的な学習の仕方が異なります。

BERTは入力中の一部を隠して、その左右両側の文脈から隠れたトークンを予測するMasked Language Modelingを採りました。入力全体を見渡した表現を作りやすく、分類や抽出などの言語理解タスクに向きます。

GPT系は、それ以前のトークンから次のトークンを予測する自己回帰学習が基本です。そのため文章を左から右へ連続的に生成する用途との相性がよい、という違いがあります。

GPTとLLMは同じではない

LLM（Large Language Model）は大規模言語モデルという広いカテゴリーです。GPTはその中の一つの重要な系譜です。

すべてのLLMがGPTという名前を持つわけではありません。他社のモデルや、異なるアーキテクチャ・学習設計を持つ言語モデルもLLMに含まれます。

一方で一般向けの記事では、自己回帰型Transformer LLMを広く「GPT型」と呼ぶことがあります。このとき「OpenAI製GPTそのもの」を意味しているのか、「GPTに似た構造の生成型LLM」を意味しているのかを文脈から確認する必要があります。

GPTとChatGPTは同じではない

GPTはモデルを指す語です。ChatGPTは、モデルを対話形式で利用するための製品・サービス／システムです。

実際のチャットサービスは、基盤モデルだけで動いているわけではありません。システム指示、会話履歴の管理、検索やツール、ファイル処理、安全機構、UIなどが組み合わさります。

そのため、「ChatGPTでこの機能が使える」ことと「GPTモデル単体がその機能を内在的に持つ」ことは同じではありません。

「GPT搭載」という宣伝文句の読み方

製品説明に「GPT搭載」と書かれていても、それだけでは実際の仕様は十分に分かりません。

少なくとも次の点を確認する必要があります。

  • どのモデル名・バージョンを使っているか。
  • API経由なのか、自社ホストなのか。
  • 入力データが外部サービスへ送信されるか。
  • 検索やRAG、ツール利用を組み合わせているか。
  • モデル出力をそのまま表示するのか、後処理や検証があるか。
  • どのタスクでどのような評価をしたか。

「GPTを使っている」という事実だけで、回答の正確性、秘密保持、安全性、最新情報へのアクセス、推論能力まで保証されるわけではありません。

GPTという語から推論してはいけないこと

GPTという名前を見ただけでは、次のことは決まりません。

  • モデルのパラメータ数
  • 学習データの内容
  • コンテキスト長
  • 最新情報へのアクセス能力
  • 画像や音声を扱えるか
  • Web検索や外部ツールを使えるか
  • 安全性や事実性
  • どの会社が提供しているか（一般的な「GPT型」という用法の場合）

特に現代のAI製品では、モデル本体と周辺システムを切り分ける視点が重要です。

元の文脈に戻るためのチェックリスト

GPTという語を見たら、まず「何を指しているGPTか」を確認します。

  1. モデル系列名か、特定バージョン名か。
  2. ChatGPTというサービスを略して誤用していないか。
  3. GPT型アーキテクチャ一般を指しているのか。
  4. 事前学習モデルだけの話か、ポストトレーニング済みシステムの話か。
  5. 検索・RAG・ツールなど周辺機能を含んだ性能説明ではないか。

GPTの3文字を「生成」「事前学習」「Transformer」に分解すると、技術の出発点は理解できます。ただし現代のAI製品を読むときは、その3文字だけからシステム全体の能力を推測しないことが重要です。

  • LLM
  • Transformer
  • BERT

注・出典

  1. OpenAI, Improving language understanding with unsupervised learning (2018). — https://openai.com/index/language-unsupervised/
  2. NIST CSRC Glossary, generative pre-trained transformer. — https://csrc.nist.gov/glossary/term/generative_pre_trained_transformer
  3. Original paper: Improving Language Understanding by Generative Pre-Training. — https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
  4. Hugging Face documentation on causal attention for decoder-only models. — https://huggingface.co/docs/transformers/main/attention_interface

AI協働制作について

本記事は、著者が独自に設計した指示、参照資料、出典確認規則、著作権確認および監査工程を組み込んだChatGPT等の生成AIを、情報収集の補助、資料整理、構成検討、草稿作成、文章校正および監査補助に使用して制作しました。記事の対象範囲、情報源の採否、構成、解釈および最終表現は著者が判断し、最終稿を承認しています。著者は、本記事の正確性、独自性、引用、著作権処理および公開内容について責任を負います。制作工程の詳細は「AI協働制作方針」をご覧ください。

おすすめ