継続事前学習

継続事前学習とは、すでに事前学習されたモデルを出発点に、同種または近い自己教師あり学習目的で追加の未ラベルデータを学習させ、分野・言語・時点などへ適応させる方法です。

継続事前学習とは

継続事前学習（continued pretraining / continual pre-training、CPT）は、すでに事前学習済みのモデルを出発点に、さらに事前学習型の目的で追加データを学ばせることです。典型的には、ラベル付きの「質問→正解」のペアを教えるのではなく、新しいコーパスで言語モデリングなどの自己教師あり目的を続けます。

「pretrainingは最初の一回だけでは？」と感じますが、研究では二段階目以降でもpretrainingという語を使います。Gururanganらの“Don’t Stop Pretraining”は、広いデータで事前学習された言語モデルを、さらに対象分野の未ラベルテキストで事前学習するdomain-adaptive pretraining（DAPT）が下流性能を改善することを示した代表研究です^[1]。

DAPTとTAPT

継続事前学習の代表的な形がDAPTです。たとえば一般Webや書籍で学習したモデルを、医学論文、法律文書、金融レポートなど特定分野のコーパスでさらに学習させます。目的は、専門用語だけでなく、その分野特有の表現、共起関係、文体、概念のつながりへモデルを慣らすことです。

同論文ではtask-adaptive pretraining（TAPT）も扱われています。これは、対象タスクに直接近い未ラベルコーパスで追加事前学習する方法です^[1]。DAPTが「医療分野全体」のようなdomainへ寄せるのに対し、TAPTは「この分類タスクで扱う文書群」のように、さらにタスク分布へ近づけるイメージです。

ファインチューニングとの違い

どちらも既存checkpointから追加学習するため混同されます。実務では用語の使い方に幅がありますが、区別の軸は学習目的とデータ形式です。

継続事前学習では、元のpretrainingに近い目的、たとえば次トークン予測やmasked token predictionを、新しい未ラベルコーパスで続けることが一般的です。一方、ファインチューニングは、分類ラベル、入力→出力ペア、指示→応答ペアなど、具体的な下流目的へ適応させる追加学習を広く指します。

たとえば一般LLMへ医学論文を大量に読ませて次トークン予測を続けるならCPT/DAPTと呼びやすく、その後「患者向けの質問へ安全に答える」入出力例で学ばせるならSFTやinstruction tuningと呼びやすくなります。

worked example：日本語専門モデルを作る

英語中心の多言語モデルを出発点に、日本語の一般文章や専門文書を大量に追加し、同じ言語モデリング目的で学習するとします。これはlanguage adaptationとしてのcontinued pretrainingです。語彙やトークナイザーを拡張する場合もありますが、核心は「既存の能力を初期値として、追加コーパスで基礎学習を続ける」ことです。

その後、日本語の質問と高品質回答のペアを使って会話形式へ調整すれば、それは別のpost-training/SFT段階です。一つのモデル開発でCPTとSFTを連続して使うことは珍しくありません。

継続すれば能力は足し算になるのか

必ずしもそうではありません。新しい分野や言語へ強く寄せると、以前の分布で得た能力が低下するcatastrophic forgettingが起こり得ます。Keらのcontinual pre-training研究は、複数の未ラベル分野コーパスを順番に学ぶ設定で、以前の知識を保ちながら新分野へ適応することを課題として扱っています^[2]。

2025年の言語適応研究でも、continued pretrainingで対象言語を伸ばす際、英語データを混ぜない条件では早い段階からcatastrophic forgettingが観測され、下流能力へ影響し得ることが報告されています^[3]。つまり「追加データを読ませれば読ませるほど、元能力を保ったまま知識が積み上がる」という単純な足し算ではありません。

何を混ぜるかが重要

忘却を抑えるため、元の一般データを一定割合混ぜる、学習率や更新量を抑える、分野を順番に切り替える、特定パラメータだけを更新する、といった工夫が使われます。どの方法がよいかは、専門化をどこまで進めたいか、一般能力をどこまで保持したいかによります。

そのため「CPTで医療性能が上がった」という結果を見るときは、医療ベンチマークだけでなく、一般言語能力、他分野、元言語などが維持されたかも確認すべきです。専門化の成功と一般能力の維持は別の評価軸です。

continual learningとは同じか

名前が似ていますが、continual learning（継続学習）はより広い問題設定です。データやタスクが時間とともに逐次到来する状況で、新しいことを学びながら過去の能力を忘れない方法全般を扱います。continued/continual pretrainingは、そのうち「pretraining型の学習を継続する」ケースとして位置づけられます。

したがって、CPTという語を見ただけで「オンラインで常時更新され続けるAI」と考えるのは誤りです。モデル開発時に、base checkpointへ一回だけ追加事前学習した場合でもcontinued pretrainingと呼ばれます。

元の文脈へ戻ったときのチェックポイント

「continued pretraining」「domain-adaptive pretraining」と書かれていたら、①どのcheckpointから開始したか、②追加したコーパスは何か、③学習目的はpretrainingと同じか、④元の一般データを混ぜたか、⑤対象分野だけでなく一般能力も評価したかを確認してください。

さらに、その後にSFT、instruction tuning、RLHF/DPOなどが行われているなら、最終モデルの振る舞いをCPTだけの効果とみなさないことも重要です。継続事前学習は「モデルの土台を新しい分布へ寄せる工程」であり、最終的な対話や安全性まで単独で決める工程ではありません。

関連するAI用語

• 事前学習（G065）
• ファインチューニング（G068）
• ポストトレーニング（G067）

注・出典

1. Gururangan et al., “Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks”: https://aclanthology.org/2020.acl-main.740/ ↩
2. Ke et al., “Continual Pre-training of Language Models”: https://arxiv.org/abs/2302.03241 ↩
3. Elhady et al., “Emergent Abilities of Large Language Models under Continued Pre-training for Language Adaptation”: https://aclanthology.org/2025.acl-long.1547/ ↩

AI協働制作について

本記事は、著者が独自に設計した指示、参照資料、出典確認規則、著作権確認および監査工程を組み込んだChatGPT等の生成AIを、情報収集の補助、資料整理、構成検討、草稿作成、文章校正および監査補助に使用して制作しました。記事の対象範囲、情報源の採否、構成、解釈および最終表現は著者が判断し、最終稿を承認しています。著者は、本記事の正確性、独自性、引用、著作権処理および公開内容について責任を負います。制作工程の詳細は「AI協働制作方針」をご覧ください AI協働制作方針をご覧ください。