Interpretabilityとは？ AIの出力を「何を意味するか」まで読めるようにする

Interpretabilityは日本語で「解釈可能性」と呼ばれます。AIの出力が、システムの目的や利用文脈の中で何を意味し、人間がそれをどう理解して判断へ使えるかに関わる概念です。

研究分野ではExplainabilityとほぼ同義に使われる場合もあり、用語は完全には統一されていません。しかしNIST AI RMFは両者を明確に区別し、ExplainabilityはAIの動作メカニズムの表現、InterpretabilityはAIの出力の意味を、その設計目的の文脈で理解すること、と整理しています。

例：「リスクスコア0.72」は何を意味する？

融資AIが「デフォルトリスク0.72」というスコアを出したとします。この数字だけでは、実務上の意味は分かりません。

0.72は実際に72%の確率で返済不能になることを意味するのか。それとも単なる相対スコアなのか。どの集団で校正されたのか。何点以上を審査落ちにするのか。false positive、つまり実際には返済できる人を高リスクと誤判定するコストはどれほどか。最近の経済状況でも同じ意味を持つのか。

こうした文脈を含めて出力を理解できて初めて、スコアはinterpretできる情報になります。

Explainabilityとの違い

同じ融資AIで考えます。

Explainabilityの問いは「モデルはどうやって0.72を出したのか」です。収入、借入額、返済履歴など、どの特徴がどの程度影響したか、モデルの計算構造はどうなっているかを説明します。

Interpretabilityの問いは「0.72をこの業務でどう読むべきか」です。閾値、校正、対象集団、誤りの意味、意思決定での使い方を理解します。

Transparencyはさらに別で、「どのモデルのどの版が、どの入力で、いつこの出力を出したのか」といったwhat happenedを追えることに近い概念です。三者は支え合いますが同じではありません。

人間の理解が中心にある

NISTIR 8367は、interpretationを、人が刺激や出力から意味を引き出す過程として捉えています。つまり解釈可能性はモデルの性質だけではなく、人間との関係で決まります。

同じ確率表示でも、統計に慣れた専門家と一般利用者では理解が違います。医師、患者、規制当局、開発者では必要な情報も異なります。したがって「このモデルはinterpretable」と一律に言うより、「誰が、何の目的で、どの程度正しく理解できるか」と問う方が実務的です。

単純なモデルなら必ず解釈しやすい？

一般に、小さな決定木や少数特徴の線形モデルは、巨大なニューラルネットワークより内部構造を追いやすいと考えられます。しかし、構造が見えることと、人が正しく意味を理解できることは同じではありません。

特徴量が多すぎる、専門用語が多い、係数の意味を誤解しやすい、入力変数同士が相関している、といった場合、単純な式でも誤解が起こります。NISTの心理学的研究でも、透明性や情報量が増えれば自動的に人間の判断精度が上がるとは限らないことが議論されています。

解釈可能性では、情報を「見せる」だけでなく、受け手が正しく意味を取れるかを評価する必要があります。

生成AIの出力にもInterpretabilityがある

生成AIでは、確率スコアより文章や画像そのものが出力になります。この場合もinterpretabilityの問いは残ります。

回答は事実を述べているのか推測なのか。引用は根拠に対応しているか。モデルはいつの情報まで知っているか。検索結果を使っているのか。回答の確信度をどう読むべきか。これらが分からないと、利用者は流暢な文章を過度に信頼する可能性があります。

生成AIでは、出力の意味と限界を文脈化するUI、出典、警告、検証手段などが解釈可能性を支えます。

Interpretabilityは正確性の保証ではない

出力を理解できても、その出力が正しいとは限りません。逆に、非常に高精度でも、利用者がスコアの意味を誤解すれば危険な判断につながります。

そのためInterpretabilityは、accuracy、calibration、robustness、fairnessなど別の評価軸と組み合わせる必要があります。解釈可能性は「人がAIを適切に使える条件」の一部です。

元の文脈に戻ったときのチェックポイント

Interpretabilityという言葉を見たら、①その文書での定義は何か、②誰が解釈するのか、③出力の意味を理解するための文脈情報があるか、④スコアなら校正・閾値・対象集団が分かるか、⑤適用範囲と失敗条件が示されるか、⑥人間が実際に正しく理解できるか評価しているか、を確認します。

Interpretabilityは、AIの内部を“透視”する能力ではありません。AIの出力を、人間が現実の判断へ安全につなげられる意味へ変換する性質です。

「理解できた気がする」と解釈可能性は違う

人は流暢な説明や単純なグラフを見ると理解したと感じやすい一方、実際には誤解していることがあります。そのためinterpretabilityは主観的な満足度だけでは評価できません。説明後に利用者が適切な意思決定をできるか、誤ったAI出力を見抜けるか、信頼度を調整できるかという行動評価が重要です。

研究では“interpretable model”を内部構造が人に追いやすいモデルという意味で使うこともあります。しかしAIシステム全体で考えると、UI、閾値、警告、業務手順まで含まれます。単純なモデルでも「危険」とだけ表示されれば、利用者は意味を理解できません。

予測確率のinterpretabilityにはcalibrationも関係します。100件に70%と表示したケースのおよそ70件で実際に事象が起きるなら確率として読みやすいですが、単なるランキングスコアを0〜1に変換しただけなら「0.7=70%」と読むのは誤りです。

またcontext shiftで意味は変わります。ある病院で検証した「リスク20%」を、患者層や検査条件が違う病院で同じ意味として使えるとは限りません。対象集団、入力条件、評価時期、適用範囲を確認する必要があります。

用語も揺れます。論文によってinterpretabilityとexplainabilityの区別が逆転したり同義だったりするため、単語だけで意味を固定せず、その文書の定義を最初に確認してください。

出力の意味とモデル内部の理解を分ける

Interpretabilityという語は、論文によって「モデル内部を人が追えること」を意味する場合と、「出力を人が意味づけできること」を意味する場合があります。NIST AI RMFの文脈では後者を明確に重視します。したがって、別の論文の定義をNIST文書へそのまま持ち込むと、議論がずれることがあります。

実務では、まず文書が何をinterpretableと呼んでいるかを確認します。モデル構造、特徴量、個別予測、確率、自然言語回答、システム全体のどれを対象にしているかで評価方法は変わります。

解釈可能性には「使い方の限界」も含まれる

出力の意味を理解するには、どこまで使えるかだけでなく、どこから使えないかも必要です。訓練・評価した集団、想定入力、閾値、データ欠損時の扱い、時間的な有効範囲を知らなければ、数字を正しく読めません。Knowledge limitsや適用範囲の表示は、Interpretabilityを支える実務情報になります。

「interpretableだから人間が安全に監督できる」とも限りません。時間圧力が強い、警告が多すぎる、専門知識が不足している、AIへのautomation biasが強いといった条件では、理解可能な情報があっても使われないことがあります。したがって、人間を含む運用条件まで評価する必要があります。

Interpretabilityを評価する質問

解釈可能性の主張を見るときは、利用者に何を理解してほしいのかを先に確認します。確率の意味、順位の意味、推奨の理由、適用範囲、失敗条件では、必要な情報が違います。そのうえで、説明後の理解度、判断精度、誤ったAI出力を拒否できるかといった人間側の評価があるかを見ます。

「人間が理解できる」と「専門家が時間をかければ解析できる」も同じではありません。実際の業務時間、画面、教育レベルで使えることが重要です。Interpretabilityはモデルの抽象的な美しさではなく、出力を現実の判断へ適切につなぐ能力として確認してください。

主な出典 ^{[1] [2] [3]}

関連するAI用語

• XAI
• AIにおける公平性
• NIST AI RMF

注・出典

1. NISTIR 8367, Psychological Foundations of Explainability and Interpretability↩
2. NIST AIRC, Explainable and Interpretable↩
3. NIST AIRC Playbook, Measure 2.9↩

AI協働制作について