XAIとは？ 「AIが説明してくれる」だけでは足りないExplainable AIの考え方

XAIはExplainable Artificial Intelligence、つまりExplainable AIの略です。AIの出力や判断、内部プロセスについて、人が理解できる説明や根拠を得られるようにする技術、設計、評価の総称として使われます。

AIが高性能でも、なぜその出力になったのか分からなければ、誤りの発見、監査、異議申立て、安全な利用が難しくなる場合があります。XAIはこの「ブラックボックス性」に対処し、開発者、運用者、利用者、影響を受ける人などが、必要なレベルでAIを理解できるようにすることを目指します。

「説明」は誰に向けるのか

XAIで最初に考えるべきなのは、誰が説明を必要としているかです。

開発者なら、モデルがどの特徴量に依存しているか、どの条件で失敗するかを知りたいでしょう。医師なら、診断支援AIがどの画像領域や患者情報を重視したかを知りたいかもしれません。患者には、専門的なモデル構造より「何が判断に影響し、次に何を確認すべきか」という説明が有用です。監査人や規制当局は、個別判断だけでなくシステム全体の挙動や文書化を必要とします。

NISTも、説明は利用者の役割、知識、目的に合わせて意味のある形にする必要があるとしています。一つの説明形式ですべての人を満足させることはできません。

NISTの「4つの原則」

NISTIR 8312は、Explainable AIに求める4つの原則を提示しています。

第一はExplanationです。システムが出力やプロセスについて根拠や理由を提供することです。

第二はMeaningfulです。説明が対象となる人に理解できることです。数式を示すだけでは、一般利用者にとって意味のある説明にならないかもしれません。

第三はExplanation Accuracyです。説明が実際の出力理由やシステムのプロセスを正しく反映することです。

第四はKnowledge Limitsです。システムが設計された条件や十分な確信を持てる範囲で動作し、自分の限界を越えたときにそれを扱えることです。

特に第三の原則が重要です。人間が納得しやすい説明と、モデルの実際の計算過程に忠実な説明は同じとは限りません。

「もっともらしい説明」に注意

生成AIは、自然な文章で理由を説明できます。しかし、その文章が実際の内部計算を忠実に記述しているとは限りません。モデルが後からもっともらしい理由を生成しているだけの可能性もあります。

したがって「AIに理由を聞いたら説明してくれた」だけでXAIの要件を満たしたとは言えません。説明がどの情報から生成され、モデルの挙動とどの程度対応しているか、説明手法自体を検証する必要があります。

XAIの代表的なアプローチ

一つは、もともと構造が理解しやすいモデルを使う方法です。小さな決定木、単純な線形モデル、ルールベースモデルなどは、複雑な深層学習より挙動を追いやすい場合があります。

もう一つはpost-hoc explanation、つまり複雑なモデルを訓練した後で、その出力を説明する方法です。特徴量重要度、局所的な近似、反実仮想説明、画像の重要領域表示などが使われます。

ただしpost-hoc手法は「説明モデル」が元のモデルを近似していることがあります。そのため、説明の安定性や忠実性を評価しなければなりません。

XAIとInterpretabilityはどう違う？

研究分野ではexplainabilityとinterpretabilityが同義に使われることもあります。しかしNIST AI RMFは両者を区別しています。

ExplainabilityはAIシステムの動作メカニズムを表現すること、InterpretabilityはAIの出力が設計された目的の文脈で何を意味するかを理解すること、と整理しています。

たとえば医療AIが「肺炎確率70%」と出した場合、XAIはモデルがどの特徴を根拠に70%を出したかを説明する方向です。Interpretabilityは、その70%を患者の症状、検査条件、対象集団、閾値などの文脈でどう読むべきかを理解する方向です。

説明できても正しいとは限らない

XAIはAIの正確性、安全性、公平性を自動的に保証しません。間違ったモデルでも説明はできます。偏ったモデルでも特徴量重要度を表示できます。説明の存在によって利用者が過度に信頼してしまう危険すらあります。

したがって、XAIは妥当性評価、バイアス評価、ロバストネス、安全性、監査などと組み合わせて使う必要があります。

元の文脈に戻ったときのチェックポイント

「XAI搭載」「説明可能なAI」と書かれていたら、①誰向けの説明か、②何を説明するのか、③モデル全体か個別出力か、④説明手法は何か、⑤説明が実際のモデル挙動に忠実か検証したか、⑥説明の限界や不確実性を示しているか、を確認します。

XAIの目的は、AIに上手な“言い訳”をさせることではありません。人がAIを適切に検証し、使い、必要なら疑えるようにすることです。

Global explanationとlocal explanation

XAIでは、モデル全体の挙動を説明するglobal explanationと、一つの出力を説明するlocal explanationを区別すると理解しやすくなります。全体としてどの特徴を重視するかを知ることと、「この申請が否決された理由」を知ることは別の要求です。用途によって両方が必要になります。

反実仮想説明は「何が変われば出力が変わったか」を示す方法です。利用者に行動可能な情報を与えられる一方、変更不可能な属性を暗に要求したり、因果関係ではなくモデル内の相関を示すだけだったりする場合があります。

Feature importanceも因果関係と同じではありません。「住所が大きく影響した」と表示されても、その地域に住むことが結果の原因とは限らず、所得や歴史的格差のproxyかもしれません。説明手法が示している量を正しく理解する必要があります。

さらに、説明が付くと人はAIを過度に信頼することがあります。XAIの目的は信頼を最大化することではなく、誤りを疑うべきときに疑える「適切な信頼」を支えることです。そのため説明の忠実性だけでなく、利用者が説明後に正しい判断をできるかも評価対象になります。

説明の「忠実性」と「分かりやすさ」は別に評価する

良い説明は、利用者に理解しやすいだけでなく、実際のモデル挙動を適切に反映している必要があります。単純化しすぎると分かりやすくても忠実でなくなり、忠実さを追求して内部情報を大量に示すと人には理解できない場合があります。XAIでは、この二つを同じ評価軸だと思わないことが重要です。

post-hoc explanationでは、入力を少し変えただけで説明が大きく変わらないか、似たケースで一貫した説明になるか、説明として示した特徴を操作したとき本当に予測が変わるか、といった検証が役立ちます。見た目が説得的なヒートマップや自然文だけで品質を判断できません。

説明の目的を先に決める

デバッグのための説明、利用者への理由提示、法的な異議申立て支援、安全監視では必要な説明が異なります。「XAIを導入した」という一文より、説明で誰がどんな判断を改善したいのかを見るべきです。

また、説明があることと、人間が最終判断者であることも別です。自動決定に説明を付ける場合もあれば、人間の判断を支援するため説明を出す場合もあります。XAIという用語だけからHuman-in-the-Loopの有無を推論してはいけません。

XAI製品を読むための実務質問

「説明可能」と書かれていたら、説明が予測と同じモデルから直接得られるのか、別の説明器による近似なのかを確認します。次に、説明の忠実性、安定性、利用者理解をどのように評価したかを見ます。説明例を数件見せるデモだけでは、一般的な品質は判断できません。

さらに、説明によって異議申立てや修正が可能になるのかも重要です。理由を表示するだけで訂正経路がなければ、影響を受ける人にとっての実用性は限定的です。XAIを「見える化機能」としてではなく、検証・判断・救済を支える仕組みとして読むと、宣伝文句と実効性を区別しやすくなります。

説明を評価するときは、説明の存在だけでなく、説明が間違っている場合を検出できる仕組みがあるかも確認してください。XAIは説明を追加する技術であると同時に、その説明自体を検証対象にする必要があります。

主な出典 ^{[1] [2] [3]}

関連するAI用語

• Interpretability
• AI倫理
• AIにおける公平性

注・出典

1. NISTIR 8312, Four Principles of Explainable AI↩
2. NIST AIRC, Explainable and Interpretable↩
3. DARPA, Explainable AI (XAI)↩

AI協働制作について