AI Trust

用語：AI Trust

分類：AIと人間・社会・共創

ひとことで：AI Trustとは、人が不確実性のある状況でAIをどの程度頼ってよいと期待するかという信頼の問題であり、重要なのは信頼を最大化することではなくAIの実際の能力に見合うよう調整することです。

AI Trustは、AIを「信じられるか」「どこまで任せられるか」を考えるときに使われる言葉です。

ただし、この言葉は非常に混同されやすいので、まず二つに分けて考える必要があります。

一つは、人がAIをどの程度信頼しているかという人間側の心理・態度です。もう一つは、AIシステムが実際にどの程度信頼に値する性質を持っているかというtrustworthinessです。

この二つは一致するとは限りません。

人が強く信頼していてもAIが不正確なら危険です。逆に、十分に信頼できるAIでも、人が誤解や悪い経験からまったく使わなければ、その能力は活かされません。

TrustとTrustworthinessは別物

AIについて「trust」という言葉が出てきたとき、最初に確認したいのは、それが人間の信頼感を指しているのか、システムの信頼に値する特性を指しているのかです。

Human Factors分野の古典的な研究では、automationへのtrustは、不確実性や脆弱性がある状況で、そのシステムが自分の目標達成を助けるだろうと期待する態度として研究されてきました。

一方、NISTのAI Risk Management Frameworkでは、trustworthy AIの特性として、

valid and reliable
safe
secure and resilient
accountable and transparent
explainable and interpretable
privacy-enhanced
fair with harmful bias managed

などを挙げています。

つまりtrustworthinessは「なんとなく信頼できそう」という感覚ではなく、複数の技術的・社会技術的特性を文脈に応じて評価する話です。

信頼は高いほど良いのか

ここがAI Trustで最も重要なポイントです。

望ましいのは、信頼を最大化することではありません。

望ましいのは、AIの実際の能力と限界に見合った信頼です。

この考え方はtrust calibration、つまり信頼の較正として説明されます。

たとえば、ある画像認識AIが通常条件では95％の精度を持つ一方、暗所では70％まで落ちるとします。

利用者が「このAIは95％だからほぼ正しい」と考え、暗所でも同じように従うなら、信頼が能力を上回っています。

逆に、過去に一度大きな誤りを見たために、通常条件でもほとんどAIを使わなくなれば、能力に比べて信頼が低すぎるかもしれません。

適切な利用には、状況ごとの性能と人の信頼が対応していることが重要です。

OvertrustとUndertrust

AI Trustの問題は、大きく二方向に現れます。

Overtrust（過信）では、AIができる以上のことを期待し、過度に依存します。

生成AIの回答を根拠確認せず採用する、運転支援システムを完全自動運転のように扱う、診断支援AIの出力を医師が無批判に追認する、といった例です。

Undertrust（過小信頼）では、十分に有用なAIを必要以上に疑い、使わない、あるいは毎回無駄にやり直します。

どちらも問題です。

AIを安全に使う設計では、利用者に「もっと信頼してもらう」ことより、いつ頼り、いつ疑い、いつ確認するかを正しく判断できる状態を目指します。

説明が多ければTrustは正しくなるのか

説明や透明性は、利用者の理解を助けることがあります。しかし、説明を増やせば自動的に適切なtrustになるわけではありません。

人は、説得力のある説明を見ると、内容が正しいかどうかとは別に信頼を高めることがあります。

たとえば生成AIが誤答に長い理由説明を付けると、利用者が「ここまで説明しているなら正しいだろう」と感じるかもしれません。

この場合、説明はtrustを高めてもtrustworthinessを高めてはいません。

したがって、「説明可能だから信頼できる」「透明だから安全」と一段飛ばしに結論づけてはいけません。

タスクによって必要なTrustは変わる

NISTも、AIへのtrustはタスクやリスクによって変わることを強調しています。

音楽推薦AIが好みと違う曲を出しても、大きな害はほとんどありません。多少誤っても、利用者は気軽に使えます。

一方、がん診断支援AIや融資審査AIでは、同程度の性能でも誤りの影響が大きく、必要な検証や監督の水準は高くなります。

つまり「このAIは信頼できますか」という質問には、本来、

何のタスクで
どの条件で
どの程度のリスクがあり
誰が使い
間違えたとき何が起きるか

という情報が必要です。

AI Trustは、AI単体の固定属性ではなく、利用文脈との関係で考える必要があります。

具体例：生成AIの調査支援

生成AIに論文を探させるとします。

便利な利用者は、AIが検索候補を整理する能力を信頼しつつ、論文名、DOI、著者、研究結果など重要な情報は原文で確認します。

これは「AIを信頼していない」のではありません。

AIに任せる部分と人が検証する部分を、AIの能力に合わせて分けています。

一方、AIが示した架空の論文をそのまま引用すればovertrustです。

反対に、AIが候補整理に十分役立つのに、すべてを最初から人手だけで行うなら、用途によってはundertrustかもしれません。

重要なのは信頼の強さではなく、信頼の置き場所です。

「Trusted AI」という製品説明の読み方

製品や企業が「trusted AI」「AI you can trust」と宣伝していても、その言葉自体は評価結果ではありません。

次を確認します。

trustは利用者アンケートで測ったのか。
reliabilityやaccuracyを測ったのか。
safety、security、privacy、fairnessを評価したのか。
どの利用条件で評価したのか。
失敗条件が公開されているか。
利用者が誤りを発見・修正できるか。
高リスク用途でも同じ評価が成り立つか。

「利用者の80％が信頼した」という結果は、人間の態度のデータです。システムが80％信頼に値するという意味ではありません。

元の文脈へ戻ったときの確認ポイント

AI Trustという言葉に出会ったら、まず次を切り分けてください。

人のtrustを測っているのか、AIのtrustworthinessを評価しているのか。
信頼の対象はモデル全体か、特定機能か。
AIの能力と利用者の信頼は一致しているか。
overtrustやundertrustを測っているか。
タスクと失敗時のリスクは何か。
説明、透明性、ブランド認知をtrustworthinessの代わりにしていないか。
どの指標で「信頼できる」と判断しているか。

AI Trustの目的は、人にAIをもっと信じさせることではありません。

AIが得意な場面では適切に頼り、不得意な場面では疑い、必要な確認を行えるように、信頼を実能力へ合わせることが重要です。

信頼は時間とともに変わる

AIへの信頼は一度決まれば固定されるものではありません。成功や失敗の経験、説明のされ方、利用者の熟練度、運用環境によって変化します。そのため導入時のアンケートだけでなく、利用中に依存の仕方が能力と合っているかを見ることが重要です。

注・出典

本文の主な参照資料です。^[1]^[2]^[3]

NIST, AI Risk Management Framework / AI Risks and Trustworthiness: https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/ ↩
NIST, “AI trust”: https://www.nist.gov/image/ai-trust ↩
Lee & See, “Trust in Automation: Designing for Appropriate Reliance” (Human Factors, 2004): https://doi.org/10.1518/hfes.46.1.50_30392 ↩

AI協働制作について

本記事は、著者が独自に設計した指示、参照資料、出典確認規則、著作権確認および監査工程を組み込んだChatGPT等の生成AIを、情報収集の補助、資料整理、構成検討、草稿作成、文章校正および監査補助に使用して制作しました。記事の対象範囲、情報源の採否、構成、解釈および最終表現は著者が判断し、最終稿を承認しています。著者は、本記事の正確性、独自性、引用、著作権処理および公開内容について責任を負います。制作工程の詳細は「AI協働制作方針」をご覧くださいAI協働制作方針をご覧ください。