説明可能な AI（XAI）の基本ガイド

説明可能な AI（XAI）

説明可能な AI（XAI）とは、機械学習（ML）モデルがどのように一定の結論に達したかを、技術的な知識のない人やデータサイエンスの基礎知識を持たない人が理解できるように支援する人工知能（AI）です。

たとえば、一定量の財務データを使用して ML モデルをトレーニングし、ローン申請の承認/拒否の判断に利用する場合、XAI は認否の回答とともに、その回答に達した方法とその理由を示します。

XAI はブラックボックスモデルとは異なります。ML の世界においてはブラックボックスがより一般的ですが、ブラックボックスはモデルによって解釈可能性が異なるという特徴があります。 たとえば、決定木では、より簡単に解釈可能な結果が得られますが、ニューラルネットワークはより不透明です。 よって、精度と説明性の間にはトレードオフが生じます。

さらに、モデルがどの情報をどのように使用して結果に到達したかは、ブラックボックスモデルを設計・展開した人であっても把握することは不可能です。

たとえば、先ほどのローン申請の例では、ブラックモデルでは、ローンの可否の判断材料となるスコアが提供されるのみです。

透明性、精度、公平な判断を必要とする企業やリーダーにとって、ブラックボックスの結果を鵜呑みにすることは危険そのものです。 そして、多くの場合においてその仕組みを説明するためにプロキシモデルが用いられています。

承認に値する信用力と財務能力のある人物のローン申請を拒否すると、不当な扱いを受けたとして訴えられる可能性すらあります。 ブラックボックスモデルを使用して誤った判断を下した場合、信用の失墜や販売機会の損失を招き、顧客を失いかねません。

XAI には、他にも以下のような使用事例があります。

• 金融機関 - ML モデルを使用してローン申請の承認/拒否を判断
• 保険会社 - ML モデルを使用して保険料を設定
• 保険金査定 - ML モデルを使用して支払額を計算
• 教育機関 - ML モデルを使用して志望者の合格/不合格を判断
• 人事部門 - ML モデルを使用して求職者を選別
• 医療保険会社およびヘルスケア提供者 - ML モデルを使用して治療のオプションと請求判断を説明

AI の説明可能性の重要性

XAIの重要性は、「外部に対する透明性・信頼性」と「内部に対する透明性・信頼性」の 2 つの側面にあります。

外部に対する透明性・信頼性

AI の説明可能性が重要なのは、誤った判断を避けるためだけではありません。 AI に対する社会の信頼はいまだ高いものとは言えず、AI を人間の代替として使用するという考えは受け入れられていません。

Harvard Business Review（HBR）は、コート、香水、住宅、ケーキなど、さまざまな品目について、AI と人間が記述した説明に関するブラインドテストを行いました。

その結果、少なくとも「実用的かつ機能的な品質」に関する説明については、AIの説明の方が支持されました。

さらに重要な事実として、HBR は、AI が人間の代替ではなく、「人間と連携して動作する限り、人々は AI の推奨を受け入れること」を発見しました。

XAI は、AI のモデリングと説明による補強または支援を得ることで、効果的に機能します。 XAI は、あらゆるバックグラウンドのユーザーに対し、特定のデータをなぜ使用するのか、そのデータを使ってどのように回答に至ったのかを示すことができます。

退職投資の助言を必要としている投資家の事例を考えてみましょう。 ある投資家が、自分の収入と目標に対するアドバイスを必要としているとします。 このような場合には、機械学習モデルにその情報を入力することで、お勧めの投資プランを提示することが可能です。

AI と連携することで、数ある選択肢の中からその特定のプランが導き出された理由を説明し、最終的な結果に至るまでに使用された情報を提示できます。

他にも多くの活用例があります。

以上が、外部（顧客）に対する透明性・信頼性の例となります。 次に、内部に対する透明性・信頼性について説明します。

内部に対する透明性・信頼性

最新の ML モデルであっても、バイアスや劣化が生じる可能性は常にあります。

データには、意図的かどうかにかかわらず、常にバイアスが付きまといます。 年齢、人種、性別、既往歴、財務状況、収入、居住地など、さまざまな要素においてバイアスが生み出される可能性があります。あらゆるデータがバイアスにつながる可能性があることに加え、保護対象となるデータについてはモデルで一切使用できません。 また、そうした偏った情報が AI の学習に影響するリスクもあります。

このようなデータをすべてブラックボックスに投入することで、ML モデルが結果を生成する際に、特定のグループを優遇してしまう可能性もあります。

さらに、AI のトレーニングは必ずしも明確なプロセスではありません。 そして、トレーニングでは、現実世界の出来事を完全に反映させることはできません。

あるデータセットでトレーニングしたモデルが、そのデータについては優れた結果を導き出したとしても、現実世界のデータを利用した際に、期待に反する結果をはじき出す可能性があります。

つまり、アナリストやデータサイエンティストが、トレーニング時には完璧に動作する、バイアスのないブラックボックス ML モデルを構築したとしても、本番環境で実行すると偏った結果や質の低い結果が生成されてしまう可能性があるのです。

また、モデルは、データや規制の変化に対応しなければならない場合もあります。

Brookingsトラッキングレポートによると、2021 年 11 月 18 日から 2021 年 12 月 14 日にかけて、金融、製造、ヘルスケアなどの業界に影響する43の規制が発効、制定、または廃止されています。

新規制や規制改定に対応するためにブラックボックスモデルがどのように更新されたかを確認・説明する作業は困難（場合によっては不可能）です。

XAI があれば、開発者は、新規制を遵守しながら、モデルを容易に更新、改善して、その有効性を検証することができます。 また、データの監査証跡を容易に追跡できるというメリットもあります。

解釈可能な AI と説明可能な AI

ML モデルを構築するのはアナリストやデータサイエンティストですが、その結果を把握する必要があるのは、多くの場合、エグゼクティブなどの経営幹部です。

これは、XAI が重要である大きな理由の 1 つであり、解釈可能な AI（IA）との最大の違いでもあります。

XAI は IA の一部であり、データサイエンスのバックグラウンドを持たない人々が ML モデルを理解できるように支援することを主眼としています。一方、IA は機械学習の一部であり、モデルの透明性と解釈性に重点を置いています。

IA の手法に基づいて XAI を開発および導入するには、以下の 4 つの質問が不可欠です。

1. 結果を誰に対して説明する必要があるのか？
2. 結果を説明しなければならない理由は？
3. 結果を説明する方法は？
4. モデルの構築前、構築中、構築後に説明すべき内容は？

先述の投資助言の事例では、XAI モデルを開発し、以下のような質問をすることで、顧客を導くことができます。

結果を誰に対して説明する必要があるのか？ 

• 顧客
• マネージャー/経営幹部
• 規制当局

結果を説明しなければならない理由は？

• 推奨する投資オプションが最適である理由を顧客に理解してもらうため
• 特定の投資プランを推奨する理由を意思決定者に理解してもらうため
• コンプライアンスを確保し、監査を迅速化するため

結果を説明する方法は？

• 財務的/感情的な理由に基づいて、推奨プランを説明する
• 顧客中心の価値とビジネスベースの価値に基づいて推奨プランを示す
• モデルが導き出した判断がすべての規制に準拠していること（およびその方法）を示す

モデルの構築前、構築中、構築後に説明すべき内容は？

• 特定の個人情報の収集理由、使用目的、推奨に及ぼす影響
• モデルを構築する重要性、およびモデルの下した判断の正当性を顧客と経営幹部に示すために必要な変更点または修正点
• モデルの現行規制への対応方法、および新規制に対応するために必要な修正

説明可能な AI の事例

XAI が最も良く活用される用途の 1 つが規制関連です。 リスク評価、信用スコア、請求判断には、多くの場合、より踏み込んだ質問が必要です。

また、XAI は、規制とは無関係の業界や部門においても大きな効果を発揮します。 XAI の説明可能性は、以下のような業界や部門における意思決定の強化に役立ちます。

• 感情分析において、使用されている言葉の文脈と意味が正確に理解されていることを確認する
• 新しいデータがトレーニングデータと矛盾し、モデルのパフォーマンスに影響すると考えられる場合に、需要予測を修正する
• ヘルスケアにおける医療診断の精度を高めて、診断の過程を患者に説明する
• 緊急治療とトリアージ（治療・処置における優先順位付け）について、リアルタイムで意思決定を下す
• 人事部門による最終的な採用判断の過程を説明する
• 顧客にマーケティングの推奨事項を提示し、訴求メッセージと製品の関連性を高める
• 営業担当者に次の行動を提案し、営業手数料を計算する
• 価格最適化の判断の根拠を説明する
• 感情分析とフィードバックに基づいて、カスタマーサービスのチャットボットを調整する

XAI にはさらに多くのユースケースがありますが、XAI の狙いは機械学習モデルが導き出した複雑な結果をわかりやすく提示することにあります。 全員が機械学習モデルの仕組みを理解する必要はありませんが、全員が結果を信頼できるように説明することは重要です。 XAI はそうしたプロセスを支援します。

モデルの説明可能性に適したプラットフォームの選択

各自に最適な ML プラットフォームはさまざまな要因によって決まりますが、主な要因としては以下の 4 つが挙げられます。

• モデルを構築するために、誰がそのプラットフォームを使用するのか？
• 結果を説明するために、誰がそのプラットフォームを使用するのか？
• どのようなデータを使用するのか？
• どのような回答が必要なのか？

モデルを構築して導入するために、誰がそのプラットフォームを使用するのか？

組織にデータサイエンティストのチームが存在しない、 またはデータサイエンティストが 1 人もいないことは珍しくありません。

約 80%の企業には、データサイエンティストが1人も在籍していません。プラットフォームの使用者は、多くの場合、アナリストや知識労働者ということになります。

そのため、誰もが簡単に使用してモデルを構築できるプラットフォームを導入することが重要であり、また、現在の従業員だけでなく、今後採用する人材もすぐに使い始められるものであることが肝心です。

ドラッグ & ドロップやノーコード/ローコードで利用可能なクラウドベースおよびオンプレミスのプラットフォームがあれば、データサイエンスの理解と導入を短期間のうちに進めることができます。

自動機械学習（AutoML）を備えたプラットフォームであれば、さらに短期間での習得が可能です。ガイド付きのパスと推奨事項に基づいてモデルを使用できるため、どのモデルや数学的プロセスを先に使用すべきかを初期段階で把握する必要がありません。

データサイエンティストチームの作業を高速化するためには、自動機械学習とノーコード/ローコードプラットフォームはもちろん有効ですが、そのようなチームは Python や R などの言語も使用したいと考えるはずです。

結果を説明するために、誰がそのプラットフォームを使用するのか？

分析チームと同様、リーダーシップチームと経営幹部チームでも、経験/知識レベルは人によって大きく異なります。

そのため、外部から新たに採用したマネージャー、内部昇進のマネージャー、および日常的に XAI に触れることのない最高経営幹部の誰もが使用できるプラットフォームが必要です。

データ系列の明確な証跡、データポイントを説明する注釈、および自動化された説明を備えた ML モデルなら、自分とチームのスキル習得時間を短縮できます。

さらに、結果をスケジュール配信したり、モデルを共有可能な分析アプリに変換できるプラットフォームがあれば、データの共有を促進して、透明性を高めることができます。

どのようなデータを使用するのか？

まずは、チームから現状を聞き出しましょう。 どのようなデータセットを使用しているのか、また、そのデータをどのように分析に組み込んでいるのかを全員に確認します。

ML モデル開発における最大の障害の 1 つは、初期段階における準備作業です。

分析（データの準備とクレンジングも含む）を自動化できる自動機械学習プラットフォームがあれば、導入のプロセスも大幅に高速化できます。

プラットフォームで、データセットやデータソースをどのように処理できるのかを確認しておくことが重要です。 すべてのデータを処理できるのか、処理する前にデータに対する追加の作業が必要なのか、 データの変化が前提となるモデル（予測など）にプロセスを使用する場合、そのプロセスをどの程度、簡単に反復できるのかなどについて確認します。

どのような回答が必要なのか？

1 週間、1 か月、あるいは 1 四半期ごとにレポートを作成する場合もあれば、 リルタイムの分析結果が今すぐ必要となる場合もあります。

インサイトを迅速に獲得するためには、新たなデータを素早く準備して、取り込むことのできるプラットフォームが不可欠です。 こうした作業には、前述の準備やクレンジングなどのプロセスも含まれます。

XAI モデルは、顧客、同僚、自分自身のさまざまな質問に回答できるものである必要があります。 またプラットフォームを短時間で習得できれば、より迅速に他者に回答を提供できるようになります。

また、ML プラットフォームの使いやすさも重要です。