XAI 日本語での意味は 説明可能なAI のことを指します。
発端は、ディープラーニングがホットワードになった時期では
学習の過程や、ディープラーニングが判定した結果に至るまでの過程が
ブラックボックスで非常にわかりづらいという問題点がありました。
AIを扱うエンジニアからすると、
どのようなデータを与えれば、良い結果が出るかわからない。
正しく特徴を掴んでいるのかわからないという。
AIに判断を任せているユーザーからすると
説明ができないので結果を信用できない
ということになります。
XAIは特殊なモデルや、ツールというわけではなく、
学習の過程や、判定の結果に至るまでを数値化したり、可視化できるようになったものを指します。