説明可能AI

相互作用値を用いた重要な画素グループの特定

画像分類器の振る舞いをよりよく理解するためには、個々のピクセルがモデル予測に与える寄与を視覚化することが有効です。本研究では、高い予測信頼度を持つピクセル群を効率的かつ正確に特定する方法、MoXI（Model eXplanation by Interactions）を提案します。提案された方法は、ゲーム理論の概念であるシャープレイ値とインタラクションを採用し、個々のピクセルの効果とピクセルの協調的な影響をモデルの信頼度に取り入れます。理論的な分析と実験は、我々の方法がGrad-CAM、アテンションロールアウト、シャープレイ値を使用する広く使われている視覚化方法よりも、モデル出力に大きく寄与しているピクセルをより良く特定することを示しています。以前の研究では、シャープレイ値とインタラクションの計算に指数関数的な計算コストがかかっていましたが、我々はこのコストを線形コストに減らすことができることを示します。

Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera, Identifying Important Group of Pixels using Interactions, ICCV 2023 Workshop on Uncertainty Quantification for Computer Vision, 2023 [web].

Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera, Identifying Important Group of Pixels using Interactions, arXiv:2401.03785, 2024 [arXiv].

ゲーム理論的アプローチによる深層学習の誤分類の分析

本研究では、様々なタイプの画像誤分類をゲーム理論的な観点から分析する．とくに，クリーン画像，敵対的画像，破損画像の誤分類を検討し，多次元の相互作用の分布を通してその特徴を明らかにする．その結果，誤分類の種類によって多次元の相互作用の分布が異なることを発見した．例えば，誤分類された敵対的画像は正しく分類されたクリーン画像よりも高次の相互作用の強度が高く，これは敵対的摂動が画素間の複雑な協力から生じる偽の特徴を作り出すことを示している．これは，敵対的摂動が画素間の複雑な協力関係から生じる偽の特徴を作り出していることを示している．一方，誤って分類された破損画像は，正しく分類されたクリーン画像よりも低次の相互作用の強さが低く，これは破損が画素間の局所的な協力を壊していることを示している．また，我々は相互作用を用いたVision Transformerの最初の解析を行った．その結果，Vision TransformerはCNNとは異なる傾向の相互作用の分布を示すことがわかった．これはCNNが予測に利用しない特徴を利用していることを示唆している．本研究は，近年の深層学習モデルのゲーム理論的な分析が相互作用の分布，順序，符号を用いることで，Vision Transformerを含む深層学習モデルの様々な誤動作の分析に広げられることを実証している． Kosuke Sumiyasu, Kazuhiko Kawamoto, Hiroshi Kera, Game-Theoretic Understanding of Misclassification, arXiv:2210.03349, 2022 [arXiv].

住安宏介，川本一彦，計良宥志，ゲーム理論に基づく敵対的転移性の理解，情報処理学会研究報告. Vol. 2022-CVIM-230, No.29, pp.1-8, 2022（卒論セッション優秀賞）[paper].